（来源：上观新闻）
图 | Xoop🐕le 团队🧝♂️在 Human🎊🈸X 会🥽⛹️♀️议上（来源：X👨✈️🕐@Xoopl👊🕛eworl🏢d） L3Ha👩🦳🥦rris 👔在商业🥫🇧🇼成像系统领域🥤的深厚积累，🚱为 Xo♌ople 的野心🍡提供了🌗坚实的技术保障🇲🇹。
我入乡📨超碰97观看随俗🐌。让我们用一个💈📥简化示例🎢说明，假设训练语🇰🇳⛹料包含以下词汇😝及出现🧜♂️频率： 🎋🏏“hu👫g”：10😢🆓次 “pug💟”：5次 🇫🇷“pun”：12🔨🙍♂️次 “bun6️⃣”：4次 “🥦🏐hugs👱”：5🇨🇷次 第🌒一步：将所有词📓🇱🇺拆分为字符，添🦋加结束符 “h🇬🇵🌛ug”🦆 → “👖h u🥵 g ” 💋💠“pu📏🇦🇶g” 🇳🇨超碰97观看→ “😩p u g▫ ” 🇪🇦🆑“pun” → 🤯🛹“p u n ”🍢 “b👩🦳un”🇬🇩📁 → “b u 🦈n ” “hug⛪🇲🇫s” → “💽h u g s🇰🇬🇵🇦 ” 初始词汇🇧🇿🍼表仅包含基础✌字符：{b,🏃👨⚖️ g, h😫, n, p, 🇧🇱🌷s, u♊, t🍉🐮} 第✋🖋二步：统计相📭😯邻字符对的出现🚢📗频率 “u 🐍g”：15次🚘🆓（来自“hug”🌧🇻🇺的10次💌 + “hu👨👨👦gs”的5次）🏜🕯 “u n🎤”：16次（来🦊自“p📋un”的12次 🧵⛓+ “bun”1️⃣的4次） “p 🙇♀️u”：17次（🦑💅来自“p😛ug”的5次 +🇹🇻🇰🇾 “pun”的1🚤👩⚖️2次） 第三步：🈁🚛合并最高频字符👨✈️对 假设“p 🧮💚u”频率最🇨🇩高（17次）😝🍡，创建新🎧🧻符号“🇻🇦pu”， 词汇🕴表扩展🦍为：{💩b, g, h😋, n, 😱🔝p, s🛋超碰97观看, u, ,💒👨👦👦 pu🕠😟} 第四步🏬超碰97观看：迭代重复 继🦜🛅续统计新⛷语料中的字符✈🍎对频率，🍺合并下一个最🎲🎾高频对，✍👞直到达到预设的📭词汇表大小（如G🌘🖖PT-2为5🦡0,2🇷🇪57个token⌚📈）📤。
