（来源：上观新闻）
让我们用一个简化🎳🇵🇪示例说明，假设训▪练语料包🎮含以下词汇及出♎⏬现频率： 🧑“hu📫🇷🇴g”：1🍒🇻🇦0次 “🔻🚔夜夜视频网站pug😏”：5次 “▪🎼pun”：👛💒12次 “b🌥🔹un”：4次🌥🔵 “h🦆ugs”：5🏬次 第一步：🔒☹将所有词拆分🌚🙉为字符，添加结束⛓🇰🇳符 “hug”✊ → 🇬🇮“h u g 🌴📛” “pug”😗 → “p u 💢➰g ” “p❓🦊un” 🛬🐬→ “p⚽ u n 🌗” “bun🇪🇨🗼” → “b u⚰ n 🧰🇦🇱” “h🔇🎻ugs” → “🔑☕h u 🥈g s 🧰🇬🇺” 初始词汇表仅🐒包含基🔕🇲🇦础字符：{b🎌🈺, g, h, 🗂👲n, p,🇺🇦夜夜视频网站 s,👨⚕️🇪🇷 u, 🙇t} 第二步🇧🇯🕺：统计相邻字符😌🍒对的出现频率 “⤵u g”：1🕳🙎5次（来自⌛🦞夜夜视频网站“hu🎫夜夜视频网站g”的10次♨ + “h🐩ugs”的🇨🇻🇦🇸5次） “u n🚕🇺🇾”：16次🥋（来自“pun🌐”的12次 + 💛“bu🦙🖊n”的4次） “⏱p u”：17🇧🇮次（来自“pug↪夜夜视频网站”的5次 + 🇧🇳🤓“pun”的1🎨2次） 第三❓🆘步：合并💌最高频字符对 假🔸🎮设“p🌑 u”频率最高（🆔🇧🇱17次），创建新👨🏫🤺符号“pu”，🦒 词汇🌻📆表扩展为：{b,🇸🇱0️⃣ g, 👡h, n🛅, p, s,🧩 u, , pu🇮🇳⏭} 第🌝🔝四步：迭代重☮⏭复 继续统🍞🧙♀️计新语料中的字符⤴🍋对频率，合😂🤲并下一个🎍最高频对，直到达♿☝到预设的词🗿汇表大小（如⚽⏱GPT-2为5🇺🇳0,257个to😊🇨🇭ken）🔬。
数码搞机🥛🍣党：不买，🧓⏫不当大冤种⛔🎢 小杰是🐆🇬🇲资深的数🐥🔕码爱好者，平时🇬🇼的一大爱🍎好就是不断更🛵换电子设备👩⚕️，他自己用过🥌的折叠屏🔋🇩🇬手机就🆑🔆有四五款了🛡。她中学时🍓🌡就有了🙆iPod，这👩💻款产品当时给我📐🥑留下了深刻印象🚩，当时无论是颜值🧚♂️还是体验，都👩🦳🔻远超当时的廉🔥价MP3🇬🇦。
