（来源：上观新闻）
Acad🎾🍰emia（🔺👖橙色）：学🈳术界正在被边缘🚎化🎓。让我们用一个简化🔞示例说明↙🔙，假设训练语🅱料包含以下🔯词汇及出现频率：🥾 “hug”：🌚🏣10次 🇹🇿☦“pug”：🇼🇫🧭5次 “pu🍏n”：12👋🔬次 “Ⓜ👨👩👧👦bun”：4次🆗 “hu🗯gs”：5次 🌆🤬第一步：将所有📼词拆分为字符，添🌲👹加结束符 “🔄hug” → 🔚“h u g ☎🐪” “p🐠♾️ug”⛩ → “p 🇰🇳u g ” 🤘😼“pun” → 〽🈁“p u n🏌️♀️ ” “bu🏁n” → ⏫👁️🗨️“b u n 🧂” “hugs”➗🇦🇶 → “h u 🌁g s 🧼🔎” 初始🚽词汇表仅包含🥞🛁基础字符：{b,🇲🇹🚅 g, h, 🌞n, p, ◾👩👩👧s, u,🕊 } 第🤷♂️👗二步：统计相邻🥈🥬字符对🤹♀️🕓的出现频率👩👦👦⛰ “u g”：🏤🇸🇧15次🕜🤠（来自🐵“hu🇨🇬↗g”的👆🚋10次🤪 + “hu🧚♀️🐁gs”的5次）💎 “u 🐎🇹🇫n”：16🇱🇹🔼次（来自“pun🏘📑”的12次 + 🤠“bun🔻”的4🐫次） “p💎🏊♀️ u”：17🖤次（来🚑自“pug”🥢的5次 👶+ “🏡pun”的12次👢） 第三🇧🇸步：合🦵并最高频字符对 🦁😉假设“p u”🤵📌丰满的被猛烈进入白浆频率最高（17🍻🦁次），创建新符号🎄“pu”，🇦🇴 词汇表🕸扩展为：{b,⚰ g,👙 h, n,💋👨🦰 p, s,😏 u, , 🤪pu} 第🖍🗨四步：迭代重🇭🇲复 继🚱🇨🇩续统计新语料中🏸的字符对频😩率，合并下一个最👨❤️💋👨高频对，直到达到🕓🕍预设的词汇表大🇮🇱小（如GP🚱◻T-2👨👨👦👦为50,🚤257个to🍚🇱🇸ken）😉丰满的被猛烈进入白浆。
这话不完全是©开玩笑💨😜。而安全保障义👩🚒务意味着我们开始👺🕔意识到🔝🥌，整个平💄⏏台提供的服🚏🥃务类似🇨🇩于一个🌡网络交互的空间🇯🇲。今年1月份，🍂中国智能🇹🇱♣手机市场的销量整🙃体下滑23%，🔥😹苹果是✖🈶主流品牌中唯一打🔜出正战绩，🇨🇽销量增8%😧，市场份额提至📂大约20%，🕹2月份，苹果🇦🇹的市场份额已🇺🇦经达到了2👩❤️👩🤔6.76%，稳💶居第一🧀🇸🇿。例如： “的” 🦌→ 单独1个to🍬ken “中🗺国” → 🤝1个tok😉en（高频组合😇🚬丰满的被猛烈进入白浆） “人工智能”🦡 → 2个tok🐩en（“人工🏜🕊”+“😇智能”） 单🏞🇱🇷个生僻字⬅和长词被拆解成多👨👩👧👦🥾个词元 🇩🇪🇲🇲对于低🕎频字或🇰🇮🚠专业术语，BPE🚟算法缺乏足够🍁👗的合并🇧🇶动力，只能拆分🌞🌟为基础字👨👩👧👧🔭符甚至🇯🇴UTF-8字节：🌖🇳🇱 “薹”（生僻🔛🕠字）→ 可💙♍能被拆为2-🇯🇪🤸♀️3个to🆓🇦🇷ken “意⚓大利薄🥉底萨拉斯米🏣肠披萨👏🐥丰满的被猛烈进入白浆” → 可能被拆🇳🇫😧为10+😂个tok⏺🇰🇵en ⏰这种差异直🥄接体现在🇦🇸🦘计费上🖌🇴🇲。
