一个词元的神奇旅程(延伸阅读)

发布者:亮剑杀 2026-4-3 10:06

每次与人工智能对话时,你有没有好奇过:冰冷的数据如何变成鲜活、智能的内容?要搞懂这背后的门道,得先了解词元是如何“流动”的。

对人工智能来说,词元就像一位“翻译员”,在人类语言和机器数字之间搭起桥梁。所有喂给人工智能的数据,都需要先按规则切分成独立的词元,再转换为数字编码,才能被人工智能识别。比如你输入“春节包饺子”,人工智能会切分为“春节/包/饺子”三个词元,再从“字典”中找到匹配的编码。

要想大规模批量处理这些词元,离不开一座“词元工厂”——数据中心。人工智能正式上岗前,需要经历一个训练的过程:数据中心消耗大量电力,开动算力引擎,把数十万亿级的词元源源不断地喂给人工智能。它要做的是挖掘并记住词元间的关联关系,比如当“春节/包/饺子”出现时,人工智能就能联想到在学习材料中常与它们同框出现的“北方”和“传统”等词元。这些从海量词元中沉淀下来的经验,就是我们感知到的“智能”。

等到你向人工智能提问时,工厂再次运转。问题被切分成词元送给人工智能,庞大的算力群随即驱动它进行一场“文字接龙”,也就是推理。人工智能根据输入的词元,依据之前学到的经验规律,逐次预测下一个最可能出现的词元,一步步拼接出完整内容,再翻译回人类文字,于是屏幕上便跃出那句:“春节包饺子是北方的传统。”

跳动的词元背后是生产力的跃迁,使得人工智能可以从海量的数据中发现其中深层的关联规律,极大地拓展了数据价值挖掘的空间。也正是一个个小小的词元,串联起数据与智能的桥梁,不仅让数据拥有了温度,也让人工智能的每一次回应,都成为数据价值释放的生动实践。

(作者为国家数据发展研究院副院长,本报记者王云杉采访整理)

袁 军

大家都在看

  • 90后海归女硕士,做全国最冷门的职业,意外火出圈

    90后海归女硕士,做全国最冷门的职业,意外火出圈 90年的山东姑娘慕晨扬,从中央美术学院毕业后,远赴美国学习玻璃创作。16岁离家、一路漂泊,36岁的她,兜兜转转又回到了山东,在大学里带学生、搞创作。2024年,慕晨扬在上海玻璃博物馆吹制玻璃《你好》(Hi)玻璃、 ... 机械之最07-17

  • 硬核科技亮相亚欧博览会

    硬核科技亮相亚欧博览会 观众在体验CRS-AI慧眼公共安全智能预警系统。不久前,以“丝路新机遇 亚欧新活力”为主题的第九届中国—亚欧博览会在新疆乌鲁木齐举行。本届博览会创新采用“一馆多区”布局,设置投资合作、新质生产力、特色优势产 ... 机械之最07-17

  • 3D打印能打印出创造力吗?

    3D打印能打印出创造力吗? 一台不到两千元的机器、一卷塑料丝,几小时后就能魔术般把原本只存在于想象里的小物件、零件样品或模型呈现在桌上……这正在成为3D打印普及后越来越多家庭的场景。2025年,中国3D打印设备产量同比增长52.5%,国产消 ... 机械之最07-17

  • “三声笛”,敬一座桥

    “三声笛”,敬一座桥 怒江大峡谷的风,刮得人脸生疼。站在2018年通车的第三代怒江大桥上,江涛在谷底轰鸣。一辆挂着渝A牌照的货车疾驰而过,忽然“嘀嘀嘀”按下三声长笛,笛声穿透风声,在峭壁间久久回荡。“那不是普通的喇叭声,是川藏 ... 机械之最07-16

  • 陈晓平:龚橙正传

    陈晓平:龚橙正传 龚橙(龚孝拱)曾随英法联军北上京津,虽无引导英法联军焚烧圆明园情节,为人行事确有可议之处。细绎《龚孝拱遗札》,结合赵烈文日记等史料,笔者认为龚橙是晚清重要学者,只是任诞放纵、好讥评当朝大臣、曾作英国公 ... 机械之最07-16

  • AI进入运营现场:企业如何评估成效?

    AI进入运营现场:企业如何评估成效? AI进入千行百业,不光从各种角度提高了效率,更深层次还从动作、流程、组织三个层面改变了企业的运营管理。5月29日,中国邮政广州邮区中心江高邮件处理中心,机器人分拣员抓取快递包裹。新华社 资料图在制造工厂,传 ... 机械之最07-16

  • 2026年机械工学SGU避坑指南:避开这三个雷区,上岸其实没那么难

    2026年机械工学SGU避坑指南:避开这三个雷区,上岸其实没那么难 “学姐,我本科机械,托福95,研究计划书改了3版了,心里还是没底。”说实话,这两年类似的话我听到过不少。很多学生并不是完全没有准备——语言成绩拿得出手,GPA也不拖后腿,甚至本科期间还参与过项目。但一进入机 ... 机械之最07-16

  • ①⑨齿轮加工全解析:常见加工工艺、热处理及设计要点

    ①⑨齿轮加工全解析:常见加工工艺、热处理及设计要点 齿轮是机械传动系统中最重要的基础零部件之一,广泛应用于汽车、机器人、自动化设备、减速机、机床等各类机械产品中。与普通机械零件相比,齿轮加工具有明显的专业性,其齿形精度、加工方式以及热处理工艺都会直接影 ... 机械之最07-16

  • 百年港城营口再谱对外开放新篇

    百年港城营口再谱对外开放新篇 中国最北海岸线行记之四【原标题】百年港城营口再谱对外开放新篇文/本报记者 赵洪南作为中国东北首个对外通商口岸,1861年正式开埠的营口,依港而立、因商而兴。从旧时商贸要道,到如今货通全球,这座拥有165公里海 ... 机械之最07-16

  • 我在 4 个月里,把过去 13 年的机械方法论推翻了哪几条

    我在 4 个月里,把过去 13 年的机械方法论推翻了哪几条 一、开篇:三件套为什么不灵了 传统机械设计有两条隐含前提:第一,机械系统的边界相对清晰。底座不动、工装不动、地面不动,末端就是末端;第二,误差链可被压窄。手术机器人靠运动学校准和精密减速器把从电机到末 ... 机械之最07-16