「今天天气好」
在你眼里六字
在模型眼里三块
切割规则不由中文课本书写,而由训练统计塑形。
你读句子,它读碎片;怪异反应多由此起。
token 就是AI的"阅读单位"——不是字,不是词,是它定义的碎片。
这带来一个奇怪后果:AI数字母很烂。
当你问AI "strawberry有几个r",它要先解包token再数字母——很容易出错。不是撒谎,是根本没按字母存储这个词。
文本被切成 token 之后,
一次对话能塞进多少块?
窗口满了,早期内容会怎样?
聊了一小时
它真的全记得吗?
界面连贯,记忆却有硬顶——超出窗口,等于从未发生。
它没有「故意忘」,只是物理上看不见。
点"继续对话",看看AI什么时候开始"失忆":
AI没有撒谎,也没有故意忽略你。它只是物理上看不见那条消息了。
这就是为什么长对话里,你偶尔需要重新提醒AI关键信息。
会读碎片,也会忘碎片。
那下一个字怎么冒出来?
它在「思考」,还是在算概率?
人人都在用 AI
懂机制者与只会按键者
看的不是同一台机器
懂,不是为了炫技。
是为了知道何时信、何时核、何处停手。
打开盖子后,玄学变规律,踩坑变可预见——「它为何这么说」会有答案。
这些不只是冷知识——每一条都让你用 AI 的方式变得更稳、更深:
背后藏着一个很反直觉的原因——知道了,你就懂了很多奇怪现象的来源
这和"撒谎"完全不同——懂了这个,你才知道哪类答案必须自己核实
答案比你想象的有趣——知道边界在哪里,你用 AI 才不会在错的地方踩坑
知道了这个,你遇到 AI 回答奇怪时,就知道问题出在哪里
不长,不难,充满反直觉的惊喜。
读完之后,你对这台机器的理解已经超过了大多数每天在用 AI 的人。
没人逐字教它中文
它却会了
靠的不是魔法
学习即调整参数,使预测下一个字的错误变小。
AI学习用的材料,叫做训练数据。规模大到很难想象——
会什么、不会什么,由见过什么决定。
出题 → 作答 → 打分 → 看哪里错了 → 微调思路 → 再做一遍
区别是:这个学生做了几千亿道题,每次只微调一点点,积累下来就变得非常厉害。
比如:"床前明月光,疑是地上___"
早期训练时,它可能猜"月"、"冰"、"白"……
差距越大,"罚分"越重——这个分数叫损失值。
这个过程叫反向传播,是整个训练的核心。
模拟AI在训练中逐渐学会一道填空题——
注意:每次调整都很微小,但方向是对的——损失值在下降,准确度在上升。这就是整个训练的本质。
参数就是AI大脑里的旋钮——每个旋钮控制着一点点"这个词和那个词的关联程度"。
1750亿个旋钮,每个都在训练中被反复微调。
训练结束之后,这些旋钮的值就固定下来,就是我们用的那个AI模型。你每次和AI聊天,它的参数一个都没有变——它在推理,不在学习。
这也解释了为什么AI不会从你们的对话中学习——你告诉它"你刚才说错了",它下次还可能犯同样的错,因为对话不会改变它的参数。
| 你以为 | 实际上 |
|---|---|
| 工程师把知识"输入"给AI | AI靠猜填空题、被打分、调参数,自己"悟"出规律 |
| AI知道的都是对的 | 训练数据里有什么,AI就学到什么,包括错误和偏见 |
| 你纠正AI,它就学会了 | 对话不改变参数,它下次还会犯同样的错 |
| 参数越多越聪明 | 参数多意味着表达能力强,但训练质量和数据质量同样重要 |
那互联网上有什么,它就学到什么。
互联网上有很多英文,很少有某些少数民族语言——所以AI处理不同语言的能力差距巨大。
互联网上程序员写的东西多,家庭主妇写的少——所以AI写代码很厉害,理解某些生活场景却很差。
这不是AI的选择,是数据决定的。
开放问题:如果让你来决定AI的训练数据,你会优先加入哪些内容?为什么?
学会之后,结构长什么样?
下一单元:层、权重与深度。
「大脑」是层叠的矩阵
不是一颗生物脑
它由层层叠叠的矩阵运算堆成,不靠任何「神经」。
名字浪漫,实体只是乘加与激活函数:没有「神经」,只有矩阵。
输入"今天天气真",看信号怎么一层一层传过去:
神经元之间的连接有强有弱——这个强弱就是权重。拖动滑块,看权重怎么影响结果:
真实的神经网络里,每个连接都有一个权重,总共有几百亿个权重。训练就是调整这些权重,让最终输出越来越准确。
现代大模型通常有很多层。每一层都在把信息提炼得更抽象,更接近"意义"而不是"字符"。
但注意——没有任何一层是在"理解"意义,它们都只是在做数学运算。涌现出来的"智能",是所有层合作的结果。
| 你以为 | 实际上 |
|---|---|
| 神经网络在模拟人类大脑 | 只是借用了"神经元"这个概念,实际是纯数学矩阵运算 |
| 某一层负责存储某条知识 | 知识分散在所有权重里,没有哪条知识有固定"地址" |
| 层数越多越好 | 层数增加会带来训练难度和计算量问题,需要权衡 |
| 神经网络能解释自己为什么这么说 | 几百亿个权重共同决定输出,没人能追溯单一原因 |
能看全文片段,如何抓重点?
下一单元:注意力在做什么。
读长文时
模型在决定看哪里
注意力权重 = 此刻认为哪些字与任务相关。
这解释它为何能接远距离指代,也解释为何会漏关键条件。
点不同对象,看AI在判断"她"时应该更关注谁:
所以,现代语言模型不只是"一层层传信号"。它还有一个很关键的能力:在长句子里找相关关系。这就是 Transformer 模型强大的重要原因。
| 你以为 | 实际上 |
|---|---|
| AI从左到右机械地读,前面什么都一样重要 | 它会给不同的词分配不同注意力,重要的影响更大 |
| 注意力就是AI真的在"专心" | 注意力是数学分数,不是人类的感觉 |
| 离得近的词一定最重要 | 远处的词也可能很重要,比如人物、条件、前文规则 |
2. 它会给相关的词更高分,让这些词对预测影响更大。
3. 这就是现代大模型能处理长句、代词、前后关系的重要原因。
它怎么读、怎么记、怎么想?
回到主线:在模型眼里,一句话是几块。
每个字出现之前
模型都在做同一件事
猜下一个 token
没有内心独白,只有条件概率表在运转。
理解这一点,就理解它为何流畅、为何自信、为何仍会错。
AI面对"今天天气真"这句话,接下来每个词的概率大概是这样——
AI有个参数叫"温度"(temperature),控制它选词时有多"随机"——
所以AI并不是"想好了再说",而是边说边猜,一个词一个词地蹦出来。
这也解释了为什么AI有时候说到一半突然跑偏——它猜下一个词时选了一条概率稍低但不是零的路,然后就沿着那条路一直走下去了。
概率能造出通顺,也能造出
从未存在的事实——下一课谈幻觉。
它说得像真的
却可能是编的
幻觉不是撒谎——模型不会分辨「知道」与「听起来合理」。
下面是AI介绍"量子力学之父普朗克"的一段话。
点击你觉得是编造的部分,看看你能找到几个幻觉:
这种现象叫做"幻觉"(hallucination)。不是AI在骗你,是它根本不知道自己在编造。这是目前所有大语言模型都存在的问题。
会编,也会接话。
那它「理解」你在说什么吗?
下一单元:理解与接话的分野。
聊起来像懂你
那是理解,还是接话?
语义相似与语义理解,在工程上是两件事。
接话高手,未必真懂你在乎什么。
模拟"中文房间":点击下一个问题,看看"处理"是怎么发生的——
有人说:没有真实体验,永远不算懂。
对你来说,更重要的是:不管它算不算"懂",你知道它的局限在哪里。
这不是AI的缺陷,这是它的本质。语言模型处理的是文字的模式,不是世界的体验。
当你问AI"这首歌让你感动吗",你要知道那个"感动"和你感受到的不是同一回事。
现在你知道AI怎么切文字、怎么记住上下文、怎么预测、为什么会幻觉,也知道它的"理解"和人类不同。
还剩最后一个关键问题:
为什么AI会"听话"?
为什么它会拒绝某些请求、保持礼貌、承认不确定?
它为何听你指挥
因为训练里听话更划算
对齐(alignment)= 用人类反馈把「有用、安全」写进奖励函数。
听话是产品目标,不是道德觉醒。
比如:问"怎么学好英语",示范答案是结构清晰、有具体建议的那种,而不是"我不知道"或者胡说一通。
这一步让AI从"什么都说"变成"说得像样"。
用这些排名训练一个"裁判AI"——它学会了人类的偏好,知道什么样的回答会得高分。
这个裁判AI就是奖励模型,之后用它来代替人类打分,速度更快、规模更大。
得分高的回答方式被强化,得分低的被压制。
经过足够多轮次后,AI学会了"人类更喜欢哪种回答风格"——包括拒绝有害请求、保持礼貌、承认不确定等行为。
这是RLHF标注员真实做的事——选出你认为更好的回答:
RLHF听起来很美好——但它有一些真实的问题:
这就是为什么不同的AI产品,在同一个问题上会给出完全不同的回答——它们被不同的人用不同的标准对齐过。
RLHF让AI从"概率机器"变成了"有立场的助手"。
但记住——它的立场是训练出来的,不是它自己的选择。就像一个从小被某种方式教育的人,他的价值观来自环境,不是凭空产生的。
| 你以为 | 实际上 |
|---|---|
| AI拒绝有害请求,是因为它懂道德 | 是因为"拒绝有害请求"这类行为在训练中得了高分 |
| AI的礼貌是它的天性 | 礼貌是被强化学习训练出来的风格,不同产品礼貌程度不同 |
| 所有AI的价值观都一样 | 不同公司用不同标注员训练,价值观可能差异很大 |
| AI说"我不知道"是谦虚 | 是因为"承认不确定"这个行为被标注员评为更好的回答 |
你会给"诚实但让人不舒服的回答"打几分?
给"温和但可能不完全准确的回答"打几分?
你的选择,会塑造一个什么样的AI?
能读到这里的你,已经比绝大多数每天在用 AI 的人懂得多了。
接下来,带着这份理解,去看看怎么真正把它用好——
你现在知道AI是什么、怎么学的、怎么工作的、为什么听话。
下一个问题变成:
怎么和它好好说话?
为什么同一个问题,有人得到神回复,有人得到废话?
机制已齐
差一张验收单
五道题,测的是判断,不是记忆。
下面是五个真实场景。你现在应该能看穿它们——选出背后的原因,并知道怎么应对:
每一个"开关"背后都是你刚刚学到的机制。点击每张卡片——
这八个"开关",来自同一件事:你现在知道这台机器的底层逻辑了。
现在你知道它是什么:一台用人类文字训练出来的预测机器。强大、有限、没有意识,但极其有用。
神奇的地方还在——只是现在,你懂得那个神奇从哪里来了。
这是不同的感觉。不是失望,是真正的理解。
理解之后的使用,才是最有力量的使用。
不变的,是要用工具的人。
懂得它如何运作的人,始终是更好的使用者。
你已经知道 AI 是什么、怎么运作、有哪些边界。
下一步是把这份理解变成真实的能力——
同一个 AI,为什么有人得到神回复,有人得到废话?