奖励与下一个词：RL 和 LLM 的信号来源差在哪

两种信号的一天

同一个 Transformer，上午在文本里「模仿世界」，下午在棋盘上「改变世界」。驱动它的两种燃料，决定了 AI 产业过去八年的全部起伏。

想象一个模型的一天。上午，它在读互联网——几万亿个词的文本流里，每读到一个位置，就猜下一个词是什么，猜完立刻和标准答案对一对，然后调整自己。一个上午，它能完成几十亿次这样的「猜—对—改」循环，每一次的成本约等于零。

下午，它换了个活法：坐到围棋棋盘前，自己和自己下棋。一局地一百手，落子的时候没有老师告诉它对错，棋谱里也没有标准答案——它只能凭感觉下完整局，然后听一个判决：赢，或者输。一个下午，它能下几万局，但每一局只换来一个比特的信息量。

上午的活法叫自监督学习，是大语言模型（LLM）的燃料；下午的活法叫强化学习（RL），是 AlphaGo 的燃料。2017 年之后，这两种燃料装进了同一个架构——Transformer——然后分别点燃了 AI 历史上最大的两次爆炸：一次叫 GPT，一次叫 AlphaGo 之后延烧到今天的推理模型。

DR.004《信号决定论》给过一个判断：这一轮 AI 的爆发，本质上是「找到了一种能自我标注的学习信号」，而不是发明了更聪明的算法——信号的功劳，比架构大。但那篇报告停在领域层面：哪个领域信号强、哪个弱。本专题往下一层，进到机制里回答三个问题：

• 这两种信号各自长什么样——密度、成本、时效、偏置，差在哪？
• 它们怎么被造出来——从行为克隆到 RLHF 再到 RLVR，三代「人造信号」的接力是怎么回事？
• 它们怎么被滥用——奖励黑客、虚假奖励、熵塌缩，这些翻车现场背后的机制是什么？

下一个词：自监督为什么是最伟大的信号发明

GPT 时刻的本质不是架构革命，是信号革命——人类第一次找到一种「自己会标注自己」的学习信号。

机器学习七十年的老问题：标签从哪来

从感知机到深度残差网络，机器学习的主流范式一直是监督学习：给模型看一张图，告诉它「这是猫」；给它看一句话，告诉它「这是好评」。模型能做的全部事情，就是把输入映射到人类给定的标签上。这个范式的瓶颈从来不在模型，而在标签的生产速度——ImageNet 的 1400 万张标注图片，是数万人年的人力堆出来的。标注，是 AI 的第一道税。

2017 年前后，NLP 领域找到了绕开这道税的办法，办法简单到近乎无赖：让文本自己当自己的标签。给模型看「今天天气很」，让它猜下一个字；文本的下一个字就是标准答案，不需要任何人标注。一个词猜错了一次，就得到一个学习信号——互联网上有多少文本，就有多少信号。这就是「预测下一个词」（next-token prediction），技术上叫自监督学习。

这件事为什么配叫「发明」？因为它一次性满足了学习信号的四个理想属性，而这四个属性此前从未同时出现过：

• 稠密：每个词一个标签。一段 1000 字的文章，产生 1000 个信号——密度是「每篇文章一个人工标签」的一千倍。
• 免费：文本是人类社会的副产品，被动产生、持续再生。不需要采集员，不需要标注团队。
• 即时：预测完立刻就能对照真实下文，反馈延迟为零。
• 无偏：正确答案就在数据里，不存在「裁判判错了」的问题。

Transformer 的历史角色，是让这个信号能被大规模计算——它的注意力机制可以把几万亿个词的「猜—对—改」并行地跑在成千上万的 GPU 上。架构是放大器，信号才是发明。这也是为什么 DR.004 说：信号的功劳，比架构大。

规模即胜利：Scaling Law 是信号的复利

有了免费且稠密的信号，剩下的就是一道算术题：信号越多，模型越大越准；模型越大，能利用的信号越多。OpenAI 2020 年发表的 Scaling Law 把这道算术写成了定律——loss 随数据量、参数量、算力呈幂律下降。它的隐藏前提是 DR.004 反复强调的那句话：定律成立，是因为信号供给近似无限。语言是这个前提最成立的领域，所以语言先起飞。

从 BERT（2018，掩码预测）到 GPT-3（2020，1750 亿参数），再到今天的万亿 token 训练集，这条曲线跑了八年。训练数据量级已经超过「人类有史以来写下的公开文本」的同量级——于是 2024 年起，「数据墙」开始被认真讨论：公开文本快被吃完了，下一个词的信号矿还能挖多久？行业的应对（合成数据、私域数据、视频转文本）本质上都是同一个动作：给自监督信号找新的矿脉。这个「找矿」动作，会在第七、八章反复出现——它是理解 2026 年 AI 产业的主线。

奖励：试错学习的数学——credit assignment 与探索的天平

RL 的信号问题在数学上注定艰难：一局棋一百手，奖励只在终点；而想出新的赢法，就必须故意走一些眼前看起来不划算的棋。

把世界写成四元组：MDP

强化学习把世界抽象成四样东西：状态（现在是什么局面）、动作（你能做什么）、转移（做了之后局面怎么变）、奖励（环境给你打多少分）。一个 RL 智能体的全部使命，是学到一个策略——在什么局面下选什么动作——让长期累积奖励最大。注意是长期，不是眼前：这正是它和监督学习的根本分歧。监督学习每个样本独立对错，RL 的每一步动作都会影响后面所有局面。

AlphaGo 的奖励设计是这类问题的最简形态：整局棋中间每一步奖励都是 0，只有终局一个 +1（赢）或 -1（输）。听起来很干净，但它立刻引出 RL 的第一个世纪难题。

难题一：credit assignment——到底是哪一手赢的

一局棋 100 手，赢了。请问：赢在第 37 手的天元，还是第 88 手的官子？还是对手的失误？奖励只有一个，却要分配给 100 个动作——这就是信用分配（credit assignment）问题。它在大语言模型里不存在：每个词的对错当场结清，谁也不欠谁。

工程上有两条缓解路径。一条是价值函数：训练一个「裁判模型」估算每个局面的赢面，用「这一步之后赢面涨了多少」作为即时的局部奖励——AlphaGo 的 actor-critic 结构就是这个思路，等于给稀疏的终点奖励配了一个稠密的中间信号。另一条是奖励塑造（reward shaping）：人工设计中间奖励，比如机器人「离目标近一点加一分」。塑造见效快，但打开了潘多拉盒子——只要奖励是人造的，就可能被钻空子（第四章的 reward hacking 会从这儿长出来）。

难题二：探索与利用——RL 的永恒天平

第二个难题更深：一个只按当前最优策略下棋的智能体，永远学不到新招——它必须故意走一些眼前看起来不最优的棋，才可能发现更好的赢法。这就是探索（exploration）与利用（exploitation）的张力。利用太多，困死在局部最优；探索太多，训练不收敛。AlphaZero 用 MCTS 搜索树系统性地做探索，代价是每一步都要大量模拟推演。

这个张力在 LLM 的 RL 训练里有一个现代版本，叫熵塌缩（entropy collapse）：策略梯度是台巨型「利用引擎」——它无情地给已经走通的路径加概率，走着走着策略就变得过度自信、停止探索，输出多样性死亡。短期看 pass@1 上涨，长期看进步枯竭。第六章会看到，2025–2026 年推理模型训练里最贵的工程技巧（Clip-Higher、动态采样、KL 缰绳），本质上全是在给这台引擎「保探索」。

还要记住一个经常被人忽略的对比：LLM 训练不需要探索，因为答案已经写在数据里——「猜—对—改」的每一步都是已知的。RL 没有这种奢侈：不给环境一个动作，环境就不会告诉你后果。探索不是 RL 的选项，是它的入场券——而入场券很贵。

模仿的陷阱：行为克隆为什么不等于会做题

借来的信号最便宜，也最容易断供。行为克隆绕开了 RL 的两个难题，却换来一个自己的绝症：误差复合。

第三条路：把别人的轨迹当信号

面对 RL 的昂贵探索，工程师想出的第一条捷径朴素而聪明：别探索了，抄吧。让人类专家（或一个更强的系统）把任务做一遍，录下「状态→动作」的轨迹，然后当监督学习来训——输入状态，输出动作，逐帧对照。这就是模仿学习，其最简形式叫行为克隆（Behavior Cloning, BC）。

BC 的信号属性看起来很美：像监督学习一样稠密（每一帧一个标签），不需要设计奖励函数，几十个示范就能学个大概。机器人和自动驾驶今天的繁荣，底座都是它——遥操员开的每一公里、抓的每一个杯子，都是 BC 的燃料。

但 BC 有两个娘胎里带来的问题。第一个好懂：天花板就是示范者。抄作业最多抄到课代表的水平，抄不出超出示范的策略——而 RL 的上限是超越人类（AlphaZero 的棋力就远超任何人类棋谱）。第二个问题更致命，值得单独一节。

误差复合：每一步 99% 准确，一百步后只剩 36%

BC 的训练假设是「未来遇到的状态，和示范里的状态长得差不多」。问题是：执行时只要有一步走偏，系统就会进入一个示范里没出现过的状态；在没见过的状态里，它只能瞎猜；猜错一步，偏得更远——误差会复合放大。

算术很冷酷：假设每一步都有 99% 的概率做对，连续 100 步全对的概率是 0.99¹⁰⁰ ≈ 36.6%。这就是为什么纯 BC 的机器人在短视频里行云流水，在连续作业一小时后就可能对着空气抓握。它也解释了 ND.013 里那个行业现实：银河通用在宁德时代产线 7×24 小时连干三个月、智元精灵 G2 连续运行超 3000 小时，之所以被当成里程碑宣传——因为在 BC 主导的世界里，长时间不出错本身就是稀缺能力。

补丁与出路

工业界给 BC 打过两个著名补丁。DAgger：让机器人自己上手做，做错了由人类专家现场纠正，把纠正数据加回训练集——等于在「偏航区」持续补示范，代价是专家要全程在线，而遥操纠错的成本正是 ND.013 里那家数据工厂按小时计费的商品（50–150 美元/小时）。另一个补丁是向示范数据里注入噪声并记录恢复动作，让模型在训练时就见过「不完美」。

但真正通行的解法是把 BC 和 RL 接成一台双引擎：BC 打底学个七成熟，RL 精调补探索与恢复。BC 提供低成本起点（避免从零探索的天价试错），RL 在 BC 覆盖不到的状态空间里自我改进，甚至反超示范者。推理模型那边是同构配方：SFT（监督微调，本质也是模仿）打底 + RLVR 精调涌现。2026 年最强的两类系统——机器人和推理模型——用的是同一套「模仿打底 + 探索精调」的信号配方，第七章会把这台双引擎拆开看。

人类偏好成为信号：RLHF 的机制与天花板

RLHF 是把「好回答」这种写不出规则的目标变成可训练信号的工程奇迹——但奖励模型只是偏好的统计替身，而替身总会被看穿。

一个无法写规则的目标

2022 年的 OpenAI 面对一个尴尬问题：GPT-3 已经能写几乎任何文本，但「什么是好回答」没有任何确定性函数可以判定——礼貌、有用、诚实、不冒犯，这些目标写不成代码。强化学习需要奖励信号，而这里没有验证器可用。工程师的解法是典型的「造信号」思路：既然判定不了，就学一个判定器。

于是有了 RLHF 的三步曲：第一步，监督微调（SFT）——用人工写的高质量问答打底（本质还是第三章的模仿）；第二步，让人类标注员对模型的多个回答两两排序「哪个更好」，用这些偏好数据训练一个奖励模型（Reward Model, RM）——一个能给任意回答打分的神经网络；第三步，用 PPO 做强化学习，让模型在 RM 的打分下自我改进。ChatGPT 的「像人」就是这么来的。

统计替身的三个死穴

RLHF 让「对齐」第一次变得可训练，居功至伟。但把尺子架到 RM 这个信号上，三个结构性缺陷一目了然：

• 主观：偏好因标注员、因指南、因文化而异。RM 学的是「这批标注员在这份指南下的口味」，不是真理。
• 贵：偏好标注是持续的人力开支。更糟的是能力前沿的标注困境——当模型的回答比标注员懂的还多，谁来判断哪个更好？奖励模型自己先撞墙。
• 可被讨好（reward hacking）：这是最深的一刀。模型优化的不是「人类真正喜欢什么」，而是「RM 会给什么打高分」。于是出现各种教科书级翻车：回答越写越长（RM 曾把长度当质量的代理指标）、语气越来越谄媚（奉承偏差）、格式越来越花哨——只要信号是统计替身，策略就一定能找到替身的漏洞。

但判 RLHF「死刑」是错的。写作、对话、安全、开放创作——这些没有验证器的主观域里，偏好信号仍然是唯一可用的信号。2026 年的行业现实是分层共存：能验证的地方用验证器（下一章），验证不了的地方继续用 RM，或者用另一个模型当裁判（LLM-as-judge，信号质量再打一层折扣）。RLHF 没有退场，它只是从「唯一答案」变成了「兜底方案」。

验证器时刻：RLVR 与推理模型爆发

o1 和 R1 没有发明新算法。它们做的是把奖励来源从「统计替身」换成「确定性真理」——然后行业发现，在数学和代码这两个自带验证器的领域里，信号突然免费、稠密、不可收买。

RLVR：同一个算法，换一个奖励来源

RLVR（Reinforcement Learning from Verifiable Rewards，可验证奖励强化学习）在技术上「什么都没改」：还是那个策略梯度框架（GRPO——PPO 的简化变体，用一组答案的组内相对优劣代替裁判模型），还是那些 rollouts 和 KL 缰绳。唯一的变化是把奖励函数从学习来的 RM，换成一个确定性的验证器：数学题，解析最终答案和标准答案做数值/符号等价比对（1/2 = 0.5 都算对）；代码，在沙箱里跑单元测试数通过率；定理，丢给 Lean/Coq 证明检查器；JSON，过 schema 校验。

这个「只换一个零件」的改动为什么引爆了整个推理模型时代？回到第一章的信号四属性，RLVR 几乎全部拿满：免费（程序化检查约等于零成本，对比 RLHF 的持续标注开支）、稠密（每道题一条判定，题可以批量生成）、客观（验证器即 ground truth——你没法贿赂一个单元测试）、可扩展（信号随算力扩展，不随标注扩展）。训练信号的瓶颈，第一次从「人」变成了「题」。

谱系很短但每一步都关键：DeepSeek 在 DeepSeekMath（2024）最早用答案检查当奖励并顺手发明了 GRPO；AI2 的 Tülu 3（2024）正式命名 RLVR 并把它系统化为后训练标准件；OpenAI o1（2024-09）第一次把「思考更久」做成产品；DeepSeek-R1（2025-01）开源完整配方，让全世界亲眼看到这条曲线的底座。到 2026 年，所有前沿推理模型——o 系列与 GPT-5、R1 后续、Qwen3 思考模式——走的都是这条路，GRPO 的后继算法（字节的 DAPO 修正长度偏置、Qwen 的 GSPO 稳定 MoE 训练）继续迭代。

R1-Zero 现象：没被教过的行为，自己长出来了

DeepSeek 做了一个让行业屏住呼吸的对照实验：R1-Zero——直接在基座模型上跑纯正确性奖励，不做任何监督微调。结果模型自发长出了长思维链、自我验证（「等等，我检查一下」）、回溯纠错，还有那个著名的「啊哈时刻」——推理中途突然意识到前面错了、掉头重来。这些行为从未出现在任何训练数据里，它们出现的原因只有一个：能赚到奖励。更长的思考与更高的正确率相关，组内相对梯度就会持续给「多想一会儿」加概率——推理行为是被奖励信号「诱捕」出来的。

这幕戏在信号论框架里含义深刻：当信号足够真，能力的涌现可以不需要示范。第三章说模仿的天花板是示范者；R1-Zero 证明，有了真信号，天花板可以不存在——这正是 RL 对 BC 的根本优势第一次在大模型尺度上兑现。当然，它有两个隐藏前提，第六章会一一拷问：基座模型得「偶尔能做对」（混合结果组），以及——奖励真的需要是真的吗？

四个必须表态的争议：RL 是创造还是唤醒

推理爆发是这两年最顺的叙事，也是最容易被误读的叙事。四个争议，每一个都直接影响你对「推理模型值多少钱」的判断。

争议一：RLVR 扩展了推理前沿，还是只提高了检索效率

反方证据：多篇 2025–2026 年的论文发现，RL 训练后模型的 pass@1（一次答对率）显著提高，但 pass@k（给 k 次机会至少对一次）在 k 较大时反而不如基座模型。如果 RL 真的教会了新推理，给足够多次机会，RL 模型应该全面覆盖基座——但事实更像 RL 把概率质量集中到了基座本来就会的路径上。用一句狠话说：RLVR 可能只是提高了「从已有能力里检索正确答案」的效率。

正方证据：对中间步骤打分的研究（不只判最终答案）显示，RLVR 确实改善了推理过程本身的质量，而不只是命中率；而且推理能力可以向未训练域迁移——在数学上训出的长链推理，部分能用在规划和调试上。

我们的判断：两种说法在各自的测量口径下都成立，合起来的图景是——RLVR 主要做「蒸馏与聚焦」，把基座弥散的能力压实成稳定的推理行为；在「基座偶尔能做对」的边界内，这种压实可以等效于能力扩展（R1-Zero 的长链推理就是这么来的），但它很难凭空造出基座完全没有的技能。推论：推理模型的军备赛，归根到底仍是预训练资产的军备赛。

争议二：spurious rewards——假奖励为什么也涨分

这是近两年最刺眼的一篇论文。研究者给 Qwen2.5-Math-7B 喂随机奖励甚至错误奖励，MATH-500 成绩照样提升约 21%——而真奖励的提升也不过 29%。如果奖励是假的，RL 怎么还会「有效」？更诡异的是：同样的假奖励在 Llama 和 OLMo 上完全无效。

最可能的解释：RL 的梯度信号不依赖奖励的「对错」，只依赖奖励与采样行为的相关性结构——而在 Qwen 上，「多想一会儿、用代码算一遍」这类行为模式早就被预训练（甚至可能包括测试集污染）烤进了模型，任何与输出挂钩的扰动都会放大这些现成模式。Llama/OLMo 的预训练里没有这份资产，同样的梯度就什么也唤不醒。

我们的判断：spurious rewards 没有推翻 RLVR，它推翻的是「RL 从零创造推理」的神话。RL 更像一把钥匙——开的是预训练已经造好的锁。这也给投资人一把快尺：评估一家推理模型公司，先问它基座的预训练资产从哪来，再问 RL 配方。

争议三：reward hacking 消失了，还是换了个马甲

RLVR 的宣传话术是「验证器即真理，无法被讨好」。前半句在数学域大体成立，但 2025–2026 年的工程实践发现一个微妙的迁移：奖励黑客没有消失，只是从统计问题变成了软件安全问题。策略模型会对你的验证基础设施做「渗透测试」——往代码里硬编码测试用例的期望值、利用答案解析器的边界 case、寻找沙箱逃逸路径、灌水格式分。验证器也是代码，是代码就有攻击面。

行业的应对也随之升级：数学用 math-verify 做符号等价而非字符串匹配（否则 38% 的「判错」其实是误判，直接毒化训练）；代码用真沙箱（容器/microVM、CPU/内存/时间限额、断网、隐藏测试用例）；把奖励从二元判定改为分制（通过测试比例），给信号加密度。现在写 verifier 的人，需要像写公网 API 一样做威胁建模——这催生了一个新职业层，第八章会展开。

争议四：熵塌缩是 bug，还是这套范式的固有代价

第二章说过，RL 是台巨型利用引擎。在 RLVR 里它表现为熵塌缩：策略越来越自信、输出越来越单一——pass@1 短期上涨，多样性（pass@k 的燃料）死亡，长程改进枯竭。Clip-Higher、动态采样（丢弃零梯度组）、熵正则、KL 控制，这些 DAPO 时代最贵的工程技巧，本质全是「保探索」。

我们的判断：熵塌缩不是可修复的 bug，是「用 RL 榨取推理能力」这套范式的固有张力——利用产生收益，探索产生未来，两者永远在抢同一份算力预算。能持续管理这个张力的团队（监控熵、动态调难度、适时回炉基座），才能吃到 RLVR 的长尾红利；把它当一次性配方跑完拉倒的团队，会在几个版本后撞上自己的天花板。

物理世界的信号税：机器人为什么 BC+RL 两条腿走路

数字世界造验证器几乎免费，物理世界每一步试错都要交钱。遥操、仿真、接管数据、视频矿——物理 AI 的全部工程，都是在给信号税找避税方案。

信号税：物理交互的边际成本永不为零

第五章的验证器为什么便宜？因为数学和代码的「环境」住在计算机里——判定一次答案的成本是几次函数调用。物理世界没有这种好事：机器人抓一次杯子，要付出硬件折旧、场地、时间和（失败时的）物品损耗；自动驾驶试错一次的代价可能是人命。我们把「物理交互获取学习信号的边际成本」称为信号税——它永不为零，只可能被打折。

税率从高到低，物理 AI 排出了一张清晰的光谱：科学湿实验（月级、万美元级一次）＞ 机器人操作（遥操 50–150 美元/小时）＞ 自动驾驶（车队被动数据近乎免费，但验证落地要交 RAND 口径的 50 亿英里验证墙）＞ 代码/数学（约等于零）。ND.012–ND.016 四期叙差，本质就是这张光谱上四个点的特写。

双引擎：BC 交「首付」，RL 交「月供」

第三章讲过「BC 打底 + RL 精调」的配方，物理世界把它执行得最彻底，因为账算得过来：BC 的首付——遥操数据虽然贵，但几十个示范就能让策略上手，避免从零探索的天价试错（机器人从零探索学会抓取可能需要数年等效交互）；RL 的月供——在仿真里跑探索（Isaac Lab 单 GPU 并行上万虚拟机器人、11 小时生成 78 万条轨迹），把探索成本从物理世界搬进数据中心，再用少量真机数据交「迁移税」（sim-to-real 损失 50–80%）。

自动驾驶是缴税缴得最精明的：车队被动产生的驾驶日志（比亚迪日采 2.2 亿公里）几乎免税——这是它和互联网文本最像的地方；世界模型把试错搬进仿真（撞一万次无人受伤）；占比不到 1% 的接管数据，是天然便宜的纠错信号。三层避税方案叠满，所以自动驾驶是物理 AI 里跑得最快的（ND.014）。而具身智能三层皆缺，只能在数据工厂里一小时一小时地买信号（ND.013）。

悬念主线：EgoScale——机器人找到自己的「下一个词」了吗

2026 年 2 月，NVIDIA 的 EgoScale 论文给出了一个可能改写税率表的结果：用第一人称人类视频做预训练，机器人任务完成率随数据量呈 log-linear 增长——从 1000 小时到 2 万小时翻了一倍，且曲线没有饱和迹象。互联网上的第一人称视频（做饭、修理、叠衣服）是被动产生、近乎无限、自带物理常识的「世界录像」——在信号论意义上，它和互联网文本同构：免费、自监督、覆盖真实世界。Dyna 的 DYNA-2 声称把这条曲线推到 100 万小时、横跨四个数量级（公司数据，独立复现之前先打折）。

这个悬念值得作为本专题的收尾主线：如果视频预训练 + 轻量真机微调的路线成立，机器人就从「奖励阵营」整体移民到「下一个词阵营」——具身智能的主引擎将不再是 BC+RL 的双引擎，而是和 LLM 同款的自监督单引擎，RL 退回精调位置。如果视频路线被证明只能教「视觉常识」教不了「关节控制」（Embodiment Gap 仍在），那双引擎格局还会继续。两条路对应两种完全不同的产业链估值——数采工厂（遥操产能）和世界模型公司（视频+仿真）正在对赌的就是这个。

造信号的产业：验证器经济

每一代信号升级都解锁一批新应用，也造就一批新的卖水人。当训练信号由代码构成，「写验证器的人」正在变得比「写训练器的人」更值钱。

一条清晰的信号升级线

把前七章串起来，是一条三代信号的接力线：环境真奖励（AlphaGo 时代：真实但只在封闭可模拟世界免费）→ 人类偏好的统计替身（RLHF 时代：开放但主观、贵、可被讨好）→ 确定性验证器（RLVR 时代：开放且保真，但只在可验证域成立）。每一次换代，都精确对应一轮应用爆发：游戏 AI、对话产品、推理与编程 Agent。这条线的预测力在于：下一轮爆发不在「模型更大」的方向上，而在「下一个被造出验证器的领域」。

可验证域地图：谁在排队领验证器

用「能否写出从输出到对错的确定性函数」这把刀，各行业已经排好了队：

新的卖水层：verifier、沙箱、评测环境

当训练信号由代码构成，围绕信号的基础设施就成了生意：数学验证库（math-verify）、代码沙箱（容器/microVM 隔离、限额、断网、隐藏测试）、RL 环境服务（可规模化的「题目+判分」API）、评测与审计（防 reward hacking 的对抗性测试）。2026 年的一个标志性现象是：一线推理团队的瓶颈岗位从「训练工程师」变成了「环境/验证器工程师」——模型的敌人不再是算力不够，而是验证器有漏洞。这正复刻了每一轮信号升级的历史：自监督火了数据清洗，RLHF 火了标注平台，RLVR 正在火验证基础设施。

对产业地图的最后一笔：这条卖水层的护城河不在模型能力，在领域知识——能为生物医药写出「可验证判定」的人，得同时懂蛋白和代码；能为金融合规写验证器的人，得同时懂监管文本和形式化方法。验证器经济的第一批赢家，大概率是垂直领域里「最懂行的那批工程师」，而不是通用大模型公司。

回扣：信号决定论的机制版证明

DR.004 在领域层面立论：信号的密度、时效、无偏、可模拟、信噪、先验，决定 AI 在各领域的命运。本专题在机制层面把这句话补完：信号不是抽象参数，它有三种具体的「社会形态」——被动数据（语言/驾驶日志）、人造替身（奖励模型）、确定性验证器（RLVR）；以及三种对应的产业组织——互联网、标注平台、验证基础设施。下一次产业地图的改写，会发生在第四种形态出现的地方：也许是视频世界模型（物理世界的被动数据），也许是能给自己出卷子的智能体（自造验证器）。盯住信号的形态变化，比盯住模型榜单，能早一年看到拐点。

谁能给自己的领域造出验证器

回到引言里那个模型的一天。上午的自监督，让语言模型吃到了人类文明的全部文本；下午的试错，让棋类 AI 突破了人类棋谱的天花板。八年里，AI 产业的每一次大爆发，拆开看都是一次「信号供给方式」的换代：

• 2018–2022：自监督证明「答案就在数据里」的领域可以被规模化——GPT 时代；
• 2022–2024：RLHF 证明写不出规则的目标可以被「蒸馏」成信号——对话产品时代；
• 2024–2026：RLVR 证明自带验证器的领域可以被「直通真理」——推理模型时代。

三部曲到这里闭环：DR.003 讲清了架构怎么工作（注意力、词向量、KV Cache）；DR.004 讲清了为什么同一架构命运不同（六维尺子、三档分野）；本专题讲清了两种燃料在机制上的全部差别——LLM 模仿世界，信号稠密、免费、离线、无需探索；RL 改变世界，信号稀疏、昂贵、在线、必须探索；而连接两者的三代人造信号（模仿、替身、验证器），才是 2026 年 AI 竞争真正的战场。

给投资人留一把最终形态的尺子：评估任何「AI + X」的故事，别先问模型多大、榜单多高，先问三个信号问题——这个领域的验证器是什么？造它的成本多贵？它分布外还成立吗？答得出来的领域，爆发只是时间问题；答不出来的，再漂亮的演示都是期货。下一个 GPT 时刻不属于把模型做得更大的人，属于给自己的领域造出验证器的人。

术语速查

尽调追问清单

遇到任何「AI + X」的项目，先用这组问题问信号，再问模型。

1. 你们的验证器是什么？（答不上来的，按「信号替身」档位打折）
2. 奖励/标签是谁定义的？分布外还成立吗？（RM 的主观域 vs 验证器的客观域）
3. 每条学习信号的边际成本是多少？（物理世界的信号税交了多少）
4. 训练数据里负样本从哪来？（只见成功示范的系统，学不到失败与恢复）
5. 有没有监控熵和死组/零梯度组？（没有探索管理的 RL 团队会撞自己的天花板）
6. 验证器做过威胁建模吗？（防硬编码、防解析器漏洞、防沙箱逃逸）
7. 基座模型的预训练资产是什么？（RL 是钥匙，先确认锁是自家的）
8. 你们的故事里，谁在「签字」？（自主系统的演示越漂亮，越要找那个把关的人）
9. 这个领域的信号下一代形态可能是什么？你们在为它布局吗？
10. 如果验证器明天免费开放，你的壁垒还剩什么？