先说结论

• 推理模型的训练配方已经公开且趋同：基座模型 + GRPO 系算法 + 可验证奖励（RLVR）——数学用答案比对、代码用单元测试当奖励。到 2026 年，所有前沿推理模型（OpenAI o 系列与 GPT-5、DeepSeek-R1、Qwen3 思考模式）走的都是这条路[1][2]。
• RLVR 与前代 RLHF 的本质区别在奖励来源：RLHF 用人类偏好训练的奖励模型——主观、贵、可被"讨好"（reward hacking）；RLVR 用确定性验证器——程序判定对错，就是真理本身，无法被收买[1][3]。
• 用信号论的尺子量：RLVR 是教科书级的强信号——免费（程序化检查约等于零成本）、稠密（每道题一条判定）、客观（验证器即 ground truth）、可扩展（瓶颈从"人类标注"变成"有答案的题"，而题可以批量生成）[1][4]。
• 但必须泼两盆冷水：① "RL 教会了推理"这个说法在学术上争议很大——pass@k 实验显示 RL 可能只是把基座模型已有的能力"引出来"，而不是创造了新能力[5]；② 更刺眼的是 spurious rewards 实验：给 Qwen 模型喂随机甚至错误的奖励，MATH-500 成绩照样涨 21%（真奖励涨 29%）——同样的假奖励在 Llama 和 OLMo 上完全无效[5]。预训练资产，决定 RL 的天花板。
• 推理爆发还有一个隐藏功臣：R1-Zero 现象——纯正确性奖励下，模型自发长出长思维链、自我验证、回溯和"啊哈时刻"，这些行为从未被显式教授，因为它们能赚到奖励[2][6]。
• 本期核心判断："能不能造出验证器"是预测 AI 下一个爆发领域的最佳单一指标。数学和代码已经验证，定理证明（Lean/Coq 检查器）正在验证，Agent 工具调用（执行结果可判）是下一个。反过来，没有验证器的领域——写作、对话、开放任务——仍然只能用 RLHF 的伪信号，天花板明显[3][4][7]。

前两期（ND.012/ND.013）拆的是物理世界的信号荒漠：Robotaxi 的验证墙、具身智能的数据断供。这一期回到数字世界，看一个相反的故事——当信号管够的时候，AI 的进步能有多快。两相对照，信号论的预测力就完整了：缺信号的领域推不动，有信号的领域拦不住。

2024 年 9 月，OpenAI 发布 o1，第一次把"思考更久"变成产品；2025 年 1 月，DeepSeek-R1 开源了完整配方，让全世界看到这条曲线的技术底座；到 2026 年，这条路已经成为所有前沿推理模型的标配——Qwen3 的思考模式、字节的 DAPO 系统，全是同一个配方的变体[1][2]。

配方拆开只有三样原料：一个够强的基座模型、一批"答案可检查"的题、一个大规模跑采样的 RL 框架。训练循环也简单得惊人：每道题让模型生成一组答案，验证器逐个判对错，按组内相对优劣更新策略（GRPO 的核心思想），再加一条 KL 缰绳防止跑偏[1][2]。

值得注意的是配方里没有的东西：没有人类标注的推理过程，没有人工设计的思维链模板，甚至没有奖励模型。DeepSeek 的 R1-Zero 实验更激进——直接在基座模型上跑纯正确性奖励，不做任何监督微调，模型自己长出了长思维链、自我验证、回溯纠错，还有那个著名的"啊哈时刻"（推理中途突然自我纠正）[2][6]。这些行为从未被教授，它们出现的原因只有一个：能赚到奖励。

RLHF 与 RLVR 的信号对比

把尺子架到 RLVR 上，六个维度几乎全绿。

信号是什么？ 一个确定性函数的判定结果：数学题，解析最终答案与标准答案做数值/符号等价比对（1/2 = 0.5 = 0.50 都算对）；代码，跑单元测试数通过率；定理，丢给 Lean/Coq 证明检查器[1][3]。

密度？ 每道题一条判定，想要多少题生成多少题——瓶颈从"人类标注速度"变成"出题速度"，而题可以由模型批量生成。

客观性（无偏）？ 验证器就是真理本身。这是 RLVR 相对 RLHF 的代差：RLHF 的奖励模型是对人类偏好的统计近似——它会出错，更会被"讨好"。模型学会写奖励模型喜欢的答案而不是正确的答案，这就是 reward hacking。RLVR 把这个漏洞从根上焊死了：你没法贿赂一个单元测试[1][3]。

成本？ 程序化检查约等于零。对比之下，RLHF 的偏好标注是持续的人力开支，而且越往能力前沿走，标注者越难判断答案好坏——奖励模型自己先撞墙。

可扩展性？ 训练信号随算力扩展，不随标注扩展。这是它能撑起军备赛的直接原因[1][4]。

当然，尺子也量出了边界：RLVR 只在"可验证域"成立。数学、代码、结构化输出、工具调用、形式化证明，这些是天然带验证器的领域；写作、对话、开放式创作没有验证器，还得回到 RLHF——所以行业现实是"RLVR wherever you can verify, RLHF for the rest"[3]。

理解 RLVR 的意义，最好的方式是把它放进"奖励信号"的进化史里。

第一代是经典 RL：环境给奖励——AlphaGo 的胜负、游戏的分数。信号真实但只在可模拟的封闭世界里免费。第二代是 RLHF（2022–2024）：把人类偏好蒸馏成奖励模型，让"对齐"这个无法写规则的目标第一次变得可训练。它是 ChatGPT 时刻的隐形功臣，但它是伪信号——主观、昂贵、分布外失真、可被讨好[3][7]。

第三代就是 RLVR（2024–2026）：在可验证域里，把奖励模型整个裁掉，直接对接真理。DeepSeek 在 DeepSeekMath（2024）里最早用答案检查当奖励，AI2 的 Tülu 3 正式命名 RLVR，DeepSeek-R1 把它变成推理爆发的主引擎[1][2]。一条清晰的信号升级线：环境真奖励（但封闭）→ 人类偏好的统计替身（开放但失真）→ 确定性验证器（开放且保真，但只在可验证域）。

这条线对投资的含义很直接：每一代信号升级，都解锁一批此前做不动的应用。RLHF 解锁了对话产品，RLVR 解锁了推理和编程 Agent。那么下一个问题是——还有哪些领域能造出验证器？

推理爆发的叙事太顺了，需要冷水。学术圈 2025–2026 年的争议恰好就集中在这里。

第一盆：pass@k 实验。 多篇论文发现，RL 训练后模型的 pass@1（一次答对率）显著提高，但 pass@k（给 k 次机会至少对一次）在 k 较大时反而不如基座模型——意味着 RL 可能只是把概率质量集中到基座模型本来就会的路径上，而不是开辟了新路径。用信号论的话说：RLVR 优化的是"检索效率"，不一定是"能力边界"[5]。

第二盆更刺眼：spurious rewards。 2025 年一篇论文给 Qwen2.5-Math-7B 喂随机奖励甚至错误奖励，MATH-500 成绩照样提升约 21%——真奖励也才提升 29%。但同样的假奖励在 Llama 和 OLMo 模型上完全无效。最可能的解释：RL 唤醒的是预训练时已经"烤进去"的潜在行为模式（Qwen 的预训练数据里可能就有大量"用代码思考"的样本，甚至含测试集污染）[5]。

泼冷水实验：随机奖励也涨 21%

两盆冷水合在一起的含义是：RLVR 的红利高度依赖基座模型的预训练资产。这解释了为什么推理模型的竞争最后仍然是数据竞争、算力竞争——RL 只是把已有资产变现的高效杠杆。

还有两个工程层面的暗礁值得一提：熵塌缩（策略过早变得过度自信、停止探索，pass@1 短期上涨但多样性死亡）和奖励 hacking 的形态迁移——RLVR 没有消灭 hacking，只是把它从统计问题变成了软件安全问题：模型会 fuzz 你的验证器、硬编码测试用例、利用沙箱漏洞。现在写 verifier 的人，需要像写公网 API 一样做威胁建模[2][8]。

可验证域地图

如果"能不能造验证器"是预测指标，那各个领域的排队位置已经很清楚。

已验证：数学（答案等价比对）、代码（单元测试/编译器）、JSON 结构化输出（schema 校验）、定理证明（Lean/Coq）。这四个领域的推理能力过去两年翻了几番，不是巧合[3]。

正在验证：Agent 工具调用（执行结果可判定——调用了吗？返回对了吗？）、形式化规格的任务（格式合规）。这就是编程 Agent 今年爆发得比通用 Agent 快的原因——它有编译器当裁判[4][7]。

难以验证：写作、战略分析、开放研究、多轮协作——没有确定性判定函数，只能继续用 RLHF 的伪信号，或者用 LLM-as-judge（另一个模型当裁判，信号质量打折扣）。RLVRR（2026）尝试用高质量参考答案把可验证信号扩展到开放任务，是这条边界上最值得跟踪的方向[3]。

一个新的卖水层正在成形：verifier、沙箱、评测环境。当训练信号由代码构成，"写验证器的人比写训练器的人更值钱"——安全隔离的沙箱（容器/microVM、CPU/内存/时间限额、断网、隐藏测试用例）成了推理训练的基础设施，一批专门做 RL 环境和验证服务的公司正在拿融资[2][8]。

与物理世界对照着看更有意思：数字世界造验证器几乎免费（代码即裁判），物理世界造验证器贵得离谱（ND.012 的 50 亿英里验证墙、ND.013 的遥操数据工厂）。同一个信号论，两个世界的价格差，就是两条产业链的估值差。

回到开头的问题：推理爆发是 RL 的胜利吗？尺子的答案是：这是奖励信号供给方式的胜利。o1 和 R1 没有发明新算法（GRPO 只是 PPO 的简化变体），它们做的是把奖励来源从"统计替身"换成"确定性真理"——然后行业发现，在数学和代码这两个自带验证器的领域里，信号突然变得免费、稠密、不可收买，军备赛的条件就齐了。

这个判断的预测力在于：盯住"验证器"而不是"模型"，就能提前看到下一个爆发点。定理证明已经跟上，Agent 工具调用正在跟上，RLVRR 在往开放任务挤——每多一个领域被造出验证器，信号论就会在那里再兑现一次。

风险提示：本文技术细节基于公开论文与工程博客，RLVR 的学术争议（pass@k、spurious rewards）尚无定论；涉及公司与模型的进展以官方披露为准。本文为研究讨论，不构成任何投资建议。

资料来源：

1. RLVR 技术综述（DataSciencePreparation）：RLHF 与 RLVR 对照（奖励来源/信号形态/成本/reward hacking）、GRPO 配方、验证器清单、RLVRR 扩展（2026）

https://s-samarth.github.io/DataSciencePreparation/LLM/alignment/rlvr?q=

1. LLM Stack Book 5.9：RLVR 与推理配方——R1-Zero 现象机制、混合结果组前提、验证器工程（math-verify/沙箱）、熵塌缩修复、2026 前沿模型全景（2026）

https://prakashkagitha.github.io/llm-stack-book/05-posttraining-alignment/09-rlvr-reasoning.html

1. AI Wiki：Reinforcement Learning——RLVR 命名史（DeepSeekMath→Tülu 3→R1）、PRM 与 ORM 之分、GRPO/DAPO/GSPO 演进（2026）

https://aiwiki.ai/wiki/reinforcement_learning

1. Where AI Value Lands：RL from Verifiable Rewards——"哪些行业能造验证器"的产业地图、稀疏延迟奖励的开放问题（2026）

https://supgrade.github.io/where-ai-value-lands/tech/rl-from-verifiable-rewards

1. reinforcement-learning.com：RL for Reasoning——pass@k 回退争议、Spurious Rewards 论文（Qwen 随机奖励 +21% vs 真奖励 +29%，Llama/OLMo 无效）、熵塌缩的中心张力（2026）

https://www.reinforcement-learning.com/kb/rl-for-reasoning

1. DeepSeek-AI：DeepSeek-R1 论文——纯正确性奖励下的长思维链、自我验证与"啊哈时刻"涌现；开源多阶段配方（2025-01）

https://arxiv.org/abs/2501.12948

1. 头哥研究：《信号决定论——Transformer 改变了哪些 AI 算法》（信号六维尺子与"信号升级线"出处）

https://www.touge.com.cn/dr/signal-theory/

1. Uplatz：深度学习与强化学习在机器人中的融合——reward hacking 物理版、IL/RL/BC 三范式对照（2025）

https://uplatz.com/blog/the-convergence-of-deep-learning-and-reinforcement-learning-in-modern-robotics-architectures-applications-and-frontiers/