信号决定论：Transformer 改变了哪些 AI 算法

同一个架构，为什么命运天差地别

2017 年那篇论文提出了一个通用架构。八年过去，它在某些领域掀起了革命，在另一些领域却几乎无声。

2017 年，Google Brain 的八位研究员发表了《Attention Is All You Need》。Transformer 从此成为 AI 领域最通用的架构——它处理语言、图像、音频、代码，理论上可以处理任何能被"切成序列"的东西。

但八年过去，一个反常的现象摆在眼前：同一个架构，在不同领域的命运完全不同。

• 在语言上，它带来了 GPT 系列，直接改写了整个科技产业的价值分配；
• 在图像生成上，它让创作成本趋近于零；
• 但在程序化广告上，它更像是一次工程优化，而非革命；
• 在机器人上，投入了大量资源，至今没有出现"能干活"的通用产品。

本报告回答三个问题

为什么投资者需要这把尺子

这两年，"AI + X"的项目满天飞，但真正跑出来的很少。判断的难点不在于技术细节，而在于：这个方向到底能不能被 AI 改造？改造的速度有多快？

大多数失败的项目，问题不在团队执行，而在方向本身——他们选了一个信号质量撑不起 AI 的领域。而这把尺子，能在尽调的第一个小时里给出大致判断。

阅读指引

• 想快速建立判断框架 → 直接读第一章（尺子）与第七章（工具）；
• 想理解背后的机制 → 读第五章（五条机制）；
• 关心具体领域（广告 / Agent / 机器人 / 工业）→ 读第二、三、四章（三档分野）；
• 要落地企业 AI 项目 → 直接看附录 C（企业级 AI 落地手册）。

那把尺子：学习信号的六个维度

在讨论"哪个领域被改变、哪个没有"之前，先要有了一把能测量的尺子。这一章把尺子造出来。

一、一切 AI 都能拆成三个问题

任何机器学习系统，都可以用三个问题切开：输入是什么、输出是什么、怎么知道错了。

前两个问题决定了模型长什么样，第三个问题决定了这条路能走多远：

• 稠密、免费、即时的信号（语言模型：每预测一个词立刻就能和真实的下一个词对比）→ 训练样本近乎无限，模型可以持续变大变强；
• 稀疏、昂贵、延迟的信号（广告点击、医疗诊断、投资决策）→ 数据永远不够、反馈还来得慢，模型很快撞到天花板。

二、七个领域的具象对照

把七个代表性领域摆在一起，输入、输出与学习信号的差异一目了然：

三个你可能会关心的领域，值得单独说清楚：

三、信号的六个维度

"学习信号质量"不是一维的。它至少有六个可测量的维度，前四个决定"能不能学到"，后两个决定"能学到什么程度"：

四、三类偏离直线的特例

如果只有"信号质量 → 技术命运"这一条直线，故事就太简单了。真实世界里有三类明显偏离的领域——它们恰好揭示了尺子上另外两个维度的重要性：

五、小结：怎么用这把尺子

把六个维度组合起来，可以给任何一个 AI 应用方向打一个粗略的"信号分"：

自监督的胜利：被彻底改变的四个领域

语言、图像生成、多模态、代码——它们为什么一进来就"起飞"？

一、共同点：它们都找到了"免费且无限"的学习信号

把这四个领域放在一起看，会发现一个惊人的共同点：它们的训练信号都不需要任何人标注，而且可以无限生成。

二、为什么"喂不饱"这件事如此关键

第五章会详细解释机制，这里先说结论：AI 的能力提升，本质上依赖"用海量样本反复纠错"。

• 信号免费且无限 → 数据规模无上限 → 模型规模可以一直堆 → 能力持续涌现；
• 信号昂贵或稀疏 → 数据很快见顶 → 模型一大就过拟合 → 能力停在某个水平。

这张图对比了语言与广告两类信号。差别不在"算法聪明与否"，而在一个模型每训练一轮，能得到多少次纠错机会。

三、涌现：不是魔法，而是规模跨过阈值的结果

当模型规模跨过某个量级，一些全新的能力会突然出现——多步推理、上下文学习（给几个例子就能学会新任务）、思维链、指令遵循。这叫涌现能力。

比较有说服力的解释是：复杂能力往往需要多个子技能同时具备。小模型缺其中任意一环，整体就失效；当规模跨过阈值，所有零件都到位了，能力就"突然"显现。

四、投资视角

实用成熟区：为什么"好用"不等于"被改变"

语音识别、图像分类——它们已经很准了，为什么在本书里排在中间档？

一、一个反直觉的定位

如果只看日常体验，语音识别和图像分类应该是"最成功"的 AI 应用：

• 语音转文字准确率普遍在 95% 以上，日常沟通、会议记录完全够用；
• 图像分类在 ImageNet 上早已超过人类水平，手机相册自动归类、电商图像检索都很成熟。

但它们在本书的分类里，处在"实用成熟区"——被改变的程度中等。这不是因为它们做得不好，而是因为本书的纵轴衡量的是另一个东西。

二、澄清：纵轴衡量"版图扩张"，不是"路况好坏"

两个领域的差别不在"好不好用"，而在"边界还能不能扩"：

• 语音识别 / 图像分类是"这条路已经修到了尽头"——任务本身早已解决，Transformer 让它好了一点点（几个百分点、更强的鲁棒性），但能力边界没有扩大：还是"转写"和"分类"这两件事；
• 语言模型 / 生成模型是"发现了一片新大陆"——路还很难走（经常出错），但边界在不断外扩：从翻译到写作、到编程、到推理。

三、为什么它们停在中间：封闭任务 + 长尾信号

四、那还有机会吗？——有，但在深水区

信号缺失区：五个还没跑通的领域

广告、Agent、具身智能、工业质检、预测性维护——技术明明成熟，为什么推不动？

一、五个领域的共同困境

逐个看，会发现困境各不相同，但根源一致：它们都缺少"免费、稠密、即时"的学习信号。

二、广告：三重困境叠加

• 稀疏：CTR 在 1% 量级、CVR 在 0.1% 量级——99% 的样本答案是"没点击"，模型很容易学会"全都猜不点"却仍有 99% 准确率；
• 延迟：点击几秒、转化几天、复购几周——模型在优化一个几天前的决定；
• 有偏：只有"竞价胜出"的广告才有反馈，没胜出的永远不知道"如果展示了会怎样"（选择偏差），而且展示决策本身来自上一版模型——模型在用自己的历史偏好训练自己。

三、Agent：信号比广告更稀疏

Agent 的输入是"任务 + 工具清单 + 历史 + 环境反馈"，输出是一个动作（调用哪个工具、传什么参数）。而它的学习信号是任务最终是否完成——比广告的点击信号还要稀疏。

Agent 的三级能力建设路径

但编排有三个天花板：知识边界（模型本来不会的，写多少 prompt 也不会）、不稳定（长链条错误累积）、无法积累（换个场景就要重写）。所以真正的路径是三级演进：

判断一个 Agent 项目成不成熟，看它在哪一级：只会写 prompt 的，护城河很浅；已经开始用执行轨迹训练模型的，才是真门槛。

四、具身智能：试错成本是最大的敌人

机器人的困难和其他领域都不一样：它必须通过物理世界试错来学习，而物理世界的试错又慢又贵又危险。

• 对比：下棋 AI 可以自我对弈几百万局（几乎零成本），机器人摔一次可能损坏硬件、伤人；
• 长尾问题尤其致命：罕见场景（极端光照、罕见物体）几乎无法主动采集；
• 所以这一领域的核心竞争力，是仿真能力——能不能在虚拟世界里高效造出训练样本。

五、工业 AI：把两类问题分开看

六、现实检验：企业级 AI 的五层门槛

有人会说：企业里的数据很多，为什么企业级 AI 还是难落地？因为"有数据"和"能用数据"是两件事。

为什么信号决定一切：五条机制

这一章回答一个问题：为什么"学习信号"能一路决定一个领域的技术命运？不是相关性，而是因果——五条机制，一条比一条具体。

机制一：Scaling Law 有一个隐藏前提——信号必须稠密

Scaling Law 常被简化成"模型越大越好"，但它成立是有条件的：损失必须随规模持续、平滑地下降。而这个条件，只有在信号足够稠密时才满足。

为什么会这样？从信息论的角度看很简单：模型能学到的，是数据里"可学的规律"，而不是数据本身。

• 语言数据里，规律密度极高——语法、事实、逻辑、常识，每预测一个词都在强化这些规律；
• 广告数据里，规律稀疏得多——一次展示是否被点击，受大量不可观测因素影响（当时的心情、口袋里的钱、竞争对手的促销），能被模型捕捉的部分有限。

当模型容量超过数据的"信息含量"，它就开始记忆噪声而不是学习规律——于是验证损失不再下降，甚至回升。这就是弱信号领域的天花板：不是模型不够大，而是数据撑不住更大的模型。

机制二：自监督是分水岭——它把"标注成本"变成零

如果把 AI 领域按"能不能自己造标签"分，会得到一个非常干净的分野：

自监督之所以是分水岭，是因为它同时解决了三个问题：

1. 成本：不需要雇人标注，边际成本接近零；
2. 规模：可以吃到整个互联网（语言）、整个图库（图像），数据永远喂不饱；
3. 通用性：学到的表示可以直接迁移到下游任务（这就是"预训练 + 微调"范式的来源）。

机制三：反馈闭环的长度，决定学习的速度

这一点常被忽略，但它对"学习速度"的影响是数量级的。

把闭环长度换算成"单位时间内能完成的练习次数"，差距就非常直观：

这就是为什么"能不能模拟"如此关键——它能人为压缩闭环长度。AlphaZero 把"下一盘棋"压缩到几乎零成本，所以它能在几天内积累人类千年的对局经验。机器人做不到这一点，就只能慢。

机制四：表征能否统一，取决于"任务能不能被设计出来"

拆开三层后，问题就清楚了：

• 第一层 · 模态内编码：把每种东西变成向量（用户 ID 查 embedding 表、文本用编码器、数值分桶归一化）——广告能做到；
• 第二层 · 跨模态对齐：让不同类型的东西在同一空间可比（业界称"双塔模型"）——广告也能做到；
• 第三层 · 统一预训练目标：用哪一个自监督任务训练这个空间——这里才是真正的卡点。

为什么第三层这么关键？因为问题的本质是：自监督任务能不能从数据自身的"结构"里长出来。

• 语言自带序列结构（词的先后顺序）→ "预测下一个词"是天然存在的任务；
• 图像自带空间结构（像素相邻）→ "还原加噪图"也是天然的；
• 图文对自带配对结构（共现关系）→ "判断是否匹配"同样是天然的；
• 广告数据没有内在结构——它是人为拼接的字段。没有现成的问题形式可用，任务必须由人设计出来。

机制五：选择偏差——只能看到赢家的困境

这是弱信号领域特有的、也最难解决的一条。以广告为例：

• 模型只能看到已经展示过的广告的反馈；
• 那些竞价失败、根本没展示的广告，永远不知道自己"如果展示了会怎样"；
• 更麻烦的是：展示决策本身是上一版模型做的——模型在用自己的历史偏好训练自己（反馈回路，feedback loop）。

这在统计上叫选择偏差（selection bias），在工程上的应对是"探索流量"（故意展示一些看起来不优的广告来收集数据）。但探索是有代价的——每一次探索都在损失当下的收入。这是弱信号领域永远要面对的取舍：要短期收益，还是要长期学习能力。

回到三类特例：它们其实是三条"绕过信号瓶颈"的捷径

把这三条捷径放到一张图上，就得到了弱信号领域的破局路线：要么想办法造信号（合成数据、仿真），要么用先验约束缩小搜索空间（领域知识、物理模型），要么接受小规模、做深不做大。

破局：合成数据、仿真，以及"重新定义任务"

第五章说明了信号为什么是决定性的。这一章讲更实际的问题：处在弱信号区的领域，怎么才能走出来？

一、弱信号领域唯一的出路：自己造信号

这四种手段的本质是同一件事：把"等现实给信号"变成"自己造信号"。而它们的杠杆大小并不一样——这是本章最重要的一节。

二、造数据 vs 造任务：杠杆差一个量级

这是我在研究过程中最重要的一个发现，值得展开说清楚：

HSTU 案例：把广告变成"序列生成"

推荐与广告长期困在"弱信号"里：点击率 1% 级、转化等数天、只见赢家。按第五章的机制，这类领域应该永远无法 scaling。

但 2024 年的 HSTU 论文换了一个问法：

• 旧问法："这个用户会不会点这条广告？"——一次判断一个标量，信号是稀疏的事件；
• 新问法："把用户的行为历史当成一句话，预测他下一个行为是什么。"

这一转变带来三个连锁反应：

1. 信号密度提升：行为序列里每个位置都是一个预测目标，从"一次展示一个信号"变成"每个行为都是信号"；
2. 任务形式与语言模型同构：可以复用 Transformer 的架构与训练技巧，直接吃 scaling 红利；
3. Scaling Law 开始成立：HSTU 论文报告了一个关键结果——模型越大，推荐效果越好，呈现出与 LLM 相似的幂律。

三、合成数据的暗面：模型坍塌

既然合成数据能补信号，那是不是可以大量用？不行，这里有一个陷阱。

危险在于：模型的输出是"最常见的答案"，而不是"完整的分布"。用合成数据反复训练，罕见但重要的样本会一代代消失，最终模型只会那几种模式。这在学术上叫模型坍塌（Model Collapse）。

四、五条路径的适用条件与代价

最后一行是重点："重新定义任务"的杠杆最大，因为它不额外造数据，而是换个问法让信号变稠密——但它的门槛也最高。

五、投资视角：如何识别"造信号"能力的真伪

投资视角：用信号强度筛项目

前面六章是机制，这一章是工具——一套可以直接带进会议、五分钟内判断一个 AI 项目"能不能跑通"的方法。

一、统一的判断入口：信号六问

这六个问题的作用是快速定位一个项目在"信号谱"上的位置。举两个对照的例子：

二、三档项目，三种胜负手

把项目分档的意义在于：用错误的尺子衡量项目，是投资判断最常见的错误。

• 用"能不能 scaling"去要求一个广告公司——它会永远让你失望，因为它的信号撑不住；
• 反过来，用"运营效率"去评价一个代码助手公司——你会低估它真正的壁垒（数据管道与评测体系）。

三、弱信号领域的唯一出路：自己"造信号"

这四种手段，本质上都在做同一件事：把"等现实给信号"变成"自己造信号"。哪一种能跑通，取决于这个领域的物理约束：

四、三个尽调陷阱

五、把方法用起来：三个方向的判断示例

① 广告 / 程序化投放（弱信号）

• 不该问：它有没有自研大模型？（答案注定是"没有"或"用了别人的"）
• 该问：它的数据闭环有多短？有没有自有场景能持续产生信号？有没有在用生成式方法做"虚拟流量"来弥补信号稀疏？
• 核心指标：单位算力的效果提升、闭环迭代周期、毛利率随规模的变化方向（弱信号领域最容易"规模越大亏越多"）。

② 具身智能 / 机器人（极弱信号）

• 不该问：它的机器人有多通用？（通用性恰恰是信号最缺的地方）
• 该问：它的仿真环境自研到什么程度？sim-to-real 的成功率多少？数据采集是自己的硬件还是外包？
• 核心判断：仿真能力 = 这家公司的核心资产。谁能在仿真里高效造出训练样本，谁才有资格谈通用性。

③ 工业 AI（分裂的信号）

• 质检：缺陷样本极稀缺（良品率 99.9%，缺陷样本要靠人为制造）→ 需要合成数据 + 少样本学习；
• 预测性维护：故障日志稀疏，但有物理先兆（振动、温度异常）→ 信号质量好一些，可以用机理模型 + 数据模型混合；
• 核心判断：这两类生意的壁垒都在"数据获取渠道"——能不能进产线、能不能拿到设备数据，比算法重要得多。

六、一页速记

下一代技术革命，会在哪个信号上发生

把整本书的逻辑收敛成一个前瞻判断。

一、回顾：一条被反复验证的规律

从五十年的 AI 历史看，每一次真正的跃迁，都源于"找到了一种新的、能自我标注的学习信号"：

• 2012 年之前：靠人工标注 → 数据规模受限；
• 2012–2017 年：CNN + 大规模标注数据集 → 视觉领域起飞，但标注成本成为天花板；
• 2017 年之后：自监督（预测下一个词、还原加噪图）→ 数据无限 → 语言与生成领域起飞；
• 2024 年之后：把弱信号任务重构成强信号任务（HSTU：推荐 → 序列生成）→ 广告/推荐开始出现 Scaling Law。

二、三个最有可能出现突破的方向

注意这三个方向的共同点：突破口都不在"模型更聪明"，而在"把信号变得更可用"。

三、回到那把尺子

本书从头到尾只讲了一件事：技术是通用的，但它的效果取决于它落在什么样的信号上。

术语速查（40 条）

按主题分组。建议收藏，下次听技术团队讲方案时逐项对照。

尽调追问清单

可以直接带进会议的问题。这些问题不需要你懂代码，但足以分辨一个团队是真懂技术，还是在包装概念。

一、信号六问（通用）

二、技术路线类

• 「你们用的是预训练、微调、RAG 还是 Agent？」——含糊说明没想清楚问题类型（知识问题用 RAG，行为问题用微调，流程问题用 Agent）。
• 「基座是自研还是开源？改了哪些部分？」——开源基座不丢人，丢人的是把"调用 API"包装成"自研大模型"。
• 「怎么评测效果？有没有和基线的对比数据？」——没有评测体系的 AI 项目，等于没有仪表盘的飞机。
• 「模型处理不了的边界情况，怎么兜底？」——追问幻觉处理机制，能看出是否真的在生产环境跑过。
• 「有没有重新定义过任务？」——弱信号领域最高杠杆的动作（如把推荐重构成序列生成）。

三、数据类

• 「训练/检索的数据从哪来？有没有合法授权？」——数据合规是这一轮最大的隐性风险。
• 「这些数据是自监督可用，还是需要人工标注？」——前者不构成壁垒，后者成本高但能形成护城河。
• 「数据会随客户使用而积累吗？归谁？」——判断"客户越多、模型越强"的飞轮是否成立。

四、成本与毛利类

• 「推理成本占收入多少？规模翻倍后怎么变？」——很多 AI 项目是"规模越大亏越多"，这个问题能直接戳破。
• 「训练一次的成本是多少？失败重来的概率多大？」——有大规模训练经验的团队，实际成本可能低数倍。
• 「单位经济模型里，算力成本会随技术进步下降多少？」——判断这个假设是否可靠。

五、壁垒与竞争类

• 「如果巨头明天免费提供同样的能力，你们还剩什么？」——会逼出真正的壁垒：数据、客户关系、工作流嵌入深度，或监管资质。
• 「客户换掉你们的成本有多高？」——嵌入工作流的深度决定续费率。
• 「你们的技术优势，半年后还存在吗？」——架构公开且趋同，技术领先的保鲜期通常以季度计。

六、企业级项目专属（六问）

附录 C　企业级 AI 落地手册（另册）

本报告的信号框架，在企业落地时会遇到一系列更具体的问题：embedding 到底懂什么、向量化为什么不可省略、RAG 与微调的分工、元数据设计、以及企业级 AI 的五层门槛。

→ 打开《附录 C · 企业级 AI 落地手册》（8 图 11 表）