从机器学习到 Transformer

为什么投资人必须理解 AI 底层

这两年我见过太多投资人在同一个问题上栽跟头：他们能熟练地用 ChatGPT 写邮件、做纪要，却说不清楚"大模型到底在做什么"。这种状态在行业上行期没问题——跟着趋势走就行；但一旦进入分化期，对技术底层的理解深度，直接决定你能否判断"哪一层会被商品化、哪一层能留住利润"。

更现实的问题是：如果你无法分辨"参数量更大"和"能力更强"的区别，你就无法判断一家公司宣称的"自研大模型"到底值多少钱；如果你不知道推理成本由什么决定，你就看不懂算力租赁商和模型公司的毛利率走向；如果你不理解注意力机制为什么能取代循环网络，你就无法理解为什么 GPU 的显存带宽会成为整个产业的卡点。

这份报告写给谁

写给没有计算机背景、但需要用技术认知做投资判断的人。我会尽量用类比代替公式，用直觉代替推导——但不是简化到失真。凡是影响商业判断的技术细节（比如"为什么 Transformer 让并行训练成为可能"），我会把机制讲透；凡是纯工程实现（比如具体怎么优化 CUDA 内核），我会跳过。

一条清晰的认知主线

• 机器学习：不写规则，让机器从数据里自己找规律——这是整个 AI 的原点。
• 三步法：定义方程 → 计算损失 → 优化参数。从线性回归到 GPT-4，都遵循这一个框架。
• 梯度下降：机器"学习"的物理直觉——蒙着眼睛下山，靠坡度决定每一步怎么走。
• 神经网络：把简单单元堆叠起来，用非线性逼近任何规律。
• CNN 与 RNN：处理图像和序列的两个范式，以及它们各自撞上的天花板。
• Transformer：用注意力机制一次性看全局，彻底抛弃顺序依赖——这是通向大模型的钥匙。
• GPT 与 RLHF：规模定律 + 预测下一个词 + 人类反馈对齐，三个要素合成 ChatGPT。
• 边界与价值：大模型能做什么、不能做什么，以及价值在产业链上如何分布。

十四年：从 AlexNet 到 Agent 的技术演进

在看具体概念之前，先建立一条时间轴。AI 这一轮的每一次跃迁，背后都是某个具体的技术突破，而每一个突破都对应着一次价值再分配——理解了这条线，你就能理解为什么某个环节在某个时点突然变贵。

机器学习的本质：不写规则，让机器自己找规律

一个"教 AI 认猫"的思想实验

假设你要教计算机识别猫。传统编程的思路是写规则：「有耳朵 + 有尾巴 + 有毛 + 有胡须 = 猫」。这套规则立刻会遇到麻烦：无毛猫没有毛，算不算猫？兔子和狐狸也满足全部四条，怎么排除？规则永远写不完。

机器学习的思路完全不同：给它一万张猫的照片和一万张非猫的照片，让它自己总结规律。结果是它能认出无毛猫（从脸部轮廓判断）、不会把兔子认成猫（学到了体态上的本质差异）、甚至能区分几十种猫的品种。

这就是 AI 的核心思想：我们不写程序，我们让计算机自己发现程序。

三种学习范式，决定了商业模式

第三种最关键：GPT 通过"预测下一个词"在互联网文本上自我训练，不需要人工标注。这个设计选择，把训练数据的边际成本降到了接近零——也解释了为什么大模型赛道能出现"赢家通吃"：数据不稀缺，稀缺的是算力和工程能力。

万能三步法：从线性回归到 GPT-4 的同一个框架

不管问题多复杂——预测房价、识别猫、翻译语言、写代码——所有 AI 模型共享同一套解题框架：定义方程 → 计算损失 → 优化参数。这是整栋 AI 大厦的地基。

第一步：定义方程（选一个数学模型）

以房价预测为例：输入是面积 x，输出是价格 y。最简单的选择是线性回归：y = w × x + b。其中 w 是权重（每多 1 平方米房价涨多少），b 是偏置（起步价）。

关键认知：方程的形式由"行业知识"决定，不是拍脑袋。你得知道哪些因素影响房价——面积、地段、房龄、楼层。懂业务的人会设计出 y = w₁×面积 + w₂×地段 + w₃×房龄 + b；不懂业务的人只能瞎试。这就是为什么"AI + 行业"的项目里，行业知识的价值往往高于算法能力。

第二步：计算损失（给这条线打分）

你画了一条线，怎么知道画得好不好？需要一个评分标准——损失函数（Loss）。直观理解：就像射箭，Loss 衡量箭靶中心（真实值）与箭落点（预测值）的距离。

最常用的评分标准是均方误差（MSE）：把每个样本的预测误差平方后取平均。为什么平方？因为 +20 和 -30 都是"偏差"，不能让它们正负抵消；平方还有一个好处——偏差越大，惩罚越重，模型会优先修正错得最离谱的样本。

我们的目标只有一个：找到让 Loss 最小的那组参数。

第三步：优化参数（自动找到最优解）

只有两个参数时，你可以手动拖滑块试出来。但 GPT-4 有约 1.8 万亿个参数——手动不可能。所以需要一套系统化方法：梯度下降。

这里有个重要区分，决定了"AI 工程师为什么贵"：

梯度下降：机器「学习」的物理直觉

想象你蒙着眼睛站在山上，目标是走到谷底最低点。你看不见路，但你能感受到脚下的坡度：坡很陡就往该方向多走几步，坡变平了就小步试探，如果开始上坡说明走过头了得回头。「感受坡度 → 决定方向 → 迈出一步」这个循环，就是梯度下降。

导数：不需要微积分也能懂

导数听起来很数学，但它的直觉只有一个意思：如果把参数轻轻推一下，结果会变化多少？

举例：房价模型里 w = 3.0 时损失是 100；把 w 推到 3.1，损失变成 98。变化率是 -2 ÷ 0.1 = -20，这就是导数。负号的含义很关键——它告诉你"往这个方向走，损失会下降"，同时绝对值告诉你"坡度有多陡、该走多大一步"。

导数的三层含义：

• 方向：导数为正 → 增大参数会让损失上升 → 应该减小参数；为负则相反。
• 幅度：绝对值越大 → 坡越陡 → 离最优点越远 → 该迈的步子越大。
• 终点：导数趋于 0 → 完全平坦 → 到了谷底，训练完成。

学习率：一门手艺，也是真金白银

每次迭代走多远，由学习率 α 决定。这个数字看似不起眼，实际决定了训练的成本与成败：

这就是为什么训练大模型需要顶尖工程师，也是为什么这类人才薪酬高得离谱——"调参"看似简单，实则是直接对应百万美元级成本的手艺。GPT-4 级别的训练成本超过 1 亿美元，一次学习率设置错误可能浪费数周时间和千万级算力。

从线性到非线性：神经元、激活函数与词向量

线性模型有一个致命局限：它只能画直线。但现实世界的规律几乎都是弯曲的——房价与面积不是线性关系（面积翻倍不等于价格翻倍），图像里"猫"的像素分布更是复杂到无法用一条线切开。这一章解决一个问题：怎么让模型有能力表达"弯的规律"？

一、从一个神经元说起

解决方案出人意料地简单：把线性模型堆起来，中间插入一个"开关"。这个最小单元就叫神经元。它的工作分三步：

• 接收输入：拿到上一层的若干个数（x₁, x₂, x₃…），每个数代表一个特征；
• 加权求和：每个输入乘上自己的权重再相加，加上一个偏置 b：z = w₁x₁ + w₂x₂ + … + b；
• 过激活函数：把 z 送进一个非线性函数（比如 ReLU），得到输出 a = ReLU(z)，传给下一层。

这里有两个容易忽略的关键点。第一，权重 w 的含义是"这个输入有多重要"——训练的过程就是在反复调整这些权重，让重要的特征说话更大声。第二，偏置 b 是"门槛值"：即使所有输入都是 0，z 也可能因为 b 而成正数，相当于给这个神经元设了一个触发阈值。

一个神经元的能力很有限（本质上还是一个"加权投票"）。但把它们分层堆叠起来，能力就完全不一样了：

为什么堆叠有效？因为每一层都在做"特征的再组合"：第一层从像素里认出边缘，第二层把边缘组成纹理和零件，第三层把零件组成物体。层级越深，表示的东西越抽象——这也是"深度"学习这个名字的由来。

二、为什么一定要有激活函数？

这是最容易被跳过、但对理解神经网络最关键的一步。假设我们去掉了激活函数，那么每一层只做"乘加运算"。问题是：多个线性变换叠加之后，仍然是一个线性变换。

举个例子：第一层算 y = 2x + 1，第二层算 z = 3y − 4，合起来是 z = 6x − 1——还是直线。哪怕堆一百层，最终效果等价于只有一层。没有非线性，深度毫无意义。

激活函数就是那个"把直线掰弯"的东西。它让每一层的输出不再是输入的线性组合，从而让整个网络能够逼近任意复杂的曲线——这在数学上有严格证明（通用近似定理）。

三、为什么现在几乎都用 ReLU？

历史上激活函数换过好几代，每一代被淘汰都有明确的技术原因：

用一句话总结这条演化逻辑：深层网络最怕的不是"不够聪明"，而是"梯度传不回去"。Sigmoid 的导数最大只有 0.25，几十层连乘之后梯度会衰减到几乎为零——后面的层在学，前面的层几乎没动。ReLU 在正区间的导数恒等于 1，梯度可以完整地传回最底层。正是这个看似简陋的 max(0, z)，让"深"这件事第一次变得可行。

四、分类问题：从"是多少"到"是不是"

前面讲的房价预测是回归问题——输出是连续数值（850 万）。但 AI 更常见的任务是分类：判断"是或否"，或者"属于哪一类"。

分类的难点在于：模型的中间计算结果 z 是任意实数（可能是 −8，也可能是 13），但我们想要的是"概率"（0 到 1 之间）。于是需要一个"压缩器"——这就是 Sigmoid 函数在主输出层仍然被保留的原因：

有了概率还不够，还要有判断标准（阈值）和训练目标（损失函数）。分类问题的标准损失函数是交叉熵，而不是回归用的均方误差。直觉上的区别是：

• 均方误差关心"预测值离真实值差多少"——适合连续量；
• 交叉熵关心"给正确答案分配的概率有多低"——如果真实答案是"是"，模型只给了 0.02 的概率，交叉熵会给出极其严厉的惩罚。

换句话说，交叉熵是惩罚"自信的错误"：模型越自信地答错，损失越大。这让模型学会"不确定的时候就说不知道"，而不是硬猜——这也是今天大模型"给出不确定性表达"能力的训练学基础。

当类别超过两个（比如判断一封邮件属于"垃圾邮件/正常邮件/推广邮件"中的哪一类），Sigmoid 就不够用了，需要升级为 Softmax：它把多个分数转换成一个概率分布，所有类别的概率加起来正好等于 1。你今天看到的大模型输出"下一个词的概率分布"，用的就是 Softmax。

五、词向量：计算机怎么"理解"一个词？

到这里，还有一个被很多人跳过、但极其关键的环节：文字是怎么变成神经网络能处理的数字的？毕竟网络只会做乘加运算，它不认识"猫"这个字。

从"编号"到"坐标"

最朴素的做法是给每个词编个号（one-hot 编码）：猫 = 第 1 位是 1，狗 = 第 2 位是 1……但这有个荒谬的后果——在这种表示下，"猫"和"狗"的距离，跟"猫"和"股票"的距离完全一样，因为任意两个不同的编号都是"正交"的，彼此看不出任何关系。

词向量（Word Embedding）换了个思路：不给词编号，而是给每个词一组坐标（比如 300 个数字）。这些坐标不是人规定的，而是从海量文本里学出来的。学出来的结果是：语义相近的词，坐标也相近。

更神奇的是，这种表示不只保留了"相似性"，还保留了语义关系。最著名的例子是：国王 − 男人 + 女人 ≈ 女王——在这个坐标空间里，从"国王"到"女王"的方向，和"男人"到"女人"的方向几乎一致。

这意味着什么？模型不是在"查字典"，而是在一个连续的语义空间里做几何运算。这解释了很多现象：为什么模型能处理从没见过的措辞组合、为什么"近义词替换"不会影响输出、以及为什么大模型可以做类比推理。

这些坐标是怎么学出来的？

最初的方法（Word2Vec）有一个漂亮的核心思想：一个词的含义，由它周围的词决定。训练任务是——给它一句话，遮住中间一个词，让它根据上下文猜这个词是什么（或者反过来，给它一个词，预测它周围会出现什么词）。

做几亿次这样的练习之后，意思相近的词会得到相近的坐标——因为它们出现在相似的上下文里。这个过程完全不需要人工标注，这也是自监督学习的第一个巨大成功。

六、反向传播：把误差"分配"回每一层

多层堆叠带来最后一个技术问题：最后的损失，怎么告诉前面每一层的权重该怎么调整？答案叫反向传播（Backpropagation）——从输出层往回走，利用链式法则逐层计算"每个参数对最终损失的贡献"，再统一更新。

可以这样理解：它把一个"整体表现不好"的责任，按贡献比例分摊到每个参数头上，然后每个参数各自朝减少误差的方向微调一步。正是这个 1986 年就成熟的算法，配合后来的三样东西——海量数据、GPU 算力、ReLU 这类更好的激活函数——才让深度学习在 2012 年之后真正爆发。

七、训练得好 ≠ 学得好：过拟合与泛化

到这里你可能会有一个自然的想法：只要让模型在训练数据上表现得越来越好，它就应该越来越聪明。这个想法恰恰是深度学习里最大的陷阱。

想象两个学生备考：一个真正理解了原理，另一个把习题册的答案全背下来了。在练习题上，第二个学生分数更高；但换成新题，他立刻露馅。模型也会这样——它可能"学会了规律"，也可能只是"背下了答案"，后者就叫过拟合（Overfitting）。

这张图是深度学习里最经典的一张图，值得记住它的形状：

• 训练损失（黄线）几乎总在下降——因为模型见过这些数据，它总能想办法让误差更小；
• 验证损失（紫线）是真正的晴雨表——它用的是模型没见过的数据，先降后升；
• 那个转折点就是"开始背答案"的时刻：此后模型记住的是训练数据里的噪声和特例，而不是通用规律。

这就引出机器学习最基本的一条纪律：数据必须分成三份，各司其职。

如果训练时不小心让模型"见过"测试集，得到的分数就毫无意义——这正是第九章要讲的"数据污染"。

怎么对抗过拟合？

• 更多数据——最有效也最贵的办法。数据量越大，模型越难靠"背"来通过；
• 早停（Early Stopping）——盯着验证损失，一旦开始变差就停下。简单、有效、几乎零成本；
• 正则化——给模型加"惩罚项"，抑制它把参数调到极端值去迎合个别样本；
• Dropout——训练时随机"关掉"一部分神经元，逼模型不要依赖某一条固定路径（相当于每次换一批学生答题）；
• 数据增强——把图片翻转、裁剪、加噪，用少量数据造出更多变化。

还有一个值得注意的反直觉现象：在大模型时代，规模本身反而成了最好的正则化。传统观念认为参数越多越容易过拟合，但 GPT 这类超大模型在海量数据上训练，参数量远超数据量级却依然表现更好——因为数据量同时也在指数级增长，且模型的容量被用来"记住语言的一般结构"，而不是记住具体样本。这条经验直接支撑了 Scaling Law 的成立。

CNN 与 RNN：两个范式，以及它们各自的天花板

CNN：让机器"看"懂图像

图像识别的难点在于：同一只猫，出现在左上角和右下角，像素完全不同，但它是同一只猫。全连接网络处理这个问题会崩溃——参数量爆炸（一张 224×224 的彩色图有 15 万个输入，接 1000 个神经元就是 1.5 亿参数），而且学不到"位置无关"的特征。

卷积神经网络（CNN）用两个天才设计解决了它：

• 局部感受野：一个神经元只看图像的一小块（如 3×3 像素），学的是"边缘"这类局部特征；
• 权重共享：同一个卷积核滑过整张图——不管猫在哪，用的都是同一个"猫耳朵检测器"（这叫平移不变性）。

通过层层堆叠（边缘 → 纹理 → 部件 → 物体），CNN 在 2012 年 ImageNet 竞赛上一战成名，错误率从 26% 降到 15%，此后一路降到超越人类水平。它定义了 AI 的第一个商业时代：视觉识别。

RNN：处理序列的第一次尝试

语言、语音、股价都是序列数据——前后顺序携带信息。循环神经网络（RNN）的思路是：让网络有"记忆"，每一步用一个隐藏状态记录"到目前为止读到的东西"，然后传给下一步。

但这套设计有三个致命问题：

LSTM 通过"门控机制"（遗忘门/输入门/输出门）缓解了遗忘问题，在 2015–2017 年主导了机器翻译等任务。但它的根本顺序依赖没有解决——而这恰恰是训练超大模型的最大障碍。

Transformer（上）：注意力机制的革命

2017 年，Google Brain 的八位研究员发表了一篇论文，标题极其大胆：《Attention Is All You Need》（注意力就是你所需要的一切）。核心主张只有一句话：RNN 是多余的，用注意力机制就够了。

这篇论文现在的引用量超过 10 万次，是 AI 史上最有影响力的论文之一。它做的不是改进，而是直接替换——把循环结构整个扔掉，用纯数学运算实现"每个词看所有词"。

先看 RNN 到底错在哪

有一句经典例句："The animal didn't cross the street because it was too tired."（动物没有过马路，因为它太累了。）
问题：it 指什么？是 animal（动物）还是 street（街道）？

人类读到这里，会直接跳回去找 animal——不需要逐词复述。但 RNN 必须一步步传递：读到 it 时，中间已经过了十几个词，animal 的信息在传递中衰减了。RNN 经常搞混指代，这不是训练不够，而是架构本身的限制。

注意力机制：让每个词"直接看到"所有词

Transformer 的做法是：处理任何一个词时，同时计算它与句子里所有其他词的"关注权重"。在处理 it 时，模型会算出：与 animal 的权重 0.72，与 street 的权重 0.08——于是自动推断出 it = animal。

三个关键区别，决定了它是革命而非改良：

最关键的其实是最后一行。并行性不是一个性能优化，而是能不能训出大模型的前提条件。如果一条路线必须串行计算，那么堆一万张 GPU 也没有意义——这就是 RNN 路线在原理上的天花板。

一个常被忽略的统一视角

注意力机制的本质，可以概括为"带权重的检索"：给一个查询（我现在处理的是 it），在信息库里找到最相关的条目（animal 的表示），按相关度加权取回。这个类比很重要，因为后面你会看到——向量数据库、RAG（检索增强生成）、甚至推荐系统，用的都是同一个思想。「注意力」不只是语言模型的组件，而是一种通用的信息处理范式。

Transformer（下）：Q、K、V 与多头注意力

理解 Self-Attention，最好的类比是图书馆检索：你带着一个问题（Query）去图书馆，每本书有自己的标签（Key），书里有内容（Value）。你用问题去匹配标签，匹配度高的书，就多取一些它的内容出来。

一个词如何生成 Q、K、V

对句子里的每个词，都用它的词向量 x 乘上三个权重矩阵，得到三个向量：

计算过程是：Q 与所有词的 K 做点积（算相似度）→ 归一化成权重（Softmax，让权重加起来等于 1）→ 用这些权重对所有的 V 加权求和。结果就是：这个词的新表示，融合了全句最相关的信息。

值得一提的是，这三个矩阵（以及前馈网络的权重）就是 Transformer 中需要学习的核心参数——模型自己学会"什么时候该关注什么"，没有人告诉它"it 应该看 animal"。

为什么要"除以 √d_k"

公式里有一个容易被忽略的细节：点积结果要除以 √d_k（K 向量的维度）。原因很实际——维度越高，点积的数值越大，Softmax 之后会变得极端（一个权重接近 1，其余接近 0），梯度会消失，模型学不动。除以 √d_k 是把它拉回合理区间。这类"工程细节"看似琐碎，但往往决定了一个架构能否真正 scale。

多头注意力：八个专家同时读同一段话

一组 Q/K/V 只能学到一种关系模式——但语言里的关系是多维的：语法主谓、指代、语义相关、修饰关系。

所以 Transformer 同时跑 8 个或 16 个独立的"注意力头"，每个头自己学一种关系：有的头专门盯紧邻词，有的头追踪指代，有的头关注句法结构。最后把所有头的输出拼接起来，经过一次线性变换，得到融合多个维度的表示。

「让 8 个专家同时读同一段话，各自关注不同现象，最后把分析综合起来」——多头注意力是目前对这件事最贴切的描述。

完整架构与一个常被误解的点

一篇 Transformer 论文里其实有两个组件：编码器（Encoder）负责理解输入，解码器（Decoder）负责生成输出。此外还有几个关键设计：

• 位置编码（Positional Encoding）：注意力本身不区分顺序（"猫追狗"和"狗追猫"对它一样），所以必须额外把位置信息注入进去；
• 残差连接（Residual Connection）：让梯度和信息能跨层直通，是深层网络能训起来的关键；
• 层归一化（Layer Norm）：稳定每层的数值分布，否则几十层堆叠后训练会失控。

一个常被误解的点：GPT 系列只用了 Transformer 的解码器部分（这也是它叫"生成式预训练"的原因），而 BERT 只用编码器、原始论文里的翻译模型两者都用。同一个架构的不同切片，造就了不同的能力方向——理解这一点，就能理解为什么"大模型"不是一个单一物种。

一个被低估的产业细节：KV Cache 与"为什么长上下文很贵"

理解注意力机制之后，可以顺手看懂一个产业热点：为什么"上下文窗口"的扩大如此昂贵？

生成式模型是逐词输出的：每生成一个新词，都要回头看一遍前面所有的词。如果每次都从头重算，代价随长度迅速失控。工程上的解法叫 KV Cache——把已经算过的 K 和 V 缓存起来，下一个词只需要计算自己的 Q，去和缓存好的 K 做匹配。

但缓存本身要占显存，且大小与两层因素成正比：上下文长度 × 模型层数。这解释了几个现象：

• 为什么长上下文服务的定价远高于短请求——不是厂商想多赚，而是显存占用是真实的硬成本；
• 为什么"推理优化"（分页注意力、量化 KV、稀疏注意力）成为热门工程方向——每降低一点显存占用，都直接转化为毛利率；
• 为什么 HBM（高带宽内存）在 AI 芯片里如此关键——显存带宽决定了这套缓存机制能跑多快。

从 Transformer 到 GPT：规模定律与人类对齐

架构发明之后，OpenAI 做了一个持续四年的实验：把解码器不断堆深、不断加大、用越来越多的数据训练，看会发生什么。这段实验产生了两个关键发现，它们共同解释了 ChatGPT 为什么会出现。

发现一：Scaling Law（规模定律）

2020 年 OpenAI 发表论文证明了一个规律性的关系：模型性能与「参数量、数据量、算力」呈幂律关系，并且可预测。

这个发现的重要性在于"可预测"三个字：不需要等模型训练完成，就可以用一个小规模实验的曲线，外推大模型的性能。这让"投资几亿美元训练一个大模型"从赌博变成了有依据的工程决策——这也是 2020 年之后各家巨头敢于投入巨额算力的直接原因。

更深远的影响是研究方向的转向：从"设计更好的架构"，转向了"把已验证的架构做得更大"。这是一个典型的从技术探索期进入规模竞赛期的信号。

发现二：预测下一个词，为什么能让 AI 变聪明

GPT 的预训练任务简单得让人意外：预测下一个词。给上半句"巴黎是法国的___"，让它预测"首都"；做同样的练习 3000 亿次。

这件事的哲学意味在于：为了准确预测下一个词，模型被迫学会大量隐含知识——语法结构、事实关联、逻辑关系、甚至一定的推理模式。这就是为什么它能回答"北京天气怎么样"这类问题：不是因为有人教过它，而是因为文本中蕴含的模式让它具备了这种能力。

但预训练完的 GPT 只是一个"超级自动补全"：你问"北京的天气怎么样？"，它可能续写出"……是中国的首都，面积约 1.6 万平方公里……"——语法完全正确，但答非所问。它不理解"被提问"这件事。

发现三：RLHF——让模型"听话"的三步

要把补全机器变成 AI 助手，需要 RLHF（基于人类反馈的强化学习），流程分三步：

一个极具启发性的结论：13 亿参数的 InstructGPT，实用性超过了 1750 亿参数的原始 GPT-3。参数少了 130 倍，但更好用——因为它被对齐到了人类的目标上。

四条技术路线：企业做 AI 到底该选哪条

理解了预训练和 RLHF，就能看懂企业落地 AI 时的四种典型路线。它们的成本、门槛与壁垒完全不同——而绝大多数项目的失败，源于选错了路线。

值得记住的一条判断规则：模型的"知识"问题用 RAG 解决，"行为"问题用微调解决，"流程"问题用 Agent 解决。很多项目之所以绕远路（比如为了注入企业知识去做昂贵的微调），是因为没有区分这三类问题。

涌现与边界：大模型能做什么，不能做什么

涌现能力：当规模跨过阈值

Scaling Law 预测了损失会平滑下降，但没人预测到：当模型大到某个量级，一些全新的能力会突然出现——小模型完全没有，大模型忽然就具备了。这叫"涌现能力"（Emergent Abilities）。

典型的涌现能力包括：多步推理、上下文学习（给几个例子就能学会新任务，不需要重新训练）、思维链（让它"一步步想"就能大幅提升正确率）、指令遵循、跨语言迁移。

为什么会出现涌现，目前没有定论。比较有说服力的解释是：复杂能力需要多个子技能同时具备，小模型缺其中任意一环就整体失效；当规模跨过阈值，所有零件都到位了，能力就"突然"显现。——注意，这个解释意味着"涌现"可能不是神秘现象，而是我们观测方式的产物（离散的任务指标 + 连续的能力提升）。

四个必须知道的边界

理解能力的边界，比赞叹能力更重要。对大模型，有四个结构性限制：

一个被低估的技术分水岭：从"训练"到"推理"

过去三年，产业焦点在"训练"（谁的模型更强）；但从商业价值看，"推理"才是长期战场——因为训练是一次性巨额投入，而推理是持续发生的运营支出。

一个粗略但有用的判断：当模型能力趋同（第一梯队与第二梯队差距缩小到用户感知不出），竞争维度就会从"能力"转向"单位成本"——每百万 token 的价格、响应延迟、并发承载。这也解释了为什么行业里"推理优化"（量化、蒸馏、KV Cache、投机解码）的工程价值快速上升。

第五个边界：评测本身是打折的

前面四个边界来自模型机制。还有第五个容易被忽视的边界——我们用来衡量模型"多强"的尺子，本身是打折的。

这一点对做判断格外重要，因为行业里流传的"某模型超越某模型"，多数来自这类折扣后的对比。与其争论谁的榜单分高，不如回到四个具体问题：

• 评测集与训练数据是否隔离？——自己构造、且时间上晚于模型训练数据的评测，才具备说服力；
• 在"我要解决的那个任务"上表现如何？——通用榜单不等于垂直场景能力；
• 错误案例长什么样？——错了多少不重要，错在什么类型重要。金融、医疗这类场景，错误类型比错误率关键得多；
• 推理成本与延迟可接受吗？——分数从来不衡量经济性，而经济性决定能不能规模化落地。

投资视角：价值在产业链上如何分布

把前面九章串起来，可以得出一个对投资最实用的判断框架：这一轮 AI 技术栈的价值分布，是由「架构趋同」这个事实决定的。

为什么架构趋同会导致价值向上游和下游转移

Transformer 的架构、训练方法、对齐技术全部公开且高度趋同。这意味着模型层很难建立持久壁垒——你训到 GPT-4 水平，对手半年后也能到。当中间层无法差异化，价值必然向两端挤压：

三种值得警惕的技术叙事

在具体项目尽调中，有三种说法值得多问一句：

• "我们自研了大模型"——追问：基座是自训还是微调？如果是微调开源模型，技术门槛与壁垒在哪里？真正稀缺的是数据管道、评测体系和场景理解，而不是训练本身；
• "我们参数规模领先"——参数量不等于能力。参考第 8 章：13 亿参数的 InstructGPT 在实用性上超过了 1750 亿参数的 GPT-3。对齐与场景适配的价值常被低估；
• "我们用 AI 替代了人工"——追问推理成本占收入的比例。如果毛利被推理成本吃掉，规模越大亏损越大。这在 2024–2026 年已经反复验证。

下一站：三个技术信号值得持续跟踪

• 推理成本的下降速度——它决定 AI 应用能渗透到多便宜的场景。每年下降一个数量级，就会解锁一批此前不经济的应用；
• 上下文与记忆机制——从"读完一段对话"到"记住一个人的长期偏好"，这是从工具到代理（Agent）的关键跨越；
• 从生成到行动——当模型能调用工具、操作系统、执行多步任务时，价值捕获点会从"内容"转向"流程"。这也是当前 Agent 与具身智能被高度关注的原因。

尽调追问清单：看 AI 项目时该问什么

把前面十章的技术认知，转化为一份可以直接带进会议的提问清单。这些问题不需要你懂代码，但足以分辨一个团队是真懂技术，还是在包装概念。

一、技术路线类

• 「你们用的是预训练、微调、RAG 还是 Agent？」——如果回答含糊，说明团队自己没想清楚问题类型（知识问题该用 RAG，行为问题用微调，流程问题用 Agent）。
• 「基座模型是自研的还是开源的？如果是开源，你们改了哪些部分？」——开源基座不丢人，丢人的是把"调用 API"包装成"自研大模型"。
• 「你们怎么评测效果？有没有和基线（人类水平 / 上一代方案）的对比数据？」——没有评测体系的 AI 项目，等于没有仪表盘的飞机。
• 「模型处理不了的边界情况，你们怎么兜底？」——追问幻觉处理机制，能看出团队是否真的在生产环境跑过。

二、数据类

• 「训练/检索用的数据从哪来？有没有合法授权？」——数据合规是这一轮最大的隐性风险，尤其涉及用户数据与版权内容。
• 「这些数据是自监督可用（公开文本、日志），还是需要人工标注？」——前者不构成壁垒，后者成本高但能形成护城河。
• 「数据会随着客户使用而积累吗？积累的数据归谁？」——这是判断"客户越多、模型越强"这个飞轮是否成立的关键问题。

三、成本与毛利类

• 「推理成本占收入的比例是多少？规模翻倍后这个比例会怎么变？」——很多 AI 项目是"规模越大亏越多"，这个问题能直接戳破。
• 「训练一次的成本是多少？失败重来的概率有多大？」——有大规模训练经验的团队，实际成本可能比新手低数倍。
• 「单位经济模型里，算力成本会随技术进步下降多少？」——如果成本下降是唯一的盈利路径，要判断这个假设的可靠性。

四、壁垒与竞争类

• 「如果巨头明天免费提供同样的能力，你们还剩什么？」——这个问题会逼出真正的壁垒：数据、客户关系、工作流嵌入深度，或监管资质。
• 「客户换掉你们的成本有多高？」——嵌入工作流的深度决定续费率，比合同金额更重要。
• 「你们的技术优势，半年后还存在吗？」——架构公开且趋同，技术领先的保鲜期通常以季度计。

一张认知地图

把十章内容压缩成一张地图，你可以按这个顺序回忆整条链路：

如果只记三句话

• 大模型的能力来自「预测下一个词」这个简单任务在超大规模上的重复——不是写出来的规则，而是从数据里涌现的统计规律。
• Transformer 的真正突破是并行性——它把模型能力与算力规模直接绑定，从而解释了为什么这一轮革命的受益者里，硬件与基础设施最先受益。
• 架构公开且趋同，所以壁垒不在模型层——在上游的物理约束和下游的场景闭环。这是判断"AI + X"项目时最该先问的问题。

——这也是为什么，我用十章的篇幅讲技术，最后落到一句很朴素的话：技术认知的价值，不在于让你成为工程师，而在于让你在听到一个故事时，知道它的物理边界在哪里。

术语速查表（30 个）

按出现顺序排列。建议收藏——下次听技术团队讲方案时，可以按这张表逐项对照。