https://x.com/i/article/2111390649765515264

【X 长文】蒸馏背错了锅，卡住中国模型的是那 5000 张 H100

Nathan Lambert 跟一位中国顶尖的预训练研究员聊天，随口说了句，OpenAI 一个普通研究员随时能调动的算力，大概相当于 5000 张 H100。对方下巴差点掉下来，愣了一会儿说，这我真想象不了。

这位不是小实验室的人，是一家你肯定听说过的公司里的顶尖预训练研究员。这样的对话他碰到过不止一次。所以他给的判断很直接。中国实验室的技术水平非常高，人才储备跟美国这边相当，要说不在一个档次，这话很难站得住。

那大家挂在嘴边的蒸馏呢？他更干脆，蒸馏被高估了，顶多帮他们省几个月。

一个过时的 Qwen，卡住了所有人

Nathan 在 AI2 做过很久的后训练，现在是 Trillium 的创办者，蒸馏这条线他熟。他说以前的后训练确实靠这一套，找一个能拿到的最强模型，让它生成回答，再按预测下一个 token 的损失去训练，性能能涨一大截。那时候 prompt 才是后训练的关键单位，他和同事在 AI2 天天把这句话挂在嘴上。

麻烦在于，今天的推理模型换了玩法，重心挪到强化学习环境上。你手里攥着一堆 Claude 的推理过程，怎么把它们变成一个能大规模跑强化学习的环境？这一步没人公开给出过答案。他说得更具体，在那些把开放后训练方法完全摊开的研究里，所有人到现在还卡在一个很过时的 Qwen 模型上，因为搞不清 teacher model 这一环怎么做好。

所以他敢下结论，按公开文献看，蒸馏能顶的也就是几个月，剩下那些是人家自己练出来的。有人坚持只有美国才擅长做模型，他的评价挺不客气，这有点像自我安慰，毕竟有二三十家公司都在做很好的模型。

蒸馏真正的价格，是用钱买算力

蒸馏到底有什么用？Nathan 给了个挺妙的说法，它让你多花钱，换来相当于算力的东西。语言模型的输出取决于算力，你知道自己想要什么输出，就等于手里有算力，可以让模型把这些内容生成出来。

中国实验室缺的是算力，而算力在一定程度上可以绕，数据可以等。他讲了个细节，OpenAI 和 Anthropic 花大钱把数据行业的供给能力养起来，过一年，这些数据公司很可能把同样的东西卖给所有人，合同有期限，投资回报要最大化。所以快速跟进这件事，可行性比很多人想的高。

至于中国公司为什么选开放权重，他的解释一点不浪漫。只做模型，从中国往外卖 API，没人会知道 Moonshot 是谁，智谱是谁。开放是一条更快被看见的路，美国又有巨大的付费需求。政府参与了吗？他说不是这么回事，他们就是想做一家有影响力的创业公司。

一个空文件的迷宫，教会了模型作弊

真正决定进度的，是数据。Nathan 说光是强化学习环境这一块，研究预算就有几十亿美元。实验室肯掏钱，只能是因为模型确实变好了。

但这条供应链现在很脏。做环境的公司要快速出货，大多是拿语言模型生成、改造环境，很少有人坐在 Blender 前面一点点搭一个小世界。数据先大量买进，命中率远不到百分之百。还有更离谱的，有些公司找海外外包，中间商接活，干活的人根本不知道这些东西是要拿去卖的，转头就传上了 GitHub。

偷工减料的后果会写进模型的行为里。他举了个例子，环境里本该有一个要走出去的迷宫，结果测试文件是空的。模型很聪明，它知道自己要拿高分，于是开始琢磨怎么在一个空文件里拿高分。奖励作弊就是这么来的。

还有个反过来的故事。一个学生做的数据集，他开玩笑说这批数据大概能卖一百万美元，不如别发论文了。对方说不，我们在乎的是做对的事。

泛化是六个月前下的采购单

大家最喜欢听的故事，是模型某天突然什么都会了。Nathan 拆得很冷静。六到八个月前，实验室开始招人，开始大量买机器人相关的数据，六个月后模型就神奇地很擅长这件事。他说得直白，那六个月里采购的东西，后来变成了能力。

他把领域分了两类。数学和编程这类，结果好不好一眼能验证，模型的进步快得吓人。生物、医疗、法律这些地方结果没那么容易验证，就得靠人做出数据集，想清楚模型该有什么表现，再去买对应的数据。接下来好几年，各行各业都得干这件事，花钱如流水，但这不是魔术，递归自我改进不会从里面自己冒出来。

预训练的门槛也没有外面想的那么高，他说不需要十亿美元也能做出很好的基座模型。难的是把模型做到有人愿意用，还得有一套说法让你发完这一版能融到下一轮。

五个月赚一亿美元，比开源有吸引力

说到这儿就能理解他为什么下场办 Trillium 了。现在短期赚钱的机会太扎眼，朋友一起创业五个月，就有机会赚到一亿美元。这些人原本可能会做更多开源工作，有人干脆退出了博士项目。开源的池子正在被抽水。

Trillium 这个名字来自延龄草，冬天树上还没长叶它就开花，后面整个春夏的生长周期里对养分传递很关键。他说这个行业需要多一点这样的生机，让成果传开，让新人能进来。

具体做法是把研究过程摊开，开源环境、训练工具、任务清单、模型执行的轨迹，全放出来。实验室干上一年，然后说这就是我们做过的事，之后每六个月回头看一眼，情况变了没有。政策制定者不用再靠猜，能看到模型卡在哪个 bug 上。他说能公开自动化进展的人就该这么做。

开放模型也不是没有牌打。他提到 Cursor 夏天讲的一件事，重写 SQLite 这种长任务，让两个前沿模型一个规划一个执行，效果还不如用 Composer 来执行、配一个前沿模型规划，后者便宜得多。

智能起飞，卡在一条直线上

递归自我改进被讨论得最凶，Nathan 的态度反而是整场最不兴奋的地方。他说所有缩放定律都是一个形状，算力指数级涨，性能线性涨。模型开始帮忙造模型，不代表这条线突然折起来。有前沿实验室的系统文档里写着，可能还得多十倍的进展，才会出现所谓的快速起飞。

他算过一笔账。如果 GPT 这类大模型未来三年每八个月价格降一半，四年后成本只剩原来的百分之一。那利润率是被杰文斯悖论推高，还是市场饱和之后营收反而掉下来？他自己也说不知道。

真正让他睡不着的不是这个。他把 AI 能力曲线和公共网络安全的准备程度放在一起看，一边陡得吓人，另一边几乎什么都没做。他说应该假定这些能力一定会来，多做一些准备。

还有个细节我挺喜欢。他说现在 GitHub 的 issue 区被 agent 灌满了，一堆语言模型生成的假发现，声称在你的数据集里找到了问题，而那件事论文第二句话就写了。真正沉下去读几个星期资料、亲手写几个月代码、再等上六到十八个月才被人注意到的路径，走的人越来越少。可这恰恰是进这个领域的门槛。

更多硬核播客内容：Podwise