一、从o1到Core Automation:他在做什么
他叫Jerry Tworek,2019年加入OpenAI,在那里待了七年。在团队普遍认为强化学习"scale不动"的那段时间,他坚持把这条路推了上去,随后带队做出了o1和o3两代推理模型。
今年4月,他创办了一家叫Core Automation的公司,口号是"造全世界最自动化的AI实验室"。在那个实验室里,单次实验的完整周期被从一个月压到了一天,效率提升大约三十倍。
办公司只是表象。更值得关注的,是他对AI研究本身结构的一次重新拆解。
二、关键能力与原理:把研究劈成"出主意"和"干活"
他把研究工作分成了两段。
一段是"出主意"——想清楚接下来该往哪个方向走。另一段是"干活"——把想法翻译成能跑的代码,跑完之后把数据拿回来。
他的判断是:第一段还没轮到Agent,原因是Agent确实有创造力,但"是一种极其劣质、海量堆砌的创造力,想法五花八门,也普遍烂得可以"。第二段则基本已经归Agent了。
这背后依赖的是一组工程能力:
- 编程Agent在"把抽象想法翻译成可运行代码"这一环节上的稳定表现。Core Automation曾把一个QR分解内核丢给编程Agent,运行约四周、调用成本约十万美元,最后把这块底层代码的速度推到了原来的六十倍。
- 实验流程本身的高度模板化。研究脚本、评测脚本、数据回流被拆成可被Agent持续调用的环节。
- 一种新的算力分配观:与其把算力集中到少数几个被证实有效的方向上赌大结果,不如让Agent在更多小方向上铺开做试探。
三、与上一代的差异:Transformer为何还立着
如果说o1和o3代表了推理模型这一代的代表,它们和上一代相比的差异,主要体现在"思考方式"上——用更多的推理步数换更好的效果,答案是被"算"出来而不是被"背"出来。
但Tworek指出,o1、o3这种推理能力是在Transformer框架内做出的。Transformer本身,在他看来,"几乎不可能是最优解",理由有三条:
- 部署之后模型无法继续学习。上下文窗口会撑满,无论聊多久,下一轮对话还是原来那个它。
- 想靠持续微调补这个缺口,效率极低,还会触发灾难性遗忘——学会新的,忘了旧的。
- 过去几年围绕Transformer做的工作,绝大多数是在"让它变便宜",很少是在"让它变强"。
他在意的下一件事,是模型能在test time继续学习,能从用户交互和用户数据里持续往下长。换架构只是通向这个目标的手段。
这就引出一个反直觉的事实:在OpenAI七年里,真正认真尝试替换底层架构的次数,总共只有三到四次。原因并非没人想到,而是流程卡得极死——小规模验证实验得先跑至少三个月,结果看起来再有希望,还得说服大约十个掌握生杀大权的人,再把三到六个月算力砸进去。
值得记住的一段历史是:当年那批"半死不活"的强化学习实验之所以没死透,是因为后来的首席科学家Jakub Pachocki拍板给了算力。"这些GPU统统给你"——Tworek说,强化学习是从那个节点开始跨过了好几个数量级。
四、适用场景与技术使用方式
在Tworek的描述里,最适合用Agent接管的是"翻译+迭代"类工作——把一个想法反复翻译成可执行代码,用结果反推下一步想法。这类工作的共同特征是:
- 输入输出清晰:可以写成脚本、跑出指标、有明确的好坏判断。
- 迭代空间大:稍微调一个参数就能看到性能变化,不依赖直觉。
- 容错率高:跑废了可以重跑,损失只是算力和调用费。
Core Automation拿编程Agent啃GPU内核,就是这条路径的典型样本。把一个矩阵分解块丢进去,让Agent自己写、自己跑、自己改、自己再跑,最终在专家手调都难以达到的速度上再放大数十倍。
对外部团队而言,这条路径的可借鉴思路是:
- 先把研究流程拆成"想法—实验—数据—判断"四段,识别哪一段最依赖人。
- 从最容易模板化的一段切入,让Agent先吃掉执行层。
- 把"判断方向"和"判断结果"两件事分开,前者留给具备全局视野的人,后者可以让Agent给出参考。
- 对算力分配做分层:少量资源留给高风险试探,大量资源等Agent给出"生命迹象"后再砸过去。
五、局限与边界:两年后人类还剩什么
Tworek那句"人类研究员的好日子,满打满算也就剩两年",需要放在一个非常窄的语境里理解。它不是说所有研究者都会在两年后失去价值,而是说在全球真正能端到端把一个前沿模型"怎么训、怎么部署"搞明白的,可能只有三十到五十个人,这三十到五十个人里的少数人,是接下来两年里还在定方向的人。
这里的推断成分需要分清:
- 已经发生的是事实:Core Automation把单次实验周期从一个月压到一天;编程Agent在GPU内核这类底层性能工程上达到了六十倍加速;OpenAI七年里认真尝试换架构只有三到四次。
- 属于判断而非数据的是:他认为Transformer"几乎不可能是最优解",模型最终会走向test time学习;以及他认为Agent暂时接不了"出主意"这一段。
对于"两年之后人该怎么办",他画了两幅画面。
第一幅是古希腊:在广场上碰头,慢条斯理聊上一整天哲学,然后去锻炼身体,吃橄榄,喝葡萄酒。他自己承认,这更像是在投射个人愿望。
第二幅是高中或大学:保留一种对"卓越"本身的追求,继续贪婪地学新东西,把身体和脑子都往死里练。他举的职业体育的例子,意思是没有经济上的理由也得去够一够那个叫"伟大"的东西。
更核心的一句话是:"我们必须工作,这个世界才能运转。这个假设,根本没必要成立。"这一句被他自己称为最难迈过去的一关,因为许多人的自我价值就绑在工作上,而他自己,也在名单上。
写在最后:他自己也说,他正在给这个倒计时踩油门——他要造的东西,定义就是能自己学、自己变强,再也不用人守在旁边投喂。Core Automation成立四个月时账面收入为零,几乎每个星期都有人跑来说"太晚了"。公司内部的口头禅只有一句:"一切都是skill issue。"翻译过来是,失败到最后别怪大环境,全怪你自己技术太菜。
这种把责任收到自己手里的姿态,和那场访谈里给出来的判断,反而彼此对齐:架构还能不能换、Agent还能不能接住下一段,这两件事的答案不会靠环境变好,只会被技术真正砸穿。