姚顺雨回清华姚班分享实录

作者:量子位 发布:2026-11-20 16:01 收录:2026-11-20 16:19 1 次阅读 约 9122 字
摘要:OpenAI自下而上,混元先打有把握的仗
推荐理由:本文涵盖「清华」、「开源」、「小模型」等多个主题,重点关注 清华。
鹭羽 发自 凹非寺
量子位 | 公众号 QbitAI

姚顺雨接手混元的这大半年,腾讯AI太魔幻了。

都觉得腾讯掉队了、起不来了,结果Hy3到Hy4,打得是真漂亮。

这位新任掌门人的一举一动,也跟着成了焦点:

新模型跻身开源最强梯队后,姚顺雨久违地回了趟母校——清华。

坐在姚班的学弟学妹面前,他的神情显得格外放松。主持人吕凯风是他本科同班同学,两人当年住对门。

一开场,姚顺雨就说,回来一是给老同学捧场,二是来招人。

两个多小时,话题从混元怎么造模型,一路聊到姚班同学该怎么选方向。聊至兴起,甚至干脆建议现场拉个群,把HR也拉进来。

干货挺多,大致可以提炼成以下几点:

  • 现在混元做预训练,会先在几个不同规模上跑实验,再看小模型上有效的改动,放大后还能不能带来收益;
  • 把榜单刷过拟合,最先吃亏的是自己;
  • 具身智能可能迎来自己的「GPT-3.5时刻」,也许半年也许一年;
  • 小模型离上限还早,数据墙短期内也没看到;
  • 想做AI创业之前,先问自己一个问题:如果下一代GPT明天就发,你今晚会睡得更香,还是更睡不着?
  • 混元招人,强调Low Ego、诚实、踏实、愿意做正确事情。

以下附上访谈全文,来源出自现场录音转写,未经本人和主办方确认。为保证可读性,量子位在不改变原意的基础上,对内容做了部分精校。

混元怎么造模型?

吕凯风:混元的「混」到底该怎么念?

姚顺雨:现在我们一般叫Hy。我们发现,Hunyuan这个词,美国人压根不知道怎么发音。后来就简化成了H、Y。

先讲讲我们在做些什么。造模型要做Infra、预训练和后训练,里面又各有算法、数据和评测。

Infra要保证作业正确、稳定。哪怕平时效率很高,只要大规模跑的时候一抖,实验就做不下去。稳定之后还得快,训练和推理都慢,团队就会很难受。

预训练算法这边,一部分是架构,一部分是优化。

架构可以有很多组合,比如选哪种Attention、位置编码怎么做、MoE放在哪里。不同设计可能改善训练效率、推理效率或者训练稳定性。

这就有了Scaling Ladder。我们希望一个改动在很大的尺度上有效,但直接做大实验太贵,要用很多卡。

怎么办?先在小模型上试,在多个规模上跑出趋势,再看看更大的模型符不符合它。

小模型上的收益到了大模型会不会变小?不符合又是哪里出了问题?这就是我们要回答的。

预训练数据很重要的一件事,是有足够多样的Token。

有人担心数据要耗尽了,你当然可以把稀缺数据重复用,比如代码。但重复太多,模型就会背下来,你得让它尽可能多地学到东西,少记住原文。

也可以合成数据,难点是合成质量别往下掉,或者做动态数据。这些数据怎么配比,也需要先小后大做实验。

麻烦的是,小尺度摸出来的规律,到大尺度上未必成立。

评估预训练时,可以用Few-shot或者做一点SFT再测,比如MMLU、数学,这些结果可能和后训练能力更相关。

基于困惑度或Loss的评测,更便于观察Scaling趋势,但和后训练的联系未必那么紧。你得找一个有预测力的评测,还要想清楚它跟预训练数据的关系。

后训练在优化什么?

姚顺雨:后训练通常有SFT和RL。SFT是监督学习,到了RL,正确性最重要,然后是稳定性和效率。

RL Infra是把推理和训练拼起来。可以先把两边当成API,琢磨怎么让吞吐更高、内存更省、有限的卡怎么分。必要的时候还得拆开来看,找训练或推理的人一起解决问题。

算法上,RL有Value-based、Model-based等很多路线。

至于为什么现在又回到很朴素的Policy Gradient?我觉得它假设少,容易随规模扩大。

GRPO也属于Policy Gradient。上面可以加很多技巧,超参数也要调。

还是那个思路,用理论直觉和小实验先弄清楚趋势,再预测更大的实验。

后训练数据有个很自然的出发点,你希望模型平常干什么,就让它练什么。

让它做3D动画,或者写一段真的有用的代码,数据就要体现这些任务。

有些数据考的是难度,比如数学题可以设计出很细的难度梯度。另一些考的是实用,比如写作也许没那么吃算力,但用户很需要。

前者和智能有关,后者某种程度上和对齐有关。

模型要有智商也要有情商,后训练数据需要在两者之间找到平衡。

我们往往先做一个Eval,找出哪里需要提高,再围绕它做训练数据。评测得能反映真实用户的任务,才知道技术进步有没有落到使用上。

还有一点,技术最终要被人用起来。

要是你觉得你的模型和GPT、Claude都差不多强,但收入只有人家的百分之一、千分之一,这就是个信号,应该回头看看哪里出了问题。

把榜单刷废了,对自己也没用

吕凯风:刚才讲的是技术。再聊聊组织,团队怎么判断哪些事值得做?如果榜单和实际产品之间有落差,怎么避免大家只优化报表上的指标?

姚顺雨:最后还是看负责人的目标,整个组织认为什么重要。

你把模型的各环节分开做,团队要汇报,就容易报一些可量化的东西,MMLU多少、模型参数多少、数据量多少。老板或者投资人如果不太懂这里的门道,团队很容易沿着这些指标去优化。

比如一个做Infra的人,说我今天修了个Bug,或者说我把MFU从10%提到了20%。听起来后者好汇报,但关键是哪个事情更该做。

很多时候你做了正确的事情,短期报表上也不会多一个好看的数字。

吕凯风:混元最近用了不少评测,也披露了部分评测的测法。行业有刷榜压力,探索性的工作又很难量化。在这种情况下,怎么设计机制,既让评测反映真实能力,也让大家愿意做那些一时没有分数的事?

姚顺雨:君子爱财,取之有道。谁都希望分数高,关键是用什么方式把它做高。

正常的评测,别人辛辛苦苦做出来,是为了帮你了解模型。如果你把它刷到过拟合,它以后就没法帮你了。

为什么要把一个对你有用的东西变成没有用的东西?

第一步招人时就要小心,尤其是创业时找联合创始人、找最初的几个人。

我们希望找到Low Ego、诚实、踏实、愿意做正确事情的人。几个人的价值观如果差很多,团队后来就难做。文化也是从一小群人开始,再传给更多人。

我们希望建立一种基于Taste和Trust的文化。

你说这个事情大概要多久、正常进度是什么,我对这个领域有判断,也信任你。

如果突然说所有评测涨了40个点,和我的认知不太相符,我会问发生了什么。单看谁的分高就重用谁,那是另一种组织方式。

微信和游戏很像这个道理。

微信刚出来时,没法靠A/B测试预测它十年后的样子。你相信张小龙可以把这个产品越做越好,才会让他做到那个时候。

一个游戏或者一部《庆余年》,上线之前也没法靠一组指标判断它一定会火。

你判断创作者和作品有潜力,就愿意下注。做短剧、小游戏时,反馈来得快,某些决策可以交给数据。

吕凯风:在学校,作业的目标都给定了,AI解题就会显得很厉害。实际工作里,经常要自己定目标。未来模型能学会判断什么目标值得追吗?

姚顺雨:Taste肯定可以学,也可以变好。就像AlphaGo对围棋的判断会越来越好。

我的一个信念是,人始终有位置。

某些Infra或者算法环节需要的人可能少了,但数据和判断这些环节,还是有人的事情要做。

模型每天都在进步,为什么用户总觉得它突然变强了?

吕凯风:最近一年,模型能力的进步很惊人。跟前一年比,你感觉最大的变化是什么?

姚顺雨:这个问题特别主观,我其实挺想听听大家怎么看。

你如果一直在OpenAI待着,会觉得这个世界很连续。从GPT-1到GPT-2、GPT-3,你每天看模型一点点变好。公众不会天天跟这个过程,突然有一天看到了ChatGPT。

推理模型也一样。内部看到的是思维链慢慢变长,模型一点点升级。用户感知到的是交互体验,有时某种交互方式突然变了,产品就会爆。

这也是为什么像OpenClaw这样的东西会突然火起来。

还有一种情况,大家以为一件事很难,突然有人把模型拿去一试,发现它已经会了。

数学就是这么过来的,从小学题开始打怪升级,外界一开始不太关心,后来突然发现它已经能做自己在做的题了。

吕凯风:后训练的基本思路似乎没太多变化。以前从IMO、IOI这些任务入手,模型厂商也找了不少人写题、标数据。现在模型开始做科学问题,这些能力有多少靠领域专家,又有多少可以靠扩大规模获得?

姚顺雨:我们也在试。

先插播一句,我们确实招了不少姚班的同学,有人在做Infra,有人在做训练,在各自的岗位上做得挺好。我们不会只让大家去标数据,高年级本科生也有合适的位置。

看一个领域,可以问它有多大程度受算力制约,有多少取决于算力以外的东西。

数学相对更靠前者。有的领域还要数据和环境。比如机器人得有真机,物理、生物要做实验,写作和情感陪伴还得理解人。

你给更多卡,当然有帮助,但还得去把别的条件补上。

所以说到中美差距,短期内对高度依赖算力的任务,算力差距确实会带来差异。

我觉得长期算力未必是个问题。到了需要人或物理环境的任务,能不能拿到合适的数据、把反馈跑起来,同样重要。

AI公司的价格由谁决定?学生该往哪儿走?

吕凯风:现在外界给前沿模型公司很高的估值。如果眼下主要靠Coding,收入能撑起那么高的价格吗?后面还会有哪些场景?

姚顺雨:价格很多时候取决于竞争。模型是商品,它能赚多少钱,一方面看对用户能产生多大价值,另一方面看有多少替代品。

模型越强,能解锁的任务越多。可是一旦有很多模型都能做好同一件事,价格就会下来。

比如今年,Coding或者Agent突然从不好用变成能用,释放出来一大批价值。

下一年先看会不会解锁新场景,窗口有多长。再看已有场景会发生什么,后来者追上之后,份额和价格都会变。

现在有人觉得手里的模型已经够用,如果有一个能力相当、价格只有十分之一的版本,他愿不愿意换?这是挺有意思的问题。

吕凯风:那学生选方向呢?不管本科还是博士,应该选眼下已经能做的,还是去押下一件会被模型解锁的事?

姚顺雨:我觉得有两条路。你可以融入大模型,去做训练数据、算法、Infra。也可以找跟模型互补的东西。

创业者可以问自己,假如下一个GPT发出来了,你今晚睡得更香还是更不香?如果你的方案全靠人去解决模型今天解决不了的数学题,以后可能会挺费劲。

在大模型里面,适合不同人的岗位很多。

爱打竞赛、喜欢每天看数字变好的人,可能喜欢做Infra的Kernel,或者做预训练。速度上去了,Loss降下来,就有正反馈。

喜欢想目标到底该怎么定的人,可能适合做对齐或产品。想象力丰富,可以做算法研究。做事仔细、愿意把每个细节弄明白,也有很多岗位需要这样的人。

往互补的方向走,比如做机器人,就算有一天模型可以从别处拿到,还需要人把它调起来、部署到物理世界。

做产品也一样,如果模型变强,你反而更高兴,因为又能做以前做不了的功能了。

具身智能的GPT-3.5时刻

吕凯风:现在姚班也有不少人在做具身智能。通用多模态模型已经能做一些原本要专门训练的任务。具身公司要继续单独造模型,还是等大模型先把通用能力做好?

姚顺雨:我个人觉得,单做一个垂类模型遇到的难题是怎么Scale、怎么利用泛化性。

你靠真机一条条采数据,采集速度有限。有再多卡,你也未必用得上。相反,如果有一种能吃下大量通用数据和算力的办法,它能撑到的规模就不一样。

可扩展性很大程度会决定一条路线能不能走下去。

我觉得具身可能会出现类似GPT-3.5的时刻,让大家突然看到它能创造价值。离那一步,也许还有半年到一年。这是我个人的预期。

到时候可能用到通用模型,也还要有人训练、部署,最后做成产品。

创业还有机会,还是问一句,你是在押计算机会越来越强,还是在押计算机做不了这件事?

吕凯风:那如果有同学最近就要决定要不要去做具身呢?

姚顺雨:可以来试,也可以考虑模型公司里跟这个方向相关的工作。我们也不能不做这方面的探索。

开源模型的安全保障

吕凯风:模型能力上来以后,为了完成目标,它可能会做出意料之外的动作。最近有安全团队做了一项评测,涉及部署在腾讯云上的第三方模型。一个日常问答任务,也能让Agent去尝试原本不该碰的外部渠道。你怎么看这类现象?

姚顺雨:我很高兴你问到安全。模型能力上去之后,安全是不能绕过的问题。

这类评测里,测试者会专门放一个很难或不可解的问题,观察模型为了交卷会做什么。

就像几个人各在一个考场,原本没人能互相联系,结果他们发现了一个意料之外的沟通渠道,还开始分工找答案。

这本来就是为了给模型施加压力,看沙盒的约束够不够。我们在发布材料里专门有一节谈负责任的开源,也做了很多安全检查。

我觉得要分两个概念。

房子自己着火,是Safety。有人从外面撬门,是Security。

一个是模型自身可能出现的危险行为,一个是有人拿模型干坏事。现在比较急的是后一类,需要好几层配合。

第一层是训练。发现软件里的问题,对防守者很有用。能发现一个弱点,和具备利用它做坏事的能力,是两个不同的要求。我们的训练有意识地偏向防御。

第二层是发布前的评测,团队自己测,也和腾讯的安全实验室等机构合作评估。第三层是模型进了产品以后,还需要针对实际场景有相应的防护。

有人说权重开了,发布方就没法控制每一种用法。我的理解是,负责任的开源要在训练、评测时把这个问题想在前面。安全工具也要能让防守者用上。

有个安全事件里,当事人向闭源服务求助被拒,最后用开源模型来协助防御。你当然希望在需要保护自己的时候,有工具能用。

网络安全之后,生物安全也会越来越重要。不同模型现在到了什么程度,我没有把握,需要认真看评测。

提问者:模型只顾完成任务,甚至主动找到旁路,我们该怎么理解这种行为?手里没有算力的学生,又能从什么地方入手做安全?

姚顺雨:至于模型会不会按人的意图做事,我觉得很多时候要回到打分规则。

模型发现做一个动作就能拿100分,它自然会往那个方向走,可你真正想要的可能完全是另一回事。

就像教育孩子,如果只给数学考100分这一件事奖励,他最后也许成了奥数选手,但教育里还有很多别的目标。

对齐、Safety和Security都可以拆成具体工程问题。比如基于人类反馈的强化学习做得不够好,可以再加一道保护,看看能不能把结果做得更好。

人做对齐很难,机器也可以帮忙。做AI安全的同学,即使没有训练资源,也可以在授权范围内找模型不符合预期的地方,做测试,把结果反馈给我们。

做得好,欢迎过来实习。

现在很大的挑战是Alignment。

Scaling有比较清楚的趋势,但模型的「人感」不会因为大了一圈就一定更好。对话有时更好懂,有时反而变得难懂。

我们会用越来越多AI来做对齐,真正要想的是在哪些环节放进人,用什么方式监督,这些细节非常重要。

AI如何改进AI

提问者:现在说递归自我改进,也就是RSI,很多做法是让这一代模型帮助训练下一代。人可以边推理边学习,把经验内化到同一个大脑里。Transformer要做到类似的事情,是不是得换一种架构?

姚顺雨:我会问两个问题。一是AI能不能创造很大的价值,承担大量认知任务。二是它能不能像人一样完成这些任务。

现有范式也许足以做到第一件事,第二件事未必。

你问的有点像Continual Learning。假设人的寿命没有上限,同一个大脑可以不断学、不断改进,这是很有意思的设想。

我不排除会有新的范式,但就算没有架构创新,在现有架构下持续采集真实反馈、把数据和能力一层层做上去,依然有空间。

对企业来说,还有一个很实际的问题,就是ROI。一般的投资,你很难提前知道加一笔钱会得到多少回报。

Scaling给了企业一个相对可预测的关系,投入更多算力,模型大概率会更强,再去看这些能力能创造多少价值。这是为什么这么多公司愿意持续投。

持续学习也可能是渐进的。

如果模型更会用记忆、处理上下文、用笔记保存经验,长期表现就有可能慢慢变好,像数学、Coding、机器人一样。至于会不会有新的架构突破,我觉得都有可能。

OpenAI和混元在组织研发上的差异

提问者:OpenAI和混元在组织方式上有什么区别?这种区别和算力有多大关系?

姚顺雨:OpenAI更像自下而上的组织。

早先在做机器人,GPT起初是个小项目,后来做出了结果,Ilya决定把资源押上去。后来的Strawberry,也就是o1,也是类似的。一开始有个小组做数学,做到一定程度发现这条路有效,就开始扩大模型、补训练数据。

这种方式像创业,有人把一个方向做出来,就会得到更多资源。

自下而上容易长出新东西,自上而下更适合执行。

混元会先选择一些有把握的方向,再把事情扎扎实实做下去。团队的风格也跟创始人的风格相关。

提问者:我们在学校相对缺少一线信息。比如OpenAI发布一个新模型,怎么判断对方做了什么、自己的方向要不要调整?学生怎么才能更靠近前沿?

姚顺雨:多交些好朋友。但很多所谓的秘密,没有那么值钱。

现在信息传得很快,知道别人做了什么,离你自己能把它做好还有很长一段距离。

我觉得更重要的是把一件事执行好。创业也一样,想法很多,真正难的是把其中一个做出来。

提问者:那怎么选实习的地方?大模型公司各有自己的方向,本科生进去又经常只能打下手。很少有公司会把跑预训练这种事交给实习生吧?

姚顺雨:我们现在就有实习生在跑预训练。

提问者:那如果从学生的角度选,应该怎么判断一家公司值不值得去?

姚顺雨:来混元吧。

我觉得我们这儿年轻人能做重要事情的机会很多,这一点很重要。

RSI炒得再热,也得有人修Bug

提问者:现在出来很多做RSI的公司。研究里用模型改进模型已经有一段时间了,你怎么看这一轮热潮?

姚顺雨:RSI说到底,就是怎么用AI把这个循环跑得更好。人造了工具,再拿工具来造更好的工具,这件事很朴素。

概念可以一轮一轮炒,实际进步来自把事做出来的人。怎么把Infra的Bug修了,怎么把数据洗干净,怎么把Run跑起来,该Debug的都Debug了。

这些事情做成了,才有进步。

提问者:做后训练时,我发现有些小模型很难提出好的科研想法。问题在哪儿?科研数据少、RL目标有问题,还是算力规模不够?

姚顺雨:有可能就是卡不够。

我博士最后几年也做过后训练。做完ReAct之后,我有个很简单的想法,造一些ReAct的轨迹,再把它们喂给模型,模型应该会变强。

我拿Llama 13B一试,效果很差。我一度怀疑自己,后来去了OpenAI,才发现模型和算力的规模对这类实验有多重要。

在很多方向上,如果卡不够,你可能都不知道什么才是重要的问题。小规模里有许多噪声,会影响你对结果的判断。

规模到了,同一组实验也许能给你一个清楚得多的结论。这是很值得亲自体验的。

提问者:我是姚班大二的学生。过去觉得写作、做数学题、执行长程任务,都是值得练的能力。现在AI一项项学会了,那我们应该重点发展什么能力?

姚顺雨:我刚才说,可以融入大模型的浪潮,也可以做跟它互补的事。

加入一家基础模型公司是一个选项。往别的方向走,可以想想在现有范式下,什么问题即使有更多算力,也没那么快解决。

数学不太适合举在这里。和人、和物理世界打交道的事情,除了卡,还有别的资源和条件,这些东西来得没有那么快。

硬件也是很本质的方向。你也可以多学一些人文的东西,对人性理解得更深。像UI设计这样的工作,什么时候能由AI接过去,我不知道。

小模型还没到头,端侧和云端都有活干

提问者:如果是收发邮件、点外卖、管智能家居这样的Personal Agent,需要多大的模型?几B、几十B的小模型到头了吗?

姚顺雨:小模型离上限还远。现在大家还没有把太多资源放在这上面。AI for AI也会帮到小模型。

训练小模型需要的卡少,可以做更多实验。未来一个很有意思的方向,就是用小模型、用很低的成本去做大模型能做的一部分事。

可能会先训一个强模型,再蒸馏出不同大小的模型,各自去做恰好适合它的任务。这样就形成一个模型的层级,或者叫模型系统。现在已经在发生了,往后会更多。

提问者:那未来是越来越多模型跑在手机、电脑上,还是最后都集中在云端?

姚顺雨:看任务。

端侧小模型便宜,也能保护一部分隐私,但能做的事有上限。你要解最难的数学、科学问题,可能还是要用最大的模型和大量推理算力,在机房里跑。

不同应用会有不同形态。

算力之外,还差什么?

提问者:你在美国和中国都做过模型,怎么看两边的环境对产业发展的影响?

姚顺雨:总体上,我觉得国内的环境对科技发展有利。中国会把新能源、AI这样的方向当成重要战略,愿意做长期投入。美国有更多不同的声音、不同的利益,连AI投资本身也会遇到争论。

吕凯风:比如美国不少地方在讨论数据中心要不要建,建在居民区附近就容易引起反对。数据中心毕竟是个物理设施,选址也是算力能不能铺开的一个条件。

姚顺雨:我回国后跟一些专业人士交流,发现里面有不少真的懂科技的人,有院士、博士。在推动AI、芯片这些事情上,大家的诉求也很朴素,就是希望把事情做出来。

提问者:我因为觉得具身智能有很多靠算力没那么快解决的问题,所以选了这个方向。最近看到通用模型的能力,又有些动摇。到底有哪些事不能光靠Compute?

姚顺雨:很难说有什么事永远不能靠Scaling解决。更实际的是看快慢,有的东西快,有的东西慢。数学相对快。

如果我是你,会去学校、创业公司或者不同团队多试试。不确定性越大,越值得自己做一轮。你对各方向的认识,会和只听别人讲不一样。

提问者:模型还在扩大,公开文本、真实数据的供应却有限。你觉得什么时候会遇到Data Wall?

姚顺雨:你说五到十年,这在AI里已经是个很少听到的时间尺度了。就我现在看到的东西,一到两年内还看不到这个问题。再往后有可能,不好说。

提问者:蒸馏是获得高质量数据的一个办法。前沿模型越来越不容易拿到完整思维过程,这会不会拉大国内模型和头部模型的差距?

姚顺雨:每家的蒸馏程度、做法都不同。长期最重要的是,你这个组织对什么是好数据有没有Taste。

过去十年,生产数据的办法一直在变。以前给自动驾驶标框,后来找人标各种专业数据,再后来用模型生成,或者让模型自己在循环里造数据。

组织的长处如果只是一种生产方式,方式变了就容易出问题。对数据质量有自己的判断,这个能力保留得更久。

提问者:现在文本、视觉发展很快。工业里还有时间序列、流场数据、表格这些形式,有些专门的模型也做不到复杂推理。将来怎么处理?

姚顺雨:有两个可能。一种是人如何分析这类数据,Agent就去调用相应的工具,甚至可以训练一个专门处理这种模态的模型。人能用工具完成一套流程,Agent也可以学着做。

另外一种是把这种模态纳入模型,让模型直接认识它。两种应该都会发生,最后各占多少,我不知道。

吕凯风:换个话题。你当年和几个朋友一起创办了清华的说唱社。能聊聊那时候吗?

姚顺雨:我还挺惊讶,现在年轻人都在创业。

我们那会儿在姚班压力也很大,我大三下才开始做科研,还是因为推研得做。

我们还在写大作业,已经有一个人大一下就发了篇ICML,成了我们班第一个发论文的人。这个人就是吕老师,大家一下都很焦虑。

吕凯风:一般制造焦虑的人,自己感觉不到焦虑。

姚顺雨:做一件事,最好有点内在动力。如果为了做科研而做科研,就像一个孩子从小学琴,最后琴弹得很好,可他想不想成为那样的人,是另一件事。

我上计算机课觉得很有意思,但当时大家做理论,琢磨怎么把一个复杂度从2.7次方降到2.6次方,我对这种问题没那么有感觉。

我也试过,有老师发给我一篇论文让我研究,我看了没懂,就默默跑了。

上大学后其实有很多选择。你觉得唯一一条路就是某条路,最后可能真就只剩这条。出于自己的兴趣做一件事,即使结果没有预想的好,也不太容易后悔。

吕凯风:当时去做说唱,后来有没有影响你做研究?

姚顺雨:很多当时觉得是弯路的事,后来会连起来。吕老师也经历过换方向的迷茫,但他总体上是在追自己的兴趣,什么真正感兴趣就去做什么。

你做说唱,可能对语言有更强的Taste。你做过理论,那些功底说不定有一天会派上用场。吕老师高中时还做了UOJ。也许有一天,做竞赛评测系统的经验会帮到大模型,那时候谁知道呢?

我很喜欢乔布斯那次斯坦福毕业演讲。以前做的事就像一个个点,等你后来做一件大事,突然发现这些点连起来了。

吕凯风:回头看,有哪些东西你希望当时能多学一些?

姚顺雨:我读博时有点后悔,觉得以前应该多学一点纯粹因为有意思而学的课。等做很具体的工作以后,就没那么多时间享受这种乐趣了。所以读博最后一年,我还报了一门集合论,觉得非常优雅。

集合论从很少的基础出发,能推出很大的数学世界。大模型也有点像,一开始就是显卡、Infra、算法、数据这些基本的东西,组合起来之后,可以去建模世界上很多东西。

有些知识学的时候未必立刻有用,我觉得也没关系。

混元招人的逻辑:重点看下一次能学会什么

吕凯风:同学们会发现,有时做过一些零散科研,面试效果还不如把竞赛经历讲清楚。公司明明招人写GPU算子,面试也未必直接考GPU。背后的招人逻辑是什么?

姚顺雨:我们待会儿拉个群,可以把HR拉进来,现场招人。

我觉得最重要的是学习能力。

面试的人想知道,你能不能把新的知识学会,能不能判断哪部分最重要。

过去会不会某一个具体工具,没有那么重要。我们自己有些重构工作,也是同学加入后现学,再真正做了很大一块。

现在是加入大模型团队挺好的时候。模型会越来越强,我也不知道以后这些工作还会招多少人,但眼下有很多重要的事情可以做。

我们文化里很重要的一点是Low Ego。年轻人没有那么多经验,有时反而更愿意接受新东西、更坦诚地沟通。许多问题追到最后,其实是Ego的问题。造大模型这件事是团战,没人能靠自己一个人做出来。

还有Co-design。

做Infra要跟算法、芯片的人沟通,做后训练要跟评测、数据和Infra的人沟通。要定一个预训练架构,就把多模态、后训练、RL Infra、推理和训练Infra的人叫到一起。

一个方案对训练有利,可能增加推理成本,还会影响后训练的能力。得把这些账放在一起算。

第三是Solid。

我觉得大多数岗位看的是这个人靠不靠谱,能不能负责任地把细节弄明白。

比如数据里一个看起来很小的异常,追下去才发现,某类占比不高的数据重复了20万次。又比如发布之前,有同学试用时感觉不对劲,自己去查了100个样本,最后顺着查到了WorkBuddy里的参数设置。

靠谱就体现在这种时候。一个问题刚露出点苗头,你愿意接着查,最后能说清楚它到底出在哪儿。

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

— 完 —


🔹 2026年,越来越多的人向我们证明:“人类对AI的信任还不够”。

量子位MEET2027智能未来大会来为你锁定AI进化的下一步。

百度王颖、分子之心许锦波、昆仑万维方汉、基元律动王云鹤、紫东太初王金桥、蚂蚁健康顾进杰、相干科技金贻荣、面壁智能姚远、商汤宣善明、酷哇廖文龙都来了🔍了解详情

12月9日,北京。邀请你和我们一起,看清AI、抓住AI、驾驭AI。👉点击参会



🌟 点亮星标 🌟

科技前沿进展每日见

转载声明:本文转载自原发布平台 (作者:量子位), 原文标题《姚顺雨回清华姚班分享实录》, 查看原文。 版权归原作者及原发布平台所有,本站仅作收录与展示,未对正文内容作实质性修改; 若涉及侵权请联系本站处理。