克雷西 发自 凹非寺量子位 | 公众号 QbitAI
17岁高中生，以一作身份，在Kimi团队把Ilya建议的设计，造成了现实。
Ilya之前有个预言，把定期间先后端正处理数据的LSTM齐集“旋转90度”，也等于把期间轴换成模子深度轴，就造成了当今的残差齐集。
Kimi团队觉得，既然期间上的LSTM能对应深度上的残差，那自后淘汰了LSTM的“重目力机制”当然也不错照作念。
他们新搞出的Attention Residuals期间，就畸形于把重目力机制也“旋转了90度”。
用了这套新关键后，模子在设计刻下层时不错聪惠地“回头看”，凭证需要目田决定去索要前边哪一层的信息。
这篇论文让马斯克也来围不雅，暗示令东说念主印象深化。
除了马斯克，这篇论文也激发了大神Karpathy的念念考，直言咱们对Attention is All You Need这篇Transformer开山之作的纠合照旧不够。
这种新机制放到Kimi自家的Kimi Linear 48B大模子（3B激活参数）上考证，检会效劳擢升25%，推理延迟增多不到2%。
残差勾通的“哀痛背负”
米兰体育官方网站先哀痛一下残差勾通的使命旨趣。
传统作念法是：第N层的输出 = 第N层的设计铁心 + 第N-1层的输出。这样一起累加下去，每一层齐能“记着”前边通盘层的信息。
问题来了，在大模子PreNorm主流范式下，残差勾通中通盘层的孝敬齐是等权累加。
就像一个“哀痛力太好的东说念主”，把通盘资格齐以相通权重存进大脑。孝敬被慢慢稀释，早期信息难以检索，且多半层可被剪枝而亏损细小，称之为“PreNorm dilution problem”。
更沉重的是，荫藏景况的范数会跟着深度不断增长。议论东说念主员发现，在深层齐集结，这种unbounded growth会导致检会不踏实。
月之暗面团队换了个念念路：既然问题出在“无判袂累加”，那就让齐集我方决定该回忆什么。
用重目力“选定性回忆”
团队不雅察到一个意旨的对偶性：齐集的深度维度和序列的期间维度，内容上是同构的。
在Transformer处理序列时，用重目力机制让刻下位置“选定性关心”之前的位置。那么在深度维度上，为什么不可让刻下层“选定性关心”之前的层？
Attention Residuals就这样来的：
刻下层的可学习伪查询向量行为query（learnable pseudo-query）通盘前层的输出行为key和value用重目力机制加权团聚
这样一来，齐集不错学会哪些层的信息对刻下设计最进犯，就多关心一丝；不关系的层，权重当然裁减。
但这带来一个新问题：设计量爆炸。
若是一个100层的齐集，每一层齐要对前边99层作念full attention residual，复杂度是O(L²)，根柢跑不动。
Block AttnRes：分块压缩
论文中的惩处决策是Block AttnRes。
中枢念念想是把一语气的多少层打包成一个block，对block里面的输出作念压缩，只保留一个“纲领向量”。
具体操作如下：
把L层齐集分红B个block，每个block包含多少层每个block收尾时，把block内的信息压缩成单个向量后续层作念attention时，只需要关心块间表征+块内及时层输出，而非全部L个层
这样一来，attention的复杂度从O(L²)降到了O(L·B)，在实行中B不错设得很小（论文用的是8-16）。
此外，团队还作念了数个工程优化：缓存式活水线通讯、序列分片预填充、KV 缓存粒度优化等等。
Kimi Linear考证：1.25倍效劳擢升
理诠释得通，但真确让东说念主敬佩的是大限制考证。
团队在自家的Kimi Linear架构上作念了测试。这是一个接收线性重目力的大模子，总参数48B，激活参数3B（MoE架构）。
同等设计预算下，Attention Residuals能得回更好的下流性能；反过来说，达到相通性能需要的检会设计量减少了约20%，畸形于得回了1.25倍的效劳上风。
在具体任务上，数学推理（MATH、GSM8K）、代码生成（HumanEval、MBPP）均执平或略优，多言语纠合的一致性也有所改善。
更进犯的是，Attention Residuals是一个drop-in replacement，bet365不需要修改齐集其他部分，径直替换残差勾通即可。
论文里还讲到一个零散念念的视角。
团队把这项使命称为“期间-深度对偶性”（time-depth duality）的应用。
在他们看来，深度神经齐集的“层”和的“期间步”，内容上是齐是对信息的迭代处理。
Transformer之是以成效，是因为用attention替代了RNN中固定的recurrence。
那么在深度维度上，是不是也该用attention替代固定的residual？
17岁高中生入列共团结作
更零散念念的是，这篇让马斯克、Karpathy等东说念主齐为之一震的论文，共团结作之一是又名年仅17岁的高中生——陈广宇（Nathan）。
另外两名共团结作，永别是Kimi的关键东说念主物之一、RoPE（旋转位置编码）的建议者苏神（苏剑林），以及Kimi Linear的第一作家张宇。
固然Attention Residuals是团队和洽取得的恶果，但又名高中生出当今这样的团队之中，还与两位大神共列一作，照旧弥散颤动。
a16z首创东说念主Marc Andreessen、Thinking Machines的联创等东说念主齐关心了他的X账号。
一年前才刚刚驱动了解大模子的陈广宇，是从北京的一场黑客平缓始，一起走向硅谷的。
自后归国时，他选定加入了Kimi。
经手过月之暗面投资的奇绩创坛（原YC中国）首创成员董科含，曾经在其个东说念主公众号上刊载过陈广宇的一份自传。
旧年二月，北京的一场中学生黑客松上，陈广宇展示了一个对于“东说念主类第三只机械扶植手”的改进构想——ThirdArm。
也恰是这个名堂，让他结子了黑客松评委董科含，后者也成为了他的创业导师。
那时，董科含追问他，将来是否会深耕这项期间，这促使他驱动再行谛视我方的行状标的。
随后他入选了董科含发起的只须小数数东说念主入选的后生谋划，驱动战役IOI（国外信息学奥林匹克）金牌得主及资深科研东说念主员。
此前他曾尝试谋划Shopify跨境电商店铺、运营短视频账号，但流程董科含的建议，他决定转向纠合期间的底层期间。
那时还不知说念Transformer是什么的他，在DeepSeek议论员袁境阳的换取下，应用Gemini行为扶植器具，通过研读经典论文、跟踪GitHub开源名堂等方法慢慢诞生理会。
有一次他在推特上共享了对一篇博客的反念念后，得回了作家的复兴，这篇帖子也因此引起了一家硅谷AI初创公司CEO的关心。
该公司于2024年底诞生，2025岁首完成了800万好意思元种子轮融资，资方配景波及OpenAI与Anthropic。
在通过一项限时整宿完成的实验测试后，他拿到了对方的委派示知。
暑假期间，他赶赴旧金山开启了为期七周的实习。其中前两周，他认真界说并鼓吹一个波及144张H100显卡的探索性名堂。
在CEO径直换取下，他的使命延迟至运营层面，参与了招聘系统搭建、期间内容输出及融资计谋辩论，并得回与早期投资者Vinod Khosla交流的契机。
在硅谷期间，他保管着高强度使命节律，通过咖啡外交与英伟达工程师及初创首创东说念主诞生议论。此次资格让他将科研视为一种支执创造的底层才智。
实习收尾后，陈广宇回到国内，并于旧年11月加入月之暗面。
把他诱惑进去的，恰是Kimi一直作念的Flash Linear Attention这一类高效attention使命。
现实上，恰是GitHub上的FLA名堂，诱惑了他对机器学习的酷爱酷爱并被邀请加入Kimi团队。
也恰是顺着这条线，他驱动一起往更底层钻，从读论文、看结束，到议论 Triton kernel、纠合attention为什么能被这样重写、这样加快。
到了月之暗面，这条路也算是绕了一圈又落回原点——
他着手是被底层期间诱惑，终末作念的也恰是最底层、最中枢的那部分事。
比较于讲一个“少年天才一起开挂”的故事，陈广宇的资格更像是另一种成长旅途——
先被期间最前沿的期间击中，再一步步把酷爱酷爱磨成才智，把才智带到真确的大模子研发现场里。
论文地址：https://github.com/MoonshotAI/Attention-Residuals/[1]https://mp.weixin.qq.com/s/gRR99pEDWb5qsk2a2hwe2w[2]https://nathanchen.me/public/About me.html
备案号: