MLA（Multi-headLatent Attention多头潜在注意力架构）凭借低秩 压缩 ...

复旦 NLP 实验室博士后纪焘是这篇文章的第一作者，研究方向为大模型高效推理、多模态大模型，近期代表工作为首个NoPE外推HeadScale、注意力分块外推LongHeads、多视觉专家大模型MouSi，发表ACL、ICLR、EMNLP等顶会顶刊论文 20 余篇。 DeepSeek-R1 作为 AI 产业颠覆式创新 ...

在训练过程中，团队冻结模型其他参数，只更新α的梯度，通过这种专门的校准训练让模型自主学习α值，然后按α值从小到大排序，找出那些稀疏化后不影响性能的MLA模块，也就是后续的优化目标。

使用微信扫码将网页分享到微信 今天开始，我们正式进入 DeepSeek 开源周。 DeepSeek 开源项目第一弹 FlashMLA，已经在极短的时间内发酵到全网了，短短几个小时，该项目就已经收获了超过 3.5K Star，且还在不断飙升。 虽然 FlashMLA 里的每个字母都认识，连在一起就看 ...

品玩2月24日讯，DeepSeek 今天宣布开始逐步开源多个代码库，首先开源的是一个针对针对 Hopper GPU 优化的高效 MLA 解码内核FlashMLA。 DeepSeek 表示，该代码库针对可变长度序列进行了优化，目前已投入生产。它专门针对多层注意力机制进行了优化，能够加速 LLM 的解码 ...

每经AI快讯，2月24日，DeepSeek 今日启动“开源周”，首个开源的代码库为 FlashMLA—— 针对 Hopper GPU 优化的高效 MLA 解码内核，专为处理可变长度序列而设计。 每日经济新闻 ...