DeepSeek DSA 解读：从注意力误差推到索引器结构与两阶段训练
来源: Java不加糖's Blog ·
DSA 为什么先用小索引器选 token，再做主注意力？从丢弃概率质量的误差界、多头共享 top-k、ReLU 的非线性作用，一步步推到 KL 蒸馏与两阶段继续训练，再对照官方 MLA、FP8 和稀疏 kernel 实现，附可运行的训练示例。
常见问题
什么是 DeepSeek DSA 解读：从注意力误差推到索引器结构与两阶段训练？
DeepSeek DSA 解读：从注意力误差推到索引器结构与两阶段训练 is a 文章 discovery curated from Java不加糖's Blog. DSA 为什么先用小索引器选 token，再做主注意力？从丢弃概率质量的误差界、多头共享 top-k、ReLU 的非线性作用，一步步推到 KL 蒸馏与两阶段继续训练，再对照官方 MLA、FP8 和稀疏 kernel 实现，附可运行的训练示例。
如何访问或体验此内容？
You can experience this content directly on its original host (Java不加糖's Blog) by clicking the "Open Original" button.
此内容来源于哪里？
Curated from Java不加糖's Blog by the OnSuggest team to surface the most interesting and serendipitous content on the web.
相关发现
所有 文化与思想 发现 →Kimi K3 模型结构（11）：从推理代码看 K3.1 Pro 的 Gated DSA
沿 Hugging Face 配置、vLLM 和 SGLang 的推理实现拆解 Kimi K3.1 Pro：69 层 KDA 与 24 层 Gated DSA 如何混合，32 头索引器怎样选出 top-2048，NoPE、输出门、两份缓存和每层独立索引分别落在哪里。
Gemini Decisions API：不写答案，直接给出多模态决策
Google 新推 Gemini Decisions API，以 Gemini Decision 1 对文本、图像、音频、视频和 PDF 一次计算最多 1,000 个封闭问题，返回概率与置信度。它主打低延迟、低校准误差和零输出令牌计费，适合工具路由、规则检查、内容评分及人工复核分流。
两人团队做了款轻小说浓度爆表的卡牌独游，开局就把主角团灭了？
小队全灭了，但勇者在打牌。 想象一下，你是个无名之辈，游戏给你的默认名称是“士兵”。在同行的伙伴死伤殆尽后，你孤身一人抵达死亡迷宫的最深处，终于找到最后的希望——勇者小队。 此时，他们一行四个人，正围在一起打牌。 这场景看起来不太正常，但更不正常的是勇者小队的四位成员。魔法师胸口插了个巨大的钉子，已经无法再使用魔法；战士的身体被替换成精致而脆弱的木偶，且满脑子都是“老子真可爱”；僧侣实力依旧，但默默改信了不可名状的邪神；而我们的勇者大人，看起来脑子出了点问题，现在只会说“是”或“不是”。 如你所见，勇者小队大概确实已经完蛋了。 这就是《勇者小队全灭了。》所展示的戏剧化开场。这是一款剧情驱动的Roguelite卡牌构筑游戏，当然，由于游戏侧重故事，文本量超过40万，将其视为多结局的文字冒险游戏也没什么问题。 游戏的作者“デス組合”，是个来自日本的两人独立团队，其中一人负责系统，一人负责剧情和插画。他们在2025年首次公开游戏并放出DEMO，并凭借着这个有些怪诞的“开场”在Steam收获了15万愿望单。 按照他们的说法，悬疑和惊悚题材的故事，为了吸引读者，往往“开场首先要摆出一具尸体”。 《勇者小队全灭了。》虽然不是悬疑作品，但也想要借用这个套路，让故事从倒在地上的尸体开始。 1 首先要强调的一点是，在默认模式下，《勇者小队全灭了。》其实是个十分考验“手法”的游戏。 从玩法框架上看，它
别的联机游戏让人分手，“卫戍协议”反而让人后会友期？
何忆卫？ *题图出自B站用户@ 苦力怕到此一游 在去年制作的 同人动画《 明日方舟卫戍协议现状》 前段时间，《明日方舟》社群里流传着一条堪比段子的真事： 有玩家因身体不适被送进急诊抢救，人都疼到意识恍惚了，脑子里盘旋的执念居然是——还没玩到“卫戍协议”——也就是《明日方舟》中的自走棋玩法。 万幸，后续传来了两个好消息。一是这位发帖的小红书用户最终平安脱险，人没事；二是随着《明日方舟》2026感谢庆典开启，卫戍协议已于上周日正式开启赛季化常驻，日常开放单人模式，并按赛季轮替推出多人联机。 这对我的一位朋友（我真的有这么一位朋友！）来说，也算是重大利好。上次活动期间，朋友那老死不相往来的前任，忽然给她发来“一起卫”的邀请，于是两人天天一起联机，就这么自然地恢复了联系。 卫戍常驻的消息一出，两人也约上了“线下卫”，算不上再见爱人，也称得上后会友期了。 打游戏打到情侣分手的戏码见怪不怪，靠游戏修补关系的倒还是头一回听说。要不是这事真真切切发生在身边，我大概也会觉得是编出来的段子。 但放眼整个社区，围绕卫戍协议产生的离奇“戒断”与沉迷事件只多不少，甚至演化成了一种独特的社区现象。 比如之前的“被邻居当成人贩子报警来抓又因为这件事把朋友笑进医院”事件 而在今年的线下活动中，无论是官方举办的音律联觉、嘉年华，还是民间自发的only，卫戍协议主题的无料都成了交换的热门。 喻意“稳稳兜住”的塑料袋非
今天疯传的“AI生成国产3A大作”，到底是哪传出来的乐子？
3A原来指的是AI、Anthropic、俺拾的。 今天，一款自称为“国产3A大作”的AI生成游戏《几猫》在中文互联网流传开来。 目前能追溯到最早的公开记录出现在10号早上，从中可以大致推断出，《几猫》最初是以html文件的形式通过群聊传播的。 目前网上还流出了这样一张群聊截图，真实性暂不可考 好奇点开这个文件的玩家，会发现只有1.4Mb大小的《几猫》，内里却五脏俱全，真算得上是个完成度不错的FPS游戏demo。 更令人惊叹的是，无论是随群聊消息一同传播的文案，还是文件内的项目说明，都自称游戏使用Anthropic最新发布的大模型Claude Fable 5.2 自主研发 ，并且把“国产3A”当成标点符号在用。 在文案末尾，这个“国产自研3A”的缔造者，还不忘留下一段虚心求教的文字。但假如你真的有心交流，翻遍了文件的任何一个角落，都不会看到开发者的任何一点信息，遑论联系方式。 原因很简单：《几猫》跟“国产3A自研”这几个字沾不上一点边。它只不过连换皮都懒得换的拙劣“汉化版”，原作则是推特用户@Felix Rieseberg发布的游戏《Saltline》。 Felix在10号上午放出了完整可玩的网页链接，并且表示，游戏中的模型、音效和纹理均由Fable 5.2从头生成，整个过程耗时约8小时，累计使用约4.45亿输入token和270万输出token，按照API价格计算，成本约为550美