文章
zh
DeepSeek-V4.1 模型结构（8）：KV cache 的管理与 SWA Bounded Replay
来源: Java不加糖's Blog ·
连载收尾。890 字节是显存里的全局 KV，磁盘上的缓存还要再减一半：办法是滑窗 KV 不再存盘。这一篇讲滑窗 KV 为什么不适合放在保留 72 小时的磁盘缓存里，V4.1 把它挪到了哪，丢了之后怎么只用 128 个 token 的回放重建，这个近似的代价是什么；再讲 CSA2 的跨层共享在流水线并行下怎么训练，以及多模态训练的三处系统改动。
相关发现
-
失去了太阳。
文章 · 夜旅者
-
百事可乐上的冰块。
文章 · 夜旅者
-
回忆里那道木门插销后面，是深深的恐惧。
文章 · 夜旅者
-
操场上的冰坑和被口水涂亮的指甲。
文章 · 夜旅者
-
秋日小记。
文章 · 夜旅者
-
人类无法预料自己会为什么流泪。
文章 · 夜旅者