文章
zh
DeepSeek-V4.1 模型结构（3）：序列维度（下），Hierarchical Sparse Indexer 与 FP4 KV cache
来源: Java不加糖's Blog ·
decoder 的 Reindex 层每生成一个 token 都要给 100 万条 KV 打分。Hierarchical Sparse Indexer 让第 20 层先圈出 16384 个候选位置，后面的层只在里面打分，把这部分计算变成常数。FP4 把每条 main KV 从 584 字节压到 288 字节：E2M1 能表示哪些数，为什么 22.6 是幅度的上界，scale 为什么选 E4M3。最后把 890 字节和 V4-Flash 的 3514 字节逐项对比。
相关发现
-
失去了太阳。
文章 · 夜旅者
-
百事可乐上的冰块。
文章 · 夜旅者
-
回忆里那道木门插销后面，是深深的恐惧。
文章 · 夜旅者
-
操场上的冰坑和被口水涂亮的指甲。
文章 · 夜旅者
-
秋日小记。
文章 · 夜旅者
-
人类无法预料自己会为什么流泪。
文章 · 夜旅者