文章
zh
DeepSeek-V4.1 模型结构（4）：深度维度，Single-Pass mHC
来源: Java不加糖's Blog ·
mHC 的计算量很小，开销在读写残差流。这一篇从一个子层边界上最少要读写多少个数推出访存量的下界 (2n+2)d，算出 V4 的实现是下界的两倍，再一步步合并 kernel：先把归一化挪到投影之后，再让读算子改用上一个子层算好的权重。最后对照官方代码看这个改动落在哪三处。
相关发现
-
失去了太阳。
文章 · 夜旅者
-
百事可乐上的冰块。
文章 · 夜旅者
-
回忆里那道木门插销后面，是深深的恐惧。
文章 · 夜旅者
-
操场上的冰坑和被口水涂亮的指甲。
文章 · 夜旅者
-
秋日小记。
文章 · 夜旅者
-
人类无法预料自己会为什么流泪。
文章 · 夜旅者