Article
zh
DeepSeek-V4.1 模型结构（5）：记忆，Engram
Source: Java不加糖's Blog ·
Transformer 认出一个固定搭配要花掉前几层的计算。Engram 换一条路：按当前 token 结尾的 2、3、4-gram 做哈希，从一张 3.84 亿行的表里取出向量，经过一个门加进残差流。这一篇从「直接建 n-gram 表为什么不行」推到哈希的具体形式，用中国剩余定理说明 8 个头为什么足以区分不同的 n-gram，再讲门的公式、V4.1 去掉的卷积，以及 196B 参数怎么分配、训练和存放。
Dans le même esprit
-
失去了太阳。
Article · 夜旅者
-
百事可乐上的冰块。
Article · 夜旅者
-
回忆里那道木门插销后面，是深深的恐惧。
Article · 夜旅者
-
操场上的冰坑和被口水涂亮的指甲。
Article · 夜旅者
-
秋日小记。
Article · 夜旅者
-
人类无法预料自己会为什么流泪。
Article · 夜旅者