Skip to content
onsuggest
Log in
Article zh

DeepSeek-V4.1 模型结构（5）：记忆，Engram

Source: Java不加糖's Blog ·

Transformer 认出一个固定搭配要花掉前几层的计算。Engram 换一条路：按当前 token 结尾的 2、3、4-gram 做哈希，从一张 3.84 亿行的表里取出向量，经过一个门加进残差流。这一篇从「直接建 n-gram 表为什么不行」推到哈希的具体形式，用中国剩余定理说明 8 个头为什么足以区分不同的 n-gram，再讲门的公式、V4.1 去掉的卷积，以及 196B 参数怎么分配、训练和存放。

Open the original Discover more

Keyboard shortcuts

Previous discovery
←P
Next discovery
→N
Like
L
Not for me
X
Save
S
Show this help
?
Close
Esc

Shortcuts work on the discovery page.