文章
zh
DeepSeek-V4.1 模型结构（7）：输入端与优化器
来源: Java不加糖's Blog ·
主干之外的两头。输入端：从零训练的 DeepSeek-ViT，一张 1302 × 1302 的图怎么变成 994 个位置，文本和图像 token 为什么要各用一套负载均衡偏置。优化器：head-wise Muon 把 query 权重按头切开再正交化，用一个秩 1 的例子说明它改变了什么；Sinkhorn-balanced update 用行列交替归一化代替 Adam，只存一份动量就能训练 196B 参数的 Engram 表。
相关发现
-
失去了太阳。
文章 · 夜旅者
-
百事可乐上的冰块。
文章 · 夜旅者
-
回忆里那道木门插销后面，是深深的恐惧。
文章 · 夜旅者
-
操场上的冰坑和被口水涂亮的指甲。
文章 · 夜旅者
-
秋日小记。
文章 · 夜旅者
-
人类无法预料自己会为什么流泪。
文章 · 夜旅者