1、引言

在之前的这篇博客中，我们"形而上"地探讨了深度学习与泰勒级数之间的深层类比联系：

这个类比框架可以帮助我们理解为什么残差连接如此有效——它本质上是在做可控的累加逼近。

正好前段时间，DeepSeek又发布了一篇新论文 mHC: Manifold-Constrained Hyper-Connections，用流形约束超连接对残差连接这一十年经典老架构动刀了。

有趣的是，这篇论文讨论的核心问题和提出的解决方案，我仔细学习理解后，发现还可以继续用泰勒级数的形而上的框架来形象地解释（特别适合小白用户）。

所以，本文将继续"可解释性杂谈"篇章...，聊聊从泰勒级数的视角下对mHC的设计思路的解读，比如：

• 为什么扩展残差流宽度（HC）会带来不稳定性？
• mHC的"流形约束"到底在搞啥？
• 双随机矩阵为何是"正确答案"（之一）？

废话不多说了，我们开始正题~

---

2、回顾：泰勒级数与残差连接的类比

在深入mHC之前，让我们快速回顾上一篇的核心框架：

泰勒级数通过累加各阶导数项来逼近函数：

$$f(x) = f(a) + f'(a)(x-a) + \frac{f''(a)}{2!}(x-a)^2 + \cdots + \frac{f^{(n)}(a)}{n!}(x-a)^n + R_n(x)$$

而残差网络通过累加各层的残差函数来逼近目标映射：

$$\mathbf{y}_L = \mathbf{x} + \sum_{l=1}^{L} \mathcal{F}(\mathbf{y}_{l-1}, \mathbf{W}_l)$$

两者的相似性体现在：

泰勒级数	残差网络
展开项数	网络层数
各阶导数项	各层残差函数
累加逼近	残差累加
高阶项捕捉复杂变化	深层捕捉高级特征

实际中，这个类比成立的关键前提是：每一项（每一层）的贡献是可加的、受控的。

正是这个"受控性"，让残差网络能够稳定地训练到很深的层数。

---

3、Hyper-Connections：从"单变量"到"多变量"泰勒展开

3.1 HC的设计思想

标准残差连接可以看作是"单通道"的信息流：

$$\mathbf{x}_{l+1} = \mathbf{x}_l + \mathcal{F}(\mathbf{x}_l, \mathbf{W}_l)$$

Hyper-Connections (HC) 的核心创新是将残差流从单通道扩展为n通道：

$$\mathbf{x}_l \in \mathbb{R}^{1 \times C} \quad \longrightarrow \quad \mathbf{x}_l \in \mathbb{R}^{n \times C}$$

并引入三个可学习的映射矩阵来管理这n条并行的信息流：

$$\mathbf{x}_{l+1} = \mathcal{H}_l^{\text{res}} \mathbf{x}_l + (\mathcal{H}_l^{\text{post}})^\top \mathcal{F}(\mathcal{H}_l^{\text{pre}} \mathbf{x}_l, \mathbf{W}_l)$$

其中：

• $\mathcal{H}_l^{\text{res}} \in \mathbb{R}^{n \times n}$：多通道残差流内部的混合矩阵（混合矩阵）
• $\mathcal{H}_l^{\text{pre}} \in \mathbb{R}^{1 \times n}$：从n流聚合到单一层输入（聚合矩阵）
• $\mathcal{H}_l^{\text{post}} \in \mathbb{R}^{1 \times n}$：将层输出分发回n流（分发矩阵）

3.2 泰勒级数视角下的理解

用我们的泰勒级数框架来理解HC，需要关注它引入的两层耦合。

标准残差连接展开后是各项独立累加：

$$\mathbf{y}_L = \underbrace{\mathbf{x}}_{\text{恒等项}} + \underbrace{\mathcal{F}_1}_{\text{第1层修正}} + \underbrace{\mathcal{F}_2}_{\text{第2层修正}} + \cdots + \underbrace{\mathcal{F}_L}_{\text{第L层修正}}$$

就像泰勒级数一样，每一项独立贡献，互不干扰。

HC展开后则完全不同：

$$\mathbf{x}_L = \underbrace{\left(\prod_{i=1}^{L} \mathcal{H}_{i}^{\text{res}}\right) \mathbf{x}_0}_{\text{被累积变换的恒等项}} + \underbrace{\sum_{l=1}^{L} \left(\prod_{j=l+1}^{L} \mathcal{H}_{j}^{\text{res}}\right) (\mathcal{H}_l^{\text{post}})^\top \mathcal{F}_l}_{\text{被累积变换的各层修正}}$$

这里出现了两种"耦合"：

耦合1：同一层内n条流之间的混合（流内耦合）

$\mathcal{H}_l^{\text{res}} \in \mathbb{R}^{n \times n}$的作用是在第$l$层内部，对n条并行流进行混合：

$$(\mathcal{H}^{\text{res}} \mathbf{x})_i = \sum_{j=1}^{n} H_{ij} x_j$$

第$i$条流的输出依赖于所有n条流的输入。

耦合2：不同层的修正项被累积矩阵调制（层间耦合）

注意到每一层的贡献$\mathcal{F}_l$在最终输出中都被$\prod_{j=l+1}^{L} \mathcal{H}_{j}^{\text{res}}$这串矩阵乘积所调制。

用泰勒级数的语言：这就像让各阶导数项的系数不再独立，而是被一组累积因子统一缩放。

这种设计的直觉很美好：

• 更丰富的信息表示（n条并行流）
• 更灵活的层间交互（可学习的混合矩阵）
• 在FLOPs不变的情况下增加拓扑复杂度

但问题来了——这种"自由度"会带来什么代价？

---

4、HC的致命问题：无约束的累积矩阵导致 "级数发散"

4.1 泰勒级数为什么稳定？

让我们回到泰勒级数的基础。对于解析函数，泰勒级数的系数$\frac{f^{(n)}(a)}{n!}$不是任意的，它们由函数本身的导数性质严格决定。

更关键的是，对于收敛的泰勒级数，有一个隐含的约束：

$$\lim_{n \to \infty} \frac{f^{(n)}(a)}{n!}(x-a)^n = 0$$

系数必须"足够小"，才能保证无穷累加后不会发散。

4.2 标准残差连接的"恒等映射"性质

标准残差连接$\mathbf{y}_l = \mathbf{y}_{l-1} + \mathcal{F}(\cdot)$有一个关键性质：恒等映射。

递推展开后：

$$\mathbf{y}_L = \mathbf{x}_0 + \sum_{l=1}^{L} \mathcal{F}_l$$

信号$\mathbf{x}_0$可以无损地直接传递到任意深度！

这就像泰勒级数的常数项$f(a)$——它永远在那里，不被其他项"污染"。

4.3 HC打破了这个性质

当我们将HC递推展开到多层时：

$$\mathbf{x}_L = \left(\prod_{i=1}^{L-l} \mathcal{H}_{L-i}^{\text{res}}\right) \mathbf{x}_l + \sum_{i=l}^{L-1} \left(\prod_{j=1}^{L-1-i} \mathcal{H}_{L-j}^{\text{res}}\right) (\mathcal{H}_i^{\text{post}})^\top \mathcal{F}_i$$

原始信号$\mathbf{x}_0$传递到到第$L$层时就变成了：

$$\left(\prod_{i=1}^{L} \mathcal{H}_{i}^{\text{res}}\right) \mathbf{x}_0$$

注意到那个矩阵连乘$\prod_{i=1}^{L} \mathcal{H}_{i}^{\text{res}}$了吗？

用数学直觉来理解：

• 如果$\|\mathcal{H}^{\text{res}}\| > 1$：信号指数级爆炸
• 如果$\|\mathcal{H}^{\text{res}}\| < 1$：信号指数级消失
• 多层连乘会放大这种效应

4.4 实验证据

mHC论文中的Figure 3给出了意料中的实验证据：

在27B模型中，$\mathcal{H}^{\text{res}}$复合映射的"增益幅度"（Amax Gain Magnitude）可以达到近3000——远离理想值1。

这意味着：

这已经不是"训练稳不稳定"的问题了，这是"训练灾难"范畴了。

---

5、mHC的解决方案：将矩阵约束到"安全流形"

5.1 核心思想

mHC(Manifold-Constrained Hyper-Connections)的核心思想可以用一句话概括：

具体而言，mHC选择的流形是双随机矩阵（Doubly Stochastic Matrix）空间：

$$\mathcal{P}_{\mathcal{M}^{\text{res}}}(\mathcal{H}_l^{\text{res}}) = \left\{ H \in \mathbb{R}^{n \times n} \mid H\mathbf{1}_n = \mathbf{1}_n, \mathbf{1}_n^\top H = \mathbf{1}_n^\top, H \geq 0 \right\}$$

用人话说：

• 每行之和 = 1（输出是输入的加权平均）
• 每列之和 = 1（每个输入对输出的总贡献守恒）
• 所有元素非负（没有"负权重抵消"）

5.2 为什么双随机矩阵是"安全"的？

让我们深入理解双随机矩阵的三个关键性质。

性质1：信号均值守恒

当权重$\lambda_j$满足$\sum_j \lambda_j = 1$且$\lambda_j \geq 0$时，

$$y = \sum_{j} \lambda_j x_j$$

称为$x_1, \ldots, x_n$的凸组合，本质上就是加权平均。

双随机矩阵的作用之一就是对每个输出分量做凸组合

对于双随机矩阵$H$作用于向量$\mathbf{x}$：

$$(\mathbf{Hx})_i = \sum_{j} H_{ij} x_j$$

由于$\sum_j H_{ij} = 1$（行和为1）且$H_{ij} \geq 0$，所以每个输出元素都是所有输入元素的加权平均。

关键性质：信号均值在变换下保持不变

设输入均值$\bar{x} = \frac{1}{n}\sum_j x_j$，输出均值$\bar{y} = \frac{1}{n}\sum_i y_i$。

$$\bar{y} = \frac{1}{n}\sum_i (\mathbf{Hx})_i = \frac{1}{n}\sum_i \sum_j H_{ij} x_j = \frac{1}{n}\sum_j x_j \underbrace{\sum_i H_{ij}}_{=1 \text{（列和为1）}} = \frac{1}{n}\sum_j x_j = \bar{x}$$

总结：

• 行随机 -> 每个输出是凸组合
• 列随机 -> 均值守恒

直觉理解：水池类比

想象n个水池，每个水池有不同的水量$x_1, x_2, \ldots, x_n$。双随机矩阵的作用就像一个"公平的泵系统"：

• 从每个水池抽水，按比例分配到各个水池
• 每个水池流出的总比例 = 1（行和为1）
• 每个水池流入的总比例 = 1（列和为1）

这样的系统不会创造水，也不会消灭水——总水量守恒，平均水位守恒。

这就是"信号守恒"的含义：信息在n条流之间重新分配，但总量不变。

---

性质2：范数不扩张——信号幅度有界

双随机矩阵的谱范数（最大奇异值）满足$\|H\|_2 \leq 1$。

证明：

对于任意向量 $x$，考虑 $\|Hx\|_2^2$：

$\|Hx\|_2^2 = \sum_i \left(\sum_j H_{ij} x_j\right)^2$

由于双随机矩阵满足 $H_{ij} \geq 0$ 且 $\sum_j H_{ij} = 1$（行和为1），应用 Jensen 不等式（凸函数 $f(t)=t^2$）：

$\left(\sum_j H_{ij} x_j\right)^2 \leq \sum_j H_{ij} x_j^2$

因此： $\|Hx\|_2^2 \leq \sum_i \sum_j H_{ij} x_j^2 = \sum_j x_j^2 \underbrace{\sum_i H_{ij}}_{=1} = \|x\|_2^2$

最后一步用到了列和为1的条件。这就证明了 $\|H\|_2 \leq 1$。

这意味对于任意向量$\mathbf{x}$：

$$\|\mathbf{Hx}\|_2 \leq \|H\|_2 \cdot \|\mathbf{x}\|_2 \leq \|\mathbf{x}\|_2$$

对训练稳定性的意义

虽然神经网络的层数$L$是有限的，但"范数不扩张"保证了：

• 前向传播：信号幅度不会随深度指数增长
• 反向传播：梯度幅度不会随深度指数增长

这是稳定训练的必要条件——没有它，深层网络几乎无法训练。

---

性质3：乘法封闭——深度无关的稳定性

这是mHC最关键的性质：双随机矩阵的乘积仍然是双随机矩阵。

定理：若$A$和$B$都是双随机矩阵，则$AB$也是双随机矩阵。

证明：

需要验证$AB$满足双随机矩阵的三个条件：

• 1. 非负性

$C_{ij} = \sum_k A_{ik} B_{kj} \geq 0$

因为 $A_{ik} \geq 0$ 且 $B_{kj} \geq 0$。

• 2. 行和为 1

$\sum_j C_{ij} = \sum_j \sum_k A_{ik} B_{kj} = \sum_k A_{ik} \underbrace{\sum_j B_{kj}}_{=1} = \sum_k A_{ik} = 1$

• 3. 列和为 1

$\sum_i C_{ij} = \sum_i \sum_k A_{ik} B_{kj} = \sum_k B_{kj} \underbrace{\sum_i A_{ik}}_{=1} = \sum_k B_{kj} = 1$

为什么这个性质至关重要？

这意味着，无论网络有多深，复合映射：

$$\prod_{l=1}^{L} \mathcal{H}_l^{\text{res}}$$

始终是双随机矩阵！

因此，从第1层到第$L$层的信号传播，无论$L$多大，都满足：

• 均值守恒
• 范数不扩张

这就是深度无关的稳定性：网络可以任意深，信号都不会爆炸或消失。

用泰勒级数类比：

mHC论文的Figure 7证实了这一点：复合映射的增益幅度始终保持在1.6以内，比HC的3000降低了三个数量级。

---

6、双随机矩阵的更多介绍

6.1 Birkhoff多面体：置换矩阵的凸包

双随机矩阵构成的空间有一个优美的几何名字——Birkhoff多面体。

Birkhoff-von Neumann定理告诉我们：

$$\mathcal{H}^{\text{res}} = \sum_k \lambda_k P_k, \quad \text{其中} \sum_k \lambda_k = 1, \lambda_k \geq 0$$

6.2 置换 = 重排，双随机 = 软重排

置换矩阵$P$的作用是将输入向量的元素重新排列，不改变任何值：

$$P\mathbf{x} = (x_{\pi(1)}, x_{\pi(2)}, \ldots, x_{\pi(n)})^\top$$

用泰勒级数理解：这相当于改变各项的顺序，但不改变其值。信息完全守恒。

双随机矩阵是置换矩阵的凸组合，可以理解为"软置换"或"概率置换"：

6.3 信息论视角：熵与信号守恒的关系

从信息论角度，双随机矩阵因为是凸组合操作，它倾向于"混合"信息、"平滑"分布，而不是"放大"差异。

这与稳定训练的直觉完美吻合：

概念	数学含义	在神经网络中的意义
范数守恒	$\|\mathbf{Hx}\| \leq \|\mathbf{x}\|$	信号幅度不爆炸
均值守恒	$\bar{y} = \bar{x}$	信号的"中心"不漂移
熵不减	$S(\mathbf{Hp}) \geq S(\mathbf{p})$（对概率分布）	信息分布趋于均匀

双随机矩阵同时满足这三个性质，确保信息在网络中流动时：

• 不会被无限放大（范数有界）
• 不会整体漂移（均值守恒）
• 不会过度集中或发散（熵有界）

---

7、Sinkhorn-Knopp算法：如何投影到双随机流形

mHC使用经典的Sinkhorn-Knopp算法将任意矩阵投影到双随机矩阵空间。

7.1 算法思想

给定一个正矩阵$M^{(0)} = \exp(\tilde{\mathcal{H}}^{\text{res}})$（通过指数函数保证非负），交替进行行归一化和列归一化：

$$M^{(t)} = T_r\left(T_c(M^{(t-1)})\right)$$

其中：

• $T_r$：行归一化（每行除以行和，使行和为1）
• $T_c$：列归一化（每列除以列和，使列和为1）

迭代足够多次后，$M^{(t)}$收敛到一个双随机矩阵。

7.2 直觉理解

这个算法可以理解为：

就像在泰勒级数中，如果某一项的系数"不合规"，我们就把它"投影"回合理范围。

mHC选择迭代20次作为效率与精度的平衡点。论文的实验表明，这个近似已经足够好——复合映射的增益幅度保持在1.6以内。

---

8、实验验证与可解释性总结

8.1 稳定性的飞跃

mHC论文的实验结果达到了期望的效果：

方法	复合映射增益幅度	训练稳定性
HC	~3000	不稳定（loss突增）
mHC	~1.6	稳定

增益幅度降低三个数量级，直接体现了双随机约束的威力。

8.2 性能的提升

在27B模型的下游任务评测中，mHC相比HC在推理任务上有显著提升：

• BBH: +2.1%
• DROP: +2.3%

这印证了我们的分析：

8.3 可解释性总结

用一张表总结三种方法在泰勒级数框架视角下的对比：

概念	标准残差	HC	mHC
泰勒级数类比	各项独立累加	各项被累积矩阵调制	各项被"安全"累积矩阵调制
系数空间	恒等（标量1）	任意矩阵$\mathbb{R}^{n \times n}$	双随机矩阵（Birkhoff多面体）
恒等映射	完全保持	被破坏	部分恢复（均值/范数守恒）
信号稳定性	保证	不保证（可能爆炸/消失）	保证
表达能力	基础	强（但不稳定）	强且稳定

---

9、延伸思考

9.1 其他可能的流形约束

双随机矩阵是不是唯一的选择？ 还有哪些其他矩阵结构可以尝试引入来保证稳定性？ 其他矩阵行不行？

• 正交矩阵：$H^\top H = I$，完全保持欧氏范数，但计算投影更复杂
• 随机矩阵（仅行和为1）：更宽松的约束，但不保证列和守恒
• 缩放矩阵：$\|H\|_2 < 1$，主动衰减信号，可能导致信息损失

每种选择都有不同的几何和信息论含义，值得探索。

9.2 与正则化的关系

传统的L2正则化通过惩罚参数大小来防止过拟合。

mHC的流形约束可以看作一种几何正则化——约束参数的"形状"而非"幅度。

9.3 深度与宽度的新理解

在上一篇博客中，我们指出：

mHC提供了新的视角：

• HC的n流设计：在每一"阶"引入n个并行的子项
• mHC的约束：确保这n个子项的混合是"守恒"的

---

10、总结

通过泰勒级数这一可解释性框架视角下的分析，我们递进式地深入解读了mHC：

1. HC的创新：将"各项独立累加"扩展为"各项被累积矩阵调制"，引入更丰富的层间交互。

2. HC的问题：无约束的累积矩阵破坏了恒等映射性质，导致信号爆炸或消失。。

3. mHC的解决方案：将混合矩阵约束到双随机流形，利用其三大性质——

   • 列随机（列和为1）：保持信号均值
   • 范数不扩张：限制信号幅度
   • 乘法封闭：保证任意深度的稳定性

4. 核心洞见：深度学习的稳定性来自于"受控的信号传播"，mHC正是在多流架构中恢复这种"控制"的优雅方案。

感想：

深度网络的稳定在于信息流的守恒。mHC用双随机矩阵，让"多流架构"学会了"信号守恒"，从而在保持丰富表达能力的同时，实现了稳定的大规模训练。

这或许暗示了一个更深刻的设计原则：