DeepSeek mHC：数学约束驯服梯度爆炸
本文从ResNet残差连接的数学原理出发，解析HC架构的梯度消失/爆炸问题，深入探讨DeepSeek提出的mHC方案。通过双随机矩阵约束和Sinkhorn算法，mHC确保学习矩阵的谱范数不超过1，将梯度连乘风险转化为可控加法结构，在保留信息...
标签索引
AI创新
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
标签索引
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
本文从ResNet残差连接的数学原理出发，解析HC架构的梯度消失/爆炸问题，深入探讨DeepSeek提出的mHC方案。通过双随机矩阵约束和Sinkhorn算法，mHC确保学习矩阵的谱范数不超过1，将梯度连乘风险转化为可控加法结构，在保留信息...