 

DeepSeek mHC：数学约束驯服梯度爆炸

2026-01-06 分类：前沿阅读(33) 评论(0) 赞(0)

智谱 GLM，支持多语言、多任务推理。从写作到代码生成，从搜索到知识问答，AI 生产力的中国解法。

本文从ResNet残差连接的数学原理出发，解析HC架构的梯度消失/爆炸问题，深入探讨DeepSeek提出的mHC方案。通过双随机矩阵约束和Sinkhorn算法，mHC确保学习矩阵的谱范数不超过1，将梯度连乘风险转化为可控加法结构，在保留信息通道的同时稳定训练过程。技术推导严谨，代码示例清晰，为深度学习训练瓶颈提供了创新解决方案。

原文链接：Linux.do

赞(0)

未经允许不得转载：Toy's Tech Notes » DeepSeek mHC：数学约束驯服梯度爆炸

分享到

AI创新 deepseek mHC技术梯度稳定深度学习

评论抢沙发

前沿哨所

腾讯法务重拳出击，30余个微信相关GitHub项目遭下架

本月初，腾讯法务向GitHub上超过30个微信相关项目发送DMCA下架通知。腾讯指控这些项目违反了禁止逆向工程条款、绕过技术保护措施及侵犯知识产权。尽管被指控威胁隐私安全，但舆论普遍认为，此举实际上将用户获取个人数据的行为定义为非法，引发了关于开发者生存空间及用户数据控制权的激烈讨论。

原文链接：V2EX 分享发现

7分钟前
Claude CLI 体验遇冷？开发者热议命令行代码查看的效率难题

随着 Claude 推出命令行开发工具，部分开发者尝试在纯终端环境下工作。然而实际体验显示，CLI 模式存在代码查看效率低、执行耗时以及无法便捷选中代码进行二次交互等问题，引发了社区关于多终端并行或结合 IDE 使用的讨论。这反映了 AI 编程助手在 CLI 形态下，操作效率与用户体验仍有待优化，传统图形界面在复杂开发场景中仍不可替代。

原文链接：V2EX 分享发现

7分钟前
KeyStats：帮你统计键盘与鼠标使用数据的开源工具

KeyStats 是一款专注于输入量化的开源工具，能够统计用户的键盘敲击次数及鼠标的点击、移动和滚动距离。该软件常驻系统托盘，支持悬停查看当日数据，点击即可查看详细的统计信息、Top 15 常用按键以及周月趋势图。所有数据均在本地保存，且每日自动重置，不记录具体输入内容，确保隐私安全。目前发布的 Windows 版本需安装 .NET 8 Desktop Runtime，适合对自我数字化行为感兴趣的极客用户使用。

原文链接：V2EX 分享发现

7分钟前
DeepSeek mHC获复现：拆解万倍信号炸弹，大模型训练零代价稳定

研究员利用8张H100 GPU成功复现DeepSeek提出的mHC架构。实验表明，传统超连接（HC）在1.7B规模下会出现信号激增超万倍的严重不稳定性。而DeepSeek的mHC通过数学约束将信号完美锁定，不仅彻底消除了训练崩溃的风险，且未造成任何性能损耗，证明了其在构建超大模型时的关键价值。

原文链接：Linux.do

7分钟前
马斯克激进预言：2026年实现AGI，AI智力将超越全人类总和

马斯克在德州超级工厂接受Moonshots Podcast采访时，抛出了迄今为止最激进的技术预测。核心观点包括2025至2026年实现通用人工智能（AGI），2030年AI智能总和超越全人类。他还预测三年内Optimus机器人能力将超越顶尖外科医生，以及2026年中国发电量将是美国的三倍。这些大胆预言引发了业界对AGI实现时间及技术爆发点的高度关注。

原文链接：Linux.do

1小时前
Claude Code遭遇520报错？一行配置代码快速解决

近期部分用户在使用AnyRouter等工具转发Claude Code API时频现520和502报错。经排查，通过在配置文件settings.json中添加“CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC”属性并设为true，可屏蔽非必要流量干扰，有效解决逆向转发过程中的冲突，恢复工具正常运行。

原文链接：Linux.do

1小时前