DeepSeek mHC:数学约束驯服梯度爆炸
本文从ResNet残差连接的数学原理出发,解析HC架构的梯度消失/爆炸问题,深入探讨DeepSeek提出的mHC方案。通过双随机矩阵约束和Sinkhorn算法,mHC确保学习矩阵的谱范数不超过1,将梯度连乘风险转化为可控加法结构,在保留信息...
本文从ResNet残差连接的数学原理出发,解析HC架构的梯度消失/爆炸问题,深入探讨DeepSeek提出的mHC方案。通过双随机矩阵约束和Sinkhorn算法,mHC确保学习矩阵的谱范数不超过1,将梯度连乘风险转化为可控加法结构,在保留信息...
作者发现VSCode的globalStorage/kilocode.kilo-code目录占用200G磁盘空间,删除后新建任务又占5G。针对深度学习项目数据集大的问题,作者使用Gemini搜索到反向gitignore方案,忽略所有文件(**...

ECS / OSS / CDN / 云数据库一站采购,常用云资源集中选配;新用户与续费均有专场优惠,适合个人开发者与小团队长期使用。
招聘AI负责人,带领3-6人技术团队,负责AI在交易所业务中的落地应用,涵盖风控、用户增长、客服及数据分析等场景。要求5年以上AI/机器学习经验,熟悉深度学习、NLP等方向,有团队管理经验。优先区块链行业背景及大厂或创业公司经验,需具备跨部...

本文是《Karpathy神经网络零基础课程》系列文章 ← 上一篇:Karpathy神经网络05:反向传播 – 徒手写梯度 | → 下一篇:Karpathy神经网络07:GPT – 从零实现ChatGPT 这是Andr...

TL;DR Andrej Karpathy(前特斯拉AI总监、OpenAI创始成员)做了个神经网络课程,从零开始手撸代码,一路搞到GPT。不讲虚的,全是实战。你要是会Python和高中数学,就能跟着学。 为什么值得看? 先说重点:这课程跟市...
该课程提供人工智能就业培训体系,从Python基础编程进阶到数据处理、深度学习及实战项目,涵盖金融风控、AI医生、文本摘要等实际案例,旨在快速培养学员AI技能,助力高薪就业。课程结构清晰,注重实操,适合想进入AI领域的初学者和转行者,反映了...
中国AI初创公司DeepSeek于2026年初发布技术论文,介绍流形约束超连接(mHC)深度学习架构。该架构解决了神经网络规模扩大时的训练不稳定性和可扩展性问题,由创始人梁文锋团队研发,声称提供切实的性能改进和卓越的可扩展性。业内观察人士认...
这是一篇免费在线教程,指导读者如何从零开始构建深度学习库。文章以NumPy为基础,逐步实现功能性的自动梯度引擎和层模块,最终应用于训练MNIST、简单CNN和ResNet模型。作者强调理解底层原理而非仅使用现有工具,适合AI开发者深入学习。...
一位拥有13年Java开发经验的39岁开发者,近日萌生转型AI大模型开发的念头。他已系统学习机器学习、深度学习、Transformer等核心技术,虽感门槛高但充满探索热情。针对转型可行性、常见陷阱及学习路径,他向行业前辈寻求真实建议。这一经...
微软推出RepDL框架,解决深度学习中跨硬件平台比特级可重现性问题。该框架通过实现确定性操作,确保模型训练和推理在CPU等不同设备上输出一致。支持PyTorch兼容,提供可重现操作、函数和模块示例,项目学术和非生产用途,欢迎开发者贡献。 原...