技术硬核:从零编写优化型张量编译器
本文详细记录了从零开始构建一个优化型张量编译器的全过程。作者通过实际代码演示,涵盖了从词法分析、语法分析到构建中间表示(IR),再到实现循环优化和代码生成的各个关键步骤。文章深入探讨了如何将数学表达式转化为高效的机器码,这对于理解深度学习模...
本文详细记录了从零开始构建一个优化型张量编译器的全过程。作者通过实际代码演示,涵盖了从词法分析、语法分析到构建中间表示(IR),再到实现循环优化和代码生成的各个关键步骤。文章深入探讨了如何将数学表达式转化为高效的机器码,这对于理解深度学习模...
Stanford 大学 Jurafsky 和 Manning 团队发布新论文,提出用“Tversky 投射层”替代神经网络中传统的 Linear 层。研究指出,现有深度学习基于几何相似度的对称性假设不符合人类认知的“不对称性”。该团队将心理...

ECS / OSS / CDN / 云数据库一站采购,常用云资源集中选配;新用户与续费均有专场优惠,适合个人开发者与小团队长期使用。
作者为解决中文声调学习难题,基于Conformer和CTC技术训练了一款小型语音模型。通过数据优化与架构调整,模型参数从7500万压缩至900万,量化后仅11MB,可在浏览器端流畅运行,验证了边缘AI在特定教育场景下的高性价比与实用性。 原...
字节跳动Seed团队推出KEEL新架构,解决了大模型深度扩展的技术瓶颈。该架构通过引入高速公路式连接改进Post-LN结构,在不依赖复杂优化技巧的情况下,首次成功实现了超过1000层超深层神经网络的稳定训练。这一突破证明深度扩展比单纯加宽更...
该项目BumbleCore由大模型算法工程师开发,旨在打破现有框架的高级封装黑盒。基于DeepSpeed从零构建了数据加载、训练循环及损失计算等底层逻辑,支持预训练至DPO全流程。作者还参考Qwen实现了BumbleBee架构,便于用户进行...
研究显示,深度网络海森矩阵的逆矩阵计算存在一种高效的线性时间算法。传统方法计算复杂度随层数呈立方级增长,极不实用,而新方法利用矩阵多项式结构实现了分解优化。该算法类似于在双重网络上运行反向传播,使得Hessian逆的应用变得非常高效。这一发...
本文详细介绍了如何在云端环境中利用PyTorch的DistributedDataParallel(DDP)模块从头开始训练基础模型。文章涵盖了基础设施搭建、代码实现细节以及分布式训练中常见的挑战与解决方案,为开发者提供了在大规模云端集群上高...
该提示词提出了一种类似Gemini学习指导模式的AI学习方法,采用渐构式和关联式学习策略。尽管学习周期较长,但它成功将被动接收转变为主动探究,帮助用户从对象层到共相层构建知识体系。目前该模式专注于概念判别,能协助学习者建立专属的判别模型。开...
本文探讨了深度学习科研领域的最佳实践工作流。作者分享了目前使用的多种AI工具,包括用于问答和论文润色的ChatGPT、Claude、Gemini,以及用于编程辅助的Cursor、VSCode Copilot和CLI工具。作者指出,当前许多研...
字节跳动火山AI团队急招大模型应用算法工程师和后端开发工程师,职位要求深度掌握大模型核心技术,包括SFT、RLHF、RAG、Agent等,熟悉LangGraph等框架。招聘信息反映行业对AI大模型人才的高需求,强调多模态和智能代理应用趋势,...