深度学习即将迎来科学理论:从经验“炼丹”走向严谨的“学习力学”
这篇由 Jamie Simon 等多位作者联合撰写的论文提出,深度学习领域正在形成一套系统的科学理论。研究团队整合了当前理论进展的五大方向,包括理想化可解设置、宏观数学定律及跨系统普适行为等,并将其统称为“学习力学”。这一理论框架旨在通过可...
这篇由 Jamie Simon 等多位作者联合撰写的论文提出,深度学习领域正在形成一套系统的科学理论。研究团队整合了当前理论进展的五大方向,包括理想化可解设置、宏观数学定律及跨系统普适行为等,并将其统称为“学习力学”。这一理论框架旨在通过可...
开发者Sean Lavigne在1989年的Macintosh SE/30上,完全使用HyperCard的脚本语言HyperTalk编写并运行了一个Transformer神经网络“MacMind”。这个仅有1216个参数的微型模型,通过自注...

ECS / OSS / CDN / 云数据库一站采购,常用云资源集中选配;新用户与续费均有专场优惠,适合个人开发者与小团队长期使用。
该项目是一个极具教育意义的开源尝试,旨在拒绝PyTorch等现成框架的“抽象”封装,仅依赖NumPy从零构建了一个用于手写数字识别的两层神经网络。开发者完整复现了前向传播、反向传播及AdamW优化器,并深度解析了权重衰减与梯度波动的数学关系...
Hacker News上热议的开源项目Hippo,提出了一种受生物神经系统启发的AI智能体记忆解决方案。针对当前大模型(如Claude)在跨会话记忆检索上的不足,Hippo引入了类似人类大脑的“记忆衰减”与“巩固”机制。社区讨论进一步探讨了...
本文深入探讨了专家知识的本质及其传递的悖论:为何高级判断力只能通过反馈循环“校准”习得,却无法通过语言“指令”传授?文章指出,真正的专业知识涉及数十个变量的高维非线性交互,而语言作为低带宽通道仅能传递简单规则。作者利用神经网络原理和自动驾驶...
Anthropic 可解释性团队发布最新研究,深入分析了 Claude Sonnet 4.5 的内部机制,成功识别出与“快乐”、“害怕”等特定情绪概念相对应的神经元激活模式。研究发现,这些内部表征的组织方式与人类心理学惊人地相似,情感越相似...
Marginalia搜索引擎的开发者分享了构建NSFW内容过滤器的技术实践。由于Transformer等现代模型对GPU依赖严重且速度慢,作者尝试了FastText但未能解决上下文歧义问题。最终,作者采用了一种巧妙的混合策略:利用Qwen ...
本文深入解读了何恺明团队的ResNet论文,这是深度学习领域的里程碑之作。文章详细剖析了深层网络面临的“退化问题”,并解释ResNet如何通过引入残差连接,将学习目标从完整映射转化为残差映射,从而有效解决了梯度消失和优化难题。这一创新不仅让...
这个名为nCPU的项目彻底打破了传统冯·诺依曼架构的限制,将寄存器、内存甚至程序计数器全部转化为GPU上的张量,并利用训练好的神经网络模型替代了传统的算术逻辑单元(ALU)。从加法、乘法到位移操作,所有指令均通过神经网络推理执行,并实现了1...
近日,一个名为“ANE”的开源项目在技术社区引发轰动。开发者通过逆向工程苹果的私有 API,成功破解了 Apple Neural Engine (ANE) 的使用限制,首次实现在该神经引擎上直接运行神经网络的训练过程,而不仅仅是传统的推理加...