训练样本李括号：深度解析AI优化过程的代数几何视角
该文章源自 Hacker News 的技术讨论，探讨了“训练样本李括号”这一结合了微分几何与机器学习的理论概念。评论区的核心观点指出，李括号具有双线性特征，这意味着在计算批次数据的李括号时，运算可自然分解为对批次内样本对的独立运算组合（即 ...
标签索引 / 第 3 页
深度学习
这个标签下有 99 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
大模型基石技术解密：为何LLaMA与DeepSeek都选择旋转位置编码？
本文深入解读了由苏剑林提出的旋转位置编码技术，该方法目前已被LLaMA、Qwen、DeepSeek等全球主流大模型广泛采用。文章详细回顾了RoPE诞生的技术背景：即如何在保持线性注意力机制兼容性的同时，引入相对位置信息以提升模型性能。作者通...
只需5分钟训练一个微型 LLM？这个项目带你打破 AI 黑盒
GuppyLM 是一个仅拥有约 900 万参数的微型语言模型，其独特之处在于它通过扮演一条名叫 Guppy 的小鱼，以此揭开大模型训练的神秘面纱。该项目旨在向大众证明，构建一个 AI 模型并不需要博士学位或昂贵的 GPU 集群。借助谷歌 C...
实战对比：在深度学习编码中，GPT Codex 完胜 Claude Code
针对Linux环境下Python与PyTorch的深度学习开发，一项关于AI编程助手的实战对比显示，GPT Codex在任务中表现优于Claude Code。在涉及多模块修改和训练方案调整的中等规模项目中，采用“Vibe coding”（完...
为何最核心的智慧无法言说？深度解析专家直觉与AI的“维数灾难”
本文深入探讨了专家知识的本质及其传递的悖论：为何高级判断力只能通过反馈循环“校准”习得，却无法通过语言“指令”传授？文章指出，真正的专业知识涉及数十个变量的高维非线性交互，而语言作为低带宽通道仅能传递简单规则。作者利用神经网络原理和自动驾驶...
即使GPT-5.2也数不到五？新研究提出“零误差视界”，直击LLM可信度短板
针对大语言模型（LLM）普遍存在的逻辑不可靠与“幻觉”问题，研究者Ryoma Sato提出了一种全新的评估标准——“零误差视界”（ZEH）。该概念定义了模型在完全零错误前提下能够解决问题的最大范围。文章通过严谨的论证指出，尽管未来模型（如假...
涵盖深度学习与自动驾驶：一份算法工程师的全流程实战技能清单
这篇文章来自技术社区 Linux.do，分享了一份面向算法工程师的通用实战技能清单。内容覆盖调度算法、深度学习、图像处理及避障算法等核心领域。作者详细梳理了从需求澄清、建模分析、算法选型，到代码实现、实验验证、性能优化及最终交付说明的完整工...
【深度长文】从零开始：彻底搞懂AI模型量化的底层原理
这是一篇由ngrok技术专家撰写的硬核技术教程，全文字数超过6600字。文章旨在为开发者提供一个关于AI模型量化的“从零开始”的全面视角。它深入浅出地讲解了量化的数学基础、实现细节以及在现代AI开发流程中的核心作用。通过系统掌握这一技术，开...
深度解读：无需训练即可提升大模型智力？揭秘LLM内部的“通用语言”与神经解剖学
本文是“LLM神经解剖学”系列的续作，作者通过数学探针和大规模实验，在Qwen3.5-27B上验证了RYS（重复特定层）方法的有效性。研究发现，Transformer内部存在清晰的“三阶段”结构：早期层负责编码，晚期层负责解码，而中间层则在...
解锁大模型高效推理新路径：GitHub项目MSA提出“内存稀疏注意力”机制
Hacker News上热推的GitHub开源项目MSA（Memory Sparse Attention）展示了一种针对大模型注意力机制的优化方案。该技术通过引入“内存”概念与“稀疏”计算策略，旨在解决Transformer在处理长序列时面...