上下文即软件，权重即硬件：为何单纯扩大上下文无法取代模型微调
文章深入探讨了AI领域中“长上下文”与“模型微调”的争论。作者提出，通过 KV Cache 实现的上下文学习本质上是在固定的“硬件”（权重）上运行临时的“软件”，虽然灵活但受限于预训练分布的“元学习天花板”。相比之下，权重更新（微调）相当于...
标签索引 / 第 2 页
深度学习
这个标签下有 99 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
深度学习科研痛点：面对“无效”模块，论文该怎么写？
本文源自技术社区的深度讨论，聚焦于AI学术研究中一个典型的两难困境。一名研究生求助表示，其训练的模型包含两个模块，但消融实验显示主要效果仅由模块A贡献，模块B作用甚微。在缺乏导师指导的情况下，作者希望能保留模块B却苦于无法在论文中自圆其说。...
极简主义AI：开发者用1000行Rust代码复刻PyTorch核心
一位开发者在探索神经网络原理时，利用 Rust 语言编写了一个名为 ferris-grad 的轻量级自动微分库。该项目旨在复刻 PyTorch 风格的 autograd 引擎，其核心代码被精简至 1000 行以内，且不依赖任何第三方库，仅通...
探索4位浮点数（FP4）：AI时代的算力与精度博弈
传统的编程思维往往认为更高的浮点数精度（如从32位到64位）总是更好的，但在现代GPU和AI计算领域，这一逻辑正在被颠覆。文章探讨了4位浮点数（FP4）这一前沿技术，指出在深度学习推理和训练中，通过降低精度可以大幅提升内存带宽和计算吞吐量。...
拒绝黑盒封装！开发者开源“通用深度学习平台”，从零手撸 Transformer
这是一个面向实践的深度学习实验项目，旨在为初学者和开发者提供“训练-部署-体验”一体化的完整工作流。该项目最大的亮点在于“拒绝黑盒”，开发者纯手工从零构建了 Transformer 和 RNN 等核心模型，强调代码即教程，每一行逻辑都清晰可...
告别黑盒调包：仅用NumPy从零手写神经网络，硬核拆解深度学习底层原理
该项目是一个极具教育意义的开源尝试，旨在拒绝PyTorch等现成框架的“抽象”封装，仅依赖NumPy从零构建了一个用于手写数字识别的两层神经网络。开发者完整复现了前向传播、反向传播及AdamW优化器，并深度解析了权重衰减与梯度波动的数学关系...
百度开源80亿参数生图模型ERNIE-Image：专注可控生成与文本渲染
百度ERNIE-Image团队宣布开源两款文本生成图像模型——ERNIE-Image与ERNIE-Image-Turbo。该模型拥有80亿参数，基于单流扩散变换器与潜在扩散框架，并内置轻量级提示增强器，能将简短输入转化为高质量指令。ERNI...
探索LLM新范式：内省扩散语言模型发布，挑战传统自回归生成机制
Hacker News上热议的“内省扩散语言模型”项目引起了广泛关注。该研究提出了一种新颖的AI架构，试图将扩散模型在图像生成领域的成功经验迁移到自然语言处理（NLP）中。与当前主流的GPT等自回归模型不同，该方法利用迭代去噪过程生成文本，...
从牛顿到深度学习：盘点塑造人类文明的重大智力突破
本文回顾了人类历史上最具影响力的智力成就，涵盖了从古代数学、哲学萌芽，到牛顿力学、进化论、原子理论，再到现代计算机科学与人工智能的完整脉络。文章重点列举了香农的信息论、图灵的计算模型、以及Hinton等人主导的深度学习革命，指出这些领域的突...
CS博士实测：全自动AI科研的现状、陷阱与实战经验
这篇文章由一位CS在读博士撰写，基于其发表顶会论文的实战经验，深度复盘了利用大模型（Claude、ChatGPT、Gemini）进行自动化深度学习科研的可行性。作者指出，尽管AI在文献调研方面已超越人类，但在代码实现、环境配置及实验监控等环...