榨干每块显存：LLM 底层显存优化
作者：toy GPU 显存是 LLM 推理与训练的硬约束，不是软性资源。当一个 70B 参数模型以 BF16 格式加载时，光是参数本身就需要约 140GB，单张 H100 的 80GB 显存根本装不下。工程师的任务不是抱怨硬件贵，而是理解显...
标签索引
深度学习
这个标签下有 99 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
深度学习者的困惑：大模型辅助代码创新为何遭遇“水土不服”？
随着Claude、GPT等大模型的普及，科研范式正在发生剧变。然而，一名深度学习研究者在Linux.do发帖吐槽，试图利用大模型将论文创新点迁移至代码时遭遇“滑铁卢”。相比于此前“拼凑代码”的传统模式，大模型辅助并未带来预期的实验效果，往往...
LLM的“理解”是伪命题吗？从概率计算到思维链的认知迷思
本文深入探讨了大型语言模型（LLM）是否真正具备“理解”世界的能力。作者反对将LLM简单视为概率预测机器的观点，提出“理解”不应局限于人类认知模式，类比于猫狗等生物的非人类智能。文章同时指出了一个矛盾现象：尽管LLM基于不可解释的高维向量计...
【资源】强化学习全景指南：从数学原理、核心算法到大模型RLHF实战
这是一份体系极其完善的强化学习（RL）全套视频课程资源，旨在填补从理论到实践的巨大鸿沟。课程内容循序渐进，首先夯实线性代数、微积分及概率统计等数学基础，并详细讲解CUDA、PyTorch及Jupyter环境的搭建。核心技术部分深入剖析了马尔...
Flow Maps 深度解析：告别迭代，通过预测积分实现极速生成
本文深入探讨了“Flow Maps”技术，这是对扩散模型（Diffusion Models）的一次重要视角升级。传统扩散模型通过预测切线方向逐步迭代去噪，计算成本高昂；而 Flow Maps 旨在直接预测路径的积分，即能够从噪声分布直接跳跃...
脑科学重大突破：发现挑战“赫布理论”的新可塑性，单次经历即可重塑大脑
长期以来，神经科学界认为“一起激发的神经元连在一起”（赫布理论），这通常需要反复练习才能形成记忆。然而，科学家最新发现了一种名为“行为时间尺度突触可塑性”（BTSP）的机制。研究表明，大脑海马体中的树突电位可以在数秒内瞬间强化特定神经连接，...
深度学习“炼丹”痛点：开发者呼吁利用 LLM 自动记录实验思路与代码差异
一位深度学习工程师在社区提出了一个普遍存在的行业痛点：在频繁的“炼丹”实验中，往往事后难以回忆起特定的改动动机和结果细节。目前的 MLflow、Weights & Biases (W&B) 等主流工具仅能被动记录参数与指标，...
AI研究核心争论：提升模型性能究竟是靠“堆参数”还是“堆算力”？
这篇文章源自2021年的关键讨论，深入分析了大型语言模型（LLM）训练中的核心权衡：在固定计算预算下，是应该增加模型参数量，还是增加训练步数和数据量？研究表明，单纯追求参数规模并非最优解，通过更长时间的计算和更多数据训练较小的模型，往往能获...
深度学习即将迎来科学理论：从经验“炼丹”走向严谨的“学习力学”
这篇由 Jamie Simon 等多位作者联合撰写的论文提出，深度学习领域正在形成一套系统的科学理论。研究团队整合了当前理论进展的五大方向，包括理想化可解设置、宏观数学定律及跨系统普适行为等，并将其统称为“学习力学”。这一理论框架旨在通过可...
多模态AI新进展：TIPSv2通过增强“补丁-文本”对齐提升视觉语言预训练效果
TIPSv2 是一项针对视觉语言预训练（VLP）的最新研究成果，旨在解决现有模型在图像局部细节理解与文本语义对齐上的不足。该模型通过引入增强的“补丁-文本”对齐机制，将图像的细粒度特征（Patches）与相应的文本描述进行更精准的匹配。相比...