
榨干每块显存:LLM 底层显存优化
作者:toy GPU 显存是 LLM 推理与训练的硬约束,不是软性资源。当一个 70B 参数模型以 BF16 格式加载时,光是参数本身就需要约 140GB,单张 H100 的 80GB 显存根本装不下。工程师的任务不是抱怨硬件贵,而是理解显...

作者:toy GPU 显存是 LLM 推理与训练的硬约束,不是软性资源。当一个 70B 参数模型以 BF16 格式加载时,光是参数本身就需要约 140GB,单张 H100 的 80GB 显存根本装不下。工程师的任务不是抱怨硬件贵,而是理解显...
随着Claude、GPT等大模型的普及,科研范式正在发生剧变。然而,一名深度学习研究者在Linux.do发帖吐槽,试图利用大模型将论文创新点迁移至代码时遭遇“滑铁卢”。相比于此前“拼凑代码”的传统模式,大模型辅助并未带来预期的实验效果,往往...

ECS / OSS / CDN / 云数据库一站采购,常用云资源集中选配;新用户与续费均有专场优惠,适合个人开发者与小团队长期使用。
本文深入探讨了大型语言模型(LLM)是否真正具备“理解”世界的能力。作者反对将LLM简单视为概率预测机器的观点,提出“理解”不应局限于人类认知模式,类比于猫狗等生物的非人类智能。文章同时指出了一个矛盾现象:尽管LLM基于不可解释的高维向量计...
这是一份体系极其完善的强化学习(RL)全套视频课程资源,旨在填补从理论到实践的巨大鸿沟。课程内容循序渐进,首先夯实线性代数、微积分及概率统计等数学基础,并详细讲解CUDA、PyTorch及Jupyter环境的搭建。核心技术部分深入剖析了马尔...
本文深入探讨了“Flow Maps”技术,这是对扩散模型(Diffusion Models)的一次重要视角升级。传统扩散模型通过预测切线方向逐步迭代去噪,计算成本高昂;而 Flow Maps 旨在直接预测路径的积分,即能够从噪声分布直接跳跃...
长期以来,神经科学界认为“一起激发的神经元连在一起”(赫布理论),这通常需要反复练习才能形成记忆。然而,科学家最新发现了一种名为“行为时间尺度突触可塑性”(BTSP)的机制。研究表明,大脑海马体中的树突电位可以在数秒内瞬间强化特定神经连接,...
一位深度学习工程师在社区提出了一个普遍存在的行业痛点:在频繁的“炼丹”实验中,往往事后难以回忆起特定的改动动机和结果细节。目前的 MLflow、Weights & Biases (W&B) 等主流工具仅能被动记录参数与指标,...
这篇文章源自2021年的关键讨论,深入分析了大型语言模型(LLM)训练中的核心权衡:在固定计算预算下,是应该增加模型参数量,还是增加训练步数和数据量?研究表明,单纯追求参数规模并非最优解,通过更长时间的计算和更多数据训练较小的模型,往往能获...
这篇由 Jamie Simon 等多位作者联合撰写的论文提出,深度学习领域正在形成一套系统的科学理论。研究团队整合了当前理论进展的五大方向,包括理想化可解设置、宏观数学定律及跨系统普适行为等,并将其统称为“学习力学”。这一理论框架旨在通过可...
TIPSv2 是一项针对视觉语言预训练(VLP)的最新研究成果,旨在解决现有模型在图像局部细节理解与文本语义对齐上的不足。该模型通过引入增强的“补丁-文本”对齐机制,将图像的细粒度特征(Patches)与相应的文本描述进行更精准的匹配。相比...