
榨干每块显存:LLM 底层显存优化
作者:toy GPU 显存是 LLM 推理与训练的硬约束,不是软性资源。当一个 70B 参数模型以 BF16 格式加载时,光是参数本身就需要约 140GB,单张 H100 的 80GB 显存根本装不下。工程师的任务不是抱怨硬件贵,而是理解显...

作者:toy GPU 显存是 LLM 推理与训练的硬约束,不是软性资源。当一个 70B 参数模型以 BF16 格式加载时,光是参数本身就需要约 140GB,单张 H100 的 80GB 显存根本装不下。工程师的任务不是抱怨硬件贵,而是理解显...
本文评测了基于llama.cpp的Qwen3.6-35B-A3B-APEX模型在消费级显卡上的部署表现。实测数据显示,通过高效的APEX量化,模型总显存占用控制在18.6GB左右,使其能在2080Ti等20G显存显卡上流畅运行。在信息抽取与...

ECS / OSS / CDN / 云数据库一站采购,常用云资源集中选配;新用户与续费均有专场优惠,适合个人开发者与小团队长期使用。
近日,一款名为 “Atomic Chat” 的开源项目在技术社区引发关注。该项目被宣传为 ChatGPT 的开源替代方案,主打 100% 本地离线运行。其核心亮点在于声称采用了 “Turbo Quant&...
本文深入对比了Apple、ARM及ImgTec的三大硬件图像压缩方案,并与实时压缩库Spark进行了严谨的性能与画质测试。结果显示,ARM的AFRC格式在画质与性能上表现卓越,显著优于软件方案;Apple的Metal Lossy虽易于集成但...
针对大规模 LLM 推理中 KV 缓存占用大量显存的问题,英伟达研究人员提出了一种名为 KVTC 的轻量级变换编码器。该技术借鉴经典媒体压缩算法,结合 PCA 特征去相关、自适应量化和熵编码,无需修改模型参数,仅通过简单校准即可实现高效的缓...
本文介绍了名为Tauformer的新型拓扑Transformer架构,它通过图拉普拉斯导出的标量替代传统的点积注意力,将域结构直接注入模型。这种设计使KV缓存只需存储值和标量流,而非完整的键张量,实现了约50%的逐层缓存缩减。在H100上的...
开发者ymcki通过引入MLA KV cache技术,成功对Kimi-Linear-48B-A3B大模型进行了极致优化。实测数据显示,在百万级上下文场景下,其F16 KV cache显存占用从140G骤降至15G。若配合KV量化技术,模型在...
本文针对4GB显存NVIDIA显卡用户,测试了Z-Image-Turbo模型在ComfyUI环境下的图像生成性能。测试涵盖不同分辨率(512×512、768×768、1024×1024)和模型(gguf-q3、...