标签索引

显存优化

这个标签下有 8 篇文章。按时间回看相关判断与实践记录。

标签精选

榨干每块显存：LLM 底层显存优化

作者：toy GPU 显存是 LLM 推理与训练的硬约束，不是软性资源。当一个 70B 参数模型以 BF16 格式加载时，光是参数本身就需要约 140GB，单张 H100 的 80GB 显存根本装不下。工程师的任务不是抱怨硬件贵，而是理解显...

2026-05-30106 分钟阅读288 阅读

本文评测了基于llama.cpp的Qwen3.6-35B-A3B-APEX模型在消费级显卡上的部署表现。实测数据显示，通过高效的APEX量化，模型总显存占用控制在18.6GB左右，使其能在2080Ti等20G显存显卡上流畅运行。在信息抽取与...

2026-04-211 分钟阅读646 阅读

近日，一款名为 “Atomic Chat” 的开源项目在技术社区引发关注。该项目被宣传为 ChatGPT 的开源替代方案，主打 100% 本地离线运行。其核心亮点在于声称采用了 “Turbo Quant&...

2026-04-041 分钟阅读225 阅读

本文深入对比了Apple、ARM及ImgTec的三大硬件图像压缩方案，并与实时压缩库Spark进行了严谨的性能与画质测试。结果显示，ARM的AFRC格式在画质与性能上表现卓越，显著优于软件方案；Apple的Metal Lossy虽易于集成但...

2026-03-301 分钟阅读149 阅读

针对大规模 LLM 推理中 KV 缓存占用大量显存的问题，英伟达研究人员提出了一种名为 KVTC 的轻量级变换编码器。该技术借鉴经典媒体压缩算法，结合 PCA 特征去相关、自适应量化和熵编码，无需修改模型参数，仅通过简单校准即可实现高效的缓...

2026-03-221 分钟阅读140 阅读

本文介绍了名为Tauformer的新型拓扑Transformer架构，它通过图拉普拉斯导出的标量替代传统的点积注意力，将域结构直接注入模型。这种设计使KV缓存只需存储值和标量流，而非完整的键张量，实现了约50%的逐层缓存缩减。在H100上的...

2026-01-181 分钟阅读174 阅读

开发者ymcki通过引入MLA KV cache技术，成功对Kimi-Linear-48B-A3B大模型进行了极致优化。实测数据显示，在百万级上下文场景下，其F16 KV cache显存占用从140G骤降至15G。若配合KV量化技术，模型在...

2026-01-131 分钟阅读263 阅读

本文针对4GB显存NVIDIA显卡用户，测试了Z-Image-Turbo模型在ComfyUI环境下的图像生成性能。测试涵盖不同分辨率（512×512、768×768、1024×1024）和模型（gguf-q3、...

2025-12-221 分钟阅读187 阅读