标签索引

模型量化

这个标签下有 11 篇文章。按时间回看相关判断与实践记录。

标签精选

推理慢不在语言慢，慢在加载、量化和调度

你可能听过一个直觉：C++ 比 Python 快很多倍，所以 llama.cpp（C++ 写的）应该比 vLLM（Python 写的）快很多倍。实测打脸——同一个模型同一张卡，vLLM 在不少场景下比 llama.cpp 还快。这就是 Ca...

2026-05-2812 分钟阅读120 阅读

一款名为Hy-MT 1.8B的翻译模型因其极致的性价比引发热议。该模型通过1.25bit量化技术，将体积压缩至仅440MB，但在实测中，其加载速度与翻译质量在“沉浸式翻译”插件上均表现优异，甚至超越了谷歌翻译等云端大模型。即使换用体积更大的...

2026-04-301 分钟阅读73 阅读

一位开发者利用 llama.cpp 成功将 35B 参数规模的 Qwen 3.6-A3B 模型部署到仅 11GB 显存的 RTX 2080Ti 显卡上。得益于 IQ1_M 超强量化技术，该模型实现了 128k 长上下文处理能力，单并发速度达...

2026-04-261 分钟阅读456 阅读

近日一份关于 Qwen3.6 模型的基准测试显示，在 CUDA 核心与内存带宽受限的硬件环境下，Qwen3.6-35B-A3B（MoE 混合专家模型）的推理性能显著优于 Qwen3.6-27B（Dense 稠密模型）。在模拟线上流量的固定 ...

2026-04-241 分钟阅读198 阅读

AI 初创公司 PrismML 宣布推出首批“商业可行”的 1-bit 权重大语言模型——1-Bit Bonsai 系列。该模型基于加州理工学院的突破性研究，通过极致的量化技术，在不牺牲精度的前提下实现了极高的智能密度。数据显示，其 8B ...

2026-04-011 分钟阅读425 阅读

这是一篇由ngrok技术专家撰写的硬核技术教程，全文字数超过6600字。文章旨在为开发者提供一个关于AI模型量化的“从零开始”的全面视角。它深入浅出地讲解了量化的数学基础、实现细节以及在现代AI开发流程中的核心作用。通过系统掌握这一技术，开...

2026-03-261 分钟阅读143 阅读

一位开发者成功克服了PlayStation 2仅32MB内存的硬件限制，在真机上运行了自研的10M参数语言模型。其核心创新在于“流式加载”：在推理过程中从CD-ROM逐矩阵读取权重，仅在内存中保留激活值和KV缓存，从而突破物理内存瓶颈。为此...

2026-03-251 分钟阅读174 阅读

本资源体系化地拆解了大模型（LLM）推理优化的关键技术路径。内容涵盖从基础推理原理、KV Cache机制到PagedAttention、FlashAttention等运行时加速方案；深入剖析了AWQ、GPTQ等模型量化与压缩技术，并提供了v...

2026-03-161 分钟阅读246 阅读

该项目展示了极致的模型优化技术，成功在ESP32这一低成本微控制器（MCU）上部署了个人AI助手。通过先进的量化手段，系统总资源占用被严格控制在888KB以内，实现了完全离线的本地推理。这一突破打破了传统AI对高性能GPU和云端算力的依赖，...

2026-02-221 分钟阅读253 阅读

本文分享了一份深度硬核的《LLM推理优化与部署实战》课程资源，系统性地涵盖了大模型推理的底层原理与工程实践。内容不仅详细解析了KVCache机制、预填充与解码阶段、PagedAttention及FlashAttention等核心加速技术，还...

2026-02-111 分钟阅读138 阅读