MiniMax 2.1 AWQ版实测：支持18.8万上下文，本地编程表现佳
Reddit社区推荐的MiniMax 2.1 AWQ量化版本表现亮眼。该模型针对MoE架构进行了深度优化，expert量化至W4A16，并使用侧重编程与DevOps的多语言数据集校准。实测显示，在vLLM 0.13.0环境下，该版本支持约1...
标签索引
量化技术
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
标签索引
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
Reddit社区推荐的MiniMax 2.1 AWQ量化版本表现亮眼。该模型针对MoE架构进行了深度优化，expert量化至W4A16，并使用侧重编程与DevOps的多语言数据集校准。实测显示，在vLLM 0.13.0环境下，该版本支持约1...