跳到主要内容
赞助推荐 Claude Team 合租,少折腾账号
>80aj_
前沿哨所

MiniMax 2.1 AWQ版实测:支持18.8万上下文,本地编程表现佳

1 分钟阅读阅读(372)
赞助推荐 团队协作里的 AI 办公工作台

Reddit社区推荐的MiniMax 2.1 AWQ量化版本表现亮眼。该模型针对MoE架构进行了深度优化,expert量化至W4A16,并使用侧重编程与DevOps的多语言数据集校准。实测显示,在vLLM 0.13.0环境下,该版本支持约18.8万长上下文,解码速度达80-100 tokens/s,且在自动化编译修复等DevOps场景中表现出色,为本地部署提供了兼顾性能与精度的优质选择。

原文链接:Linux.do

赞助推荐 一人公司 · 创业装备库
赞助推荐 一人公司 · 创业装备库
赞助推荐 一键部署 AI 大模型
赞助推荐 一键部署 AI 大模型
赞(0)
未经允许不得转载:80aj » MiniMax 2.1 AWQ版实测:支持18.8万上下文,本地编程表现佳
赞助推荐 低成本上手 Claude Code 的中转选择
赞助推荐 低成本上手 Claude Code 的中转选择
赞助推荐 一键部署 AI 大模型
赞助推荐 一键部署 AI 大模型