英特尔推出AutoRound算法：让大模型在2-4比特超低精度下保持高性能
英特尔发布了一款名为AutoRound的先进大模型（LLM）与视觉模型（VLM）量化工具包。该技术利用符号梯度下降，能在2-4比特的超低精度下实现近乎无损的模型压缩，极大降低显存与计算需求。AutoRound不仅兼容Transformers...
标签索引
AutoRound
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
标签索引
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
英特尔发布了一款名为AutoRound的先进大模型（LLM）与视觉模型（VLM）量化工具包。该技术利用符号梯度下降，能在2-4比特的超低精度下实现近乎无损的模型压缩，极大降低显存与计算需求。AutoRound不仅兼容Transformers...