微软LLMLingua-2：AI Token优化新方案，节省近半成本

本文探讨AI模型使用中的token成本优化问题。作者首先介绍TOON格式在表格化数据中的应用，展示其能减少近四成token使用，同时保持准确率。随后，重点分析微软开发的LLMLingua-2工具，通过数据蒸馏技术，将prompt和KV-Cache压缩，实现token用量减少一半，且随着文本数量增加，压缩比率进一步提升。该工具支持长文本优化、与RAG高度兼容，并能正常对话输出和推理。LLMLingua-2提供GitHub链接，便于读者实践应用，是提升AI效率、降低成本的有效方案。文章呼吁读者分享使用经验，促进技术交流。