传奇程序员Fabrice Bellard推出了基于大语言模型的文本压缩工具ts_zip。该工具利用RWKV模型预测概率并配合算术编码,压缩率远超xz等传统工具,部分测试低至1.08 bpb。尽管目前依赖GPU且速度较慢,仅支持文本,但这标志着AI技术在数据压缩领域的重大突破与实际应用。
传奇程序员新作:基于大模型的文本压缩工具ts_zip发布
未经允许不得转载:80aj » 传奇程序员新作:基于大模型的文本压缩工具ts_zip发布
传奇程序员Fabrice Bellard推出了基于大语言模型的文本压缩工具ts_zip。该工具利用RWKV模型预测概率并配合算术编码,压缩率远超xz等传统工具,部分测试低至1.08 bpb。尽管目前依赖GPU且速度较慢,仅支持文本,但这标志着AI技术在数据压缩领域的重大突破与实际应用。