GitHub新库SALOMI：直面极端低位Transformer量化中的“虚假繁荣”

一个名为SALOMI的研究库在GitHub上发布，专注于Transformer模型的极端低位量化技术。研究者 Edward9055 强调，该项目的核心价值并非简单验证“1-bit量化可行”，而是揭示了一个关键陷阱：基于相关性的重构指标可能看起来表现优异，但模型的端到端困惑度往往会彻底崩溃。此外，严格的比特参数计算推翻了许多早期关于亚1-bit量化的乐观结论。该仓库不仅包含代码和工具，还诚实保留了历史草稿和被修正的发现，为AI推理系统的研究者提供了极具参考价值的“负面案例”与严谨的评估视角。