负温度采样：当LLaMA生成温度降至零下，结果极度怪异
本文受统计力学中“负温度”概念启发，尝试在LLaMA模型中设置温度参数T=-0.001进行采样。作者阐述了Softmax函数与玻尔兹曼分布的数学联系，指出负温度在物理上代表高能态概率反转。实验结果表明，这种采样方式能极大抑制常见词汇，强制模...
标签索引
统计力学
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
标签索引
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
本文受统计力学中“负温度”概念启发，尝试在LLaMA模型中设置温度参数T=-0.001进行采样。作者阐述了Softmax函数与玻尔兹曼分布的数学联系，指出负温度在物理上代表高能态概率反转。实验结果表明，这种采样方式能极大抑制常见词汇，强制模...