AI训练数据污染问题：寻找50页纯净素材的探索

当前AI模型训练面临数据污染的挑战，一位开发者正在寻找未被大型语言模型学习过的50页PDF素材，用于对比测试半开源项目pageindex与text-embedding-3-small的性能。pageindex项目通过LLM创建索引以提高召回准确率，而寻找纯净素材的尝试反映了AI训练数据稀缺的现实问题。随着开源库和论文网站被广泛用于模型训练，获取真正’干净’的训练数据变得愈发困难。这一探索不仅关乎技术对比的准确性，更触及了AI发展中的一个核心瓶颈——高质量训练数据的获取。