突破数据瓶颈：利用神经元胞自动机实现语言模型“预预训练”

针对自然语言文本数据即将耗尽且包含偏见的行业难题，最新研究提出了一种利用神经元胞自动机（NCA）进行“预预训练”的创新方案。该方案假设语言模型训练的关键在于数据结构而非语义，通过将NCA生成的复杂时空动态转化为令牌序列，强迫模型在语境中推断潜在规则以进行预测。实验结果显示，仅需1.64亿个NCA合成令牌，模型就能获得6%的困惑度增益及1.6倍的收敛速度提升，证实了高质量合成数据可有效替代自然语言用于AI基础能力的训练。