Hacker News 上的一个讨论指出，大模型训练通常分为预训练与后训练两个阶段：预训练阶段已有 Common Crawl、The Pile 等大规模公开语料构成的’数据公共资源池’，任何研究者均可获取使用；而后训练阶段（包括监督微调、基于人类反馈的强化学习、偏好优化等）至今没有与之对等的公共数据集。高质量的后训练数据——如指令跟随样本、人类偏好对、推理链轨迹——基本掌握在 OpenAI、Anthropic、谷歌等头部实验室手中，被视作核心竞争力而不对外公开。社区虽有一些开放尝试，如 OpenAssistant、Tulu、UltraFeedback、LMSYS-Chat-1M 等数据集，但规模与质量同工业级数据存在明显差距。讨论认为，这种’预训练有公共池、后训练无公共池’的不对称，正在成为开源模型与闭源模型在对齐能力、指令遵循和推理表现上拉开差距的关键原因之一，同时也削弱了学术研究的可复现性。参与者还探讨了由公共机构或社区共建后训练数据集的可行性、数据贡献激励机制缺失，以及高质量标注成本高昂等现实障碍。
事件分析
从技术角度看，后训练数据的价值密度远高于预训练语料：一条高质量偏好对或推理轨迹对模型行为的塑造作用，可能超过数千条普通网页文本，这使其天然带有’护城河’属性，头部厂商缺乏公开动机。产业层面，数据不对称正在改变开源生态的竞争格局——模型权重开源但训练配方残缺，社区复现往往停留在’形似’阶段，开源追赶闭源的叙事面临数据这一结构性短板。可能的后续走向包括：政府或科研基金资助建设公共后训练数据基础设施；合成数据与模型自我博弈技术降低对人工标注的依赖；以及推理模型范式以可验证奖励替代人类偏好标注，部分绕开该瓶颈。短期内，后训练数据资产化、私有化的趋势仍将持续。
核心观点：算力和权重都能开源，后训练数据才是大模型真正的隐形护城河，数据公共品缺失将固化AI寡头格局。
原文链接：Hacker News
