开源《大模型数据工程》：填补从预训练到RAG的数据架构实战空白

针对当前大模型领域“重算法轻数据”的资料断层，一技术团队开源了《大模型数据工程》实战指南。该项目系统梳理了涵盖预训练数据清洗、多模态对齐、SFT数据合成及高可用RAG流水线的全链路架构，并选用了Ray Data、Spark等主流技术栈。作者旨在打破行业信息差，通过复盘实战踩坑经验，为处理PB级数据的工程师提供系统性参考，现诚邀行业专家对技术选型与架构设计进行评审。