近日，一位科研工作者在V2EX分享了两份开放数据集：一份是2025年AI顶会论文数据集，收录11945篇论文，托管于HuggingFace平台；另一份覆盖2023至2025年的具身智能论文数据集，适合需要跨年份分析或关注机器人、具身智能方向的研究者使用。作者此前已发布过2023年和2024年的AI论文数据集，此次为年度更新。据介绍，数据集是作者借助自研文档解析工具Knowhere处理生成。学术论文虽然格式规整，但双栏排版容易串行，公式、图表与图注位置分散，附录与正文实验部分相距较远，人工整理成本高。Knowhere定位为AI-native解析器，可将原始文档转换为Agent可直接使用的材料，同时完成chunking与embedding处理，在节省约一半token消耗的同时保持解析质量。具体处理流程包括：先解析每篇论文，将正文拆分为带章节路径的内容片段；再重建完整章节树，标注每段内容属于方法、实验还是附录；随后由模型判断论文类型，提取研究问题、核心创新、方法、基线与实验结果；最终将结构化字段、原文片段和章节树一并存入数据集。这一设计保留了溯源能力，例如查看某方法提升5%的结论时，可沿章节路径回查原文，确认所用数据集、实验条件及结果来自主实验还是消融实验。作者建议将数据直接交给Agent，用于快速筛选论文、梳理技术路线、辅助技术选型或撰写综述报告。
事件分析
从技术层面看，这套数据集的亮点不止于规模，而在于学术文档的工程化处理方案。双栏排版、公式图表错位是RAG系统处理PDF时普遍面临的难题，章节树重建加结构化字段提取的流水线为文档解析中间件提供了可参考的实现思路，且保留原文溯源通道，区别于常见的摘要式数据集。产业层面，近1.2万篇顶会论文的结构化数据可直接服务于文献综述、技术趋势追踪与技术选型场景，降低从业者获取前沿信息的门槛；具身智能专题单独成集，也侧面反映该方向论文产出近三年的持续增长。后续走向上，围绕Agent的文档解析与知识供给正在形成独立赛道，解析质量与token成本将成为竞争焦点，这类结构化学术数据集亦可能被用作Agent能力评测基准，或带动更多垂直领域的开放数据集涌现。需留意的是，文中对自研工具Knowhere的介绍带有一定推广属性，数据集质量仍需使用者自行验证。
核心观点：AI论文本身不稀缺，稀缺的是能被Agent直接消化的结构化知识，文档解析正成为AI应用层的隐形基础设施。
原文链接：V2EX 分享发现
