Firecrawl 自部署指南: 网页转 LLM Markdown、免费额度与 Docker 部署
做过 RAG 或者 Agent 的人，多半都卡在同一个地方：模型本身很聪明，但你喂给它的网页数据脏得没法看。 随便抓一个现代网页，原始 HTML 里塞满了导航栏、广告位、cookie 弹窗、内联脚本、追踪像素和层层嵌套的 <div&g...
标签索引
数据清洗
这个标签下有 3 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
DeepSeek 陷“贴吧味”风波，数据清洗短板暴露了 AI 落地的现实挑战
近日，有用户在测试 DeepSeek 专家模式时发现，面对一道简单的逻辑题，模型竟输出了带有明显贴吧社区风格甚至“粗口”的回复。这一现象迅速在技术圈引发热议，并被指可能源于训练数据中混入了未清洗的百度贴吧语料。作为国产大模型的佼佼者，Dee...
解决 PDF 痛点：开源 MinerU 转换脚本优化 RAG 数据集质量
针对 RAG 流程中 PDF 解析难、上下文易断裂的痛点，开发者发布了一款基于 MinerU 的开源后处理脚本。该脚本旨在解决 MinerU 输出文件中存在的 HTML 干扰信息和符号噪声问题，通过对 JSON 和 MD 文件进行二次解析、...