全能Agent工具箱fetch-everything：集成多技能抓取全网数据并生成Shopify格式
该项目推出了一套面向Claude Code及OpenClaw的高质量Agent技能合集，旨在解决AI获取互联网数据时的格式转换与登录态难题。工具箱集成了包括MinerU文档解析、网页正文提取在内的多种技能，并特别定制了Shopify商品爬虫...
标签索引
数据抓取
这个标签下有 9 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
开源AI聚合搜索神器：一键打通Gemini、Grok等七大引擎，免费获取微信抖音数据
开发者开源了名为“AI-Search-Hub”的创新工具，旨在解决单一AI搜索能力局限及数据获取难题。该工具能将单个查询同时分发至Gemini、Grok、豆包、元宝等7个主流AI搜索引擎，并统一回收结果。它巧妙利用各平台优势：Gemini覆...
解决AI抓取痛点：社区免费分发60个Firecrawl Key，让Agent不再“幻视”
针对AI模型在抓取知乎、V2EX等设有反爬盾网站时遇到的数据缺失问题，Linux.do社区正免费分发60个Firecrawl API密钥。Firecrawl具备强大的反反爬虫能力，结合MCP协议，能为Claude、Grok等大模型提供准确的...
告别 Token 浪费：本地 Bookmarklet 抓取方案升级，完美适配 AI 输入
针对现有 URL 抓取服务（如 Jina、Firecrawl）在 Token 浪费和鉴权方面的短板，作者发布了一款升级版 Bookmarklet（书签脚本）。该工具允许用户直接在浏览器本地将网页可视文本（如技术文档）转化为 Markdown...
告别写爬虫：Meter.sh 让任何网站秒变实时结构化数据 API
Meter.sh 是一款新兴的自动化数据提取工具，旨在解决从非结构化网页获取数据的难题。用户只需输入网址并描述所需信息，即可获得标准化的 JSON 数据输出，无需编写和维护复杂的爬虫脚本。该服务支持自定义监控频率，当网页内容发生变化时，能通...
AI爬虫无视协议引发众怒，网站宣布不再支持退出机制
近期关于“不支持退出表单”的文章引发热议，揭示了网站所有者与AI公司之间的紧张关系。Hacker News评论指出，包括OpenAI和百度在内的AI爬虫正频繁绕过Cloudflare等安全防御，对服务器发起每分钟数千次的高频请求，甚至攻击不...
Spotify秘密胜诉，法庭下令查封影子图书馆Anna's Archive域名
Spotify联合索尼、华纳等唱片巨头秘密起诉影子图书馆Anna’s Archive，成功获得法院令强制查封其.org域名。为防止该网站公开发布此前抓取的300TB音频数据，法院特意在封禁生效后才通知运营方。目前法院已下达初步禁...
Google起诉SerpApi非法抓取搜索数据
Google今日对SerpApi提起法律诉讼，指控其绕过安全措施，非法抓取Google搜索结果中的版权内容。SerpApi通过伪装、大量机器人网络和动态名称等技术手段，大规模抓取包括知识面板图片和实时数据在内的内容，并转售获利。此举侵犯了网...
无需编程，AI辅助轻松抓取小红书、B站、抖音等平台数据
BrowserWing是一款免费开源的可视化工具，通过AI辅助技术帮助用户录制网站操作并捕获数据，无需编写任何代码即可抓取小红书、B站、抖音等热门平台的数据。这款工具作为浏览器Agent，能够显著提高数据采集效率，为科技工作者和研究人员提供...