标签索引

爬虫

这个标签下有 7 篇文章。按时间回看相关判断与实践记录。

标签精选

AI赋能逆向工程：Chrome插件自动解析API逻辑与爬虫代码生成

这是一款专为开发者设计的开源Chrome插件，旨在利用AI技术简化API逆向工程与爬虫开发流程。该插件能够实时自动捕获浏览器的Fetch/XHR请求，并通过AI大模型一键分析接口功能、推断字段含义及业务逻辑，解决了传统手动分析JSON的痛点...

2026-05-091 分钟阅读130 阅读

开发者 Peiiii 近日发布了开源项目 Nextclaw，这是对超轻量级爬虫工具 Nanobot 的 TypeScript 移植版本。作者认为原版 Python 项目虽然代码精简，但 OpenClaw 体系的安装配置门槛较高，且后续管理不...

2026-02-121 分钟阅读266 阅读

开发者 Gerd Hoffmann 宣布关闭其自 2011 年起运行的自建 Git 服务器，直接原因是疯狂的数据抓取 AI 爬虫。这些爬虫对服务器发起了海量的无效请求，直接压垮了其硬件资源。尽管作者此前已将主要代码仓库迁移至 GitHub ...

2026-02-111 分钟阅读165 阅读

wxpath 是一款创新的声明式网页爬虫工具，允许开发者直接在 XPath 表达式中定义抓取和遍历逻辑。通过引入 `url(…)` 和 `///url(…)` 语法，它能以单行代码实现深度网页抓取，无需编写繁琐的循环...

2026-01-211 分钟阅读209 阅读

开发者 aki66938 开源了全新的小红书采集项目 XHS_RS_TOOLS，旨在解决传统浏览器自动化方案资源占用高、易被封禁的问题。该项目采用 Rust 重构核心网络层以处理高并发请求，结合 Python 实现 Agent 签名与登录逻...

2026-01-211 分钟阅读325 阅读

DeepSeek官网的联网搜索功能表现卓越，能高效检索50+网页内容，回答复杂问题时形成小型DeepResearch。与开源方案相比，商业组合如SERP+JINA/Firecrawl成本高昂，推测DeepSeek内部采用自定义搜索接口、爬虫...

2026-01-061 分钟阅读241 阅读

这款创新的AI+爬虫工具彻底改变了网页监控方式，用户无需任何技术配置，只需输入网址和一句话说明，AI就能自动识别并监控页面变化。支持多种通知渠道，包括邮件、微信、短信和webhook，确保用户能及时收到更新提醒。免费账户可监控5个网站，适合...

2025-12-151 分钟阅读213 阅读