告别风控困扰：开发者开源基于 macOS 辅助功能 API 的小红书 CLI 工具
为了解决 AI Agent 在查询小红书时频繁遭遇的逆向接口风控和 CDP 检测问题，开发者开源了一款名为 ax-xhs-cli 的命令行工具。该工具不依赖网络协议破解或 JS 注入，而是创新性地利用 macOS Accessibility...
标签索引
反爬虫
这个标签下有 5 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
AI 读不懂微信公众号？手搓 SaaS 让 LLM 突破反爬虫壁垒
本文探讨了当前大语言模型（LLM）应用中的一大痛点：AI 难以直接访问受反爬虫机制保护的微信公众号内容。随着 AI 技术从单一模型向 Agent（智能体）演进，Web 获取与搜索能力变得至关重要。作者针对这一现状，分享了自己开发的一款 Sa...
Jina读不了带盾网页？技术社区热议AI读取Web内容的新替代方案
随着AI大模型对互联网数据需求的激增，如何高效抓取和解析网页内容成为开发者关注的焦点。近期，有开发者在技术社区Linux.do指出，常用的AI网页读取工具Jina Reader在应对带有反爬虫验证盾（如Cloudflare）的网页时表现不佳...
解决AI抓取痛点：社区免费分发60个Firecrawl Key，让Agent不再“幻视”
针对AI模型在抓取知乎、V2EX等设有反爬盾网站时遇到的数据缺失问题，Linux.do社区正免费分发60个Firecrawl API密钥。Firecrawl具备强大的反反爬虫能力，结合MCP协议，能为Claude、Grok等大模型提供准确的...
网站反爬虫升级：应对LLM训练数据爬虫激增
随着2025年初大量爬虫涌入网站收集LLM训练数据，网站管理员不得不加强反爬虫措施。这些爬虫多使用旧的浏览器用户代理，特别是Chrome版本，给网站服务器带来巨大压力。文章详细介绍了作者如何通过识别可疑浏览器版本来阻止这些爬虫，并特别指出a...