标签索引

网络爬虫

这个标签下有 5 篇文章。按时间回看相关判断与实践记录。

标签精选

亚马逊Amazonbot更新：终于开始遵守robots.txt爬虫协议

针对亚马逊爬虫Amazonbot长期无视网站抓取规则的争议，最新动态显示其已开始严格遵守robots.txt协议。此前，该爬虫因在未获授权的情况下抓取网站数据用于AI训练而受到广泛批评。此次行为修正意味着网站所有者现在可以通过配置标准协议文...

2026-05-151 分钟阅读115 阅读

本文源于技术社区的深度探讨，核心议题是如何利用大模型技术突破传统爬虫的局限。一位开发者提出了构建“超级Web搜索”智能体的构想，该方案旨在赋予AI完全的设备控制权，使其能自主制定抓取策略、动态分析站点特征并优化专精爬虫，以应对特定议题下的短...

2026-05-121 分钟阅读64 阅读

一位技术博主在尝试利用 AI Agent 逆向俄罗斯航空网站时遭遇了滑铁卢。尽管动用了包括 GPT 5.4 和 GLM 5.1 在内的先进模型，但在面对浏览器指纹追踪、复杂的单图旋转验证码以及“No Bot”风控机制时，AI 表现得极为脆弱...

2026-04-231 分钟阅读180 阅读

微信公众号文章页面的滑块验证码常是数据抓取的难点，但最新发现展示了一种无需安装依赖的极简解决方案。该方案仅需一行 `curl` 命令，通过伪装成微信手机客户端的 User-Agent 即可轻松绕过验证。值得注意的是，文中关键的用户代理字符串...

2026-03-251 分钟阅读334 阅读

本文分享了一种利用 WebTop 容器在 Oracle Cloud 上为 OpenClaw 打造真实浏览器环境的解决方案。该方案通过封装 Linux 桌面环境，结合 Tailscale 与 socat 技术，让云端自动化工具能够模拟真人行为...

2026-03-221 分钟阅读255 阅读