硬核实测：透过 Nginx 日志看 ChatGPT、Claude 与 Google AI 的抓取本质

本文作者通过自定义 Nginx 日志格式，对 ChatGPT、Claude、Perplexity 和 Google Gemini 进行了抓取行为实测。结果显示，OpenAI 和 Anthropic 会使用专属 User-Agent（如 ChatGPT-User）实时抓取网页，而 Google AI 则复用现有的 Googlebot 搜索索引，并无独立的实时抓取信号。文章明确区分了 AI 提供商的主动抓取与用户的点击行为，并指出混淆训练、索引与检索机器人是目前行业分析中的最大误区。