AI时代爬虫开发新范式：利用HAR文件替代昂贵的浏览器控制

本文探讨了在AI Agent时代开发网络爬虫与自动化脚本的高效策略。文章指出，虽然传统的抓包工具如Reqable、Fiddler及浏览器Dev Tools仍是标准配置，但直接利用AI控制浏览器（如通过Browser Use或Web Access）进行探索存在效率低、Token消耗巨大的问题。针对这一痛点，文章提出了一种“人工探索 + HAR记录 + AI分析”的替代工作流。该流程的核心在于发挥人类在浏览操作上的速度优势，由人工完成业务流程并导出包含完整HTTP请求细节的HAR文件。由于HAR本质为JSON格式，大模型可直接解析或结合CLI工具快速清洗数据，提取认证机制、请求时序及参数依赖，最终生成精准的自动化脚本。这种方法规避了AI实时操作浏览器的冗余步骤，实现了开发效率与成本控制的平衡。

事件分析

💡 核心观点：AI开发不应盲目模拟人类点击屏幕，利用HAR文件让机器理解底层网络协议，才是降本增效的深层路径。