2026-07-02
Cloudflare新规要求AI公司为内容付费，混合爬虫将被默认拦截
Cloudflare宣布，自2026年9月15日起，将默认屏蔽"混合用途"爬虫访问含广告页面，要求AI公司将用于传统搜索的爬虫与用于AI训练及智能代理的爬虫分开。此举影响AI模型提供商获取网页内容的方式。同时，Cloud...
2026-05-14
为何我开始通过住宅网络测试自动化脚本
作者在为仓储自动化项目构建数据采集工具时，因频繁使用数据中心IP导致被封禁或收到虚假数据。在尝试多个代理服务失败后，转向住宅网络代理，72小时内成功率从61%提升至95%。文章介绍了住宅IP与移动代理的分工使用策略，以及...
2026-02-26
SerpApi反击谷歌法律诉讼案
网络爬虫大战愈演愈烈。谷歌12月起诉网络爬虫公司SerpApi，指控其API工具绕过安全措施获取搜索结果，为AI大语言模型提供训练数据。SerpApi于2月20日在加州法院申请驳回诉讼，声称谷歌试图"武器化数字千年版权法...
2025-12-17
ChatGPT成为互联网最受阻止的爬虫机器人
根据Cloudflare 2025年度报告，ChatGPT的爬虫GPTBot是互联网上被阻止最多的机器人，而其最大竞争对手谷歌则是最被允许的爬虫。报告显示，非人类机器人现占互联网流量的56.5%，其中AI服务爬虫增长最快...
2025-04-10
AI 偏好控制：IETF 正在完善 robots.txt 以应对无视版权的 AI 爬虫
互联网工程任务组 (IETF) 成立了一个工作组，旨在制定新标准，让内容创作者能够向 AI 开发者表明是否允许使用其作品。该工作组将开发统一词汇表来表达作者和出版商对 AI 训练使用其内容的偏好，并探索将这些偏好附加到互...
2025-03-19
AI 爬虫尚未学会如何友好地与网站相处
SourceHut等网站面临AI爬虫过度抓取数据的挑战，导致服务速度下降。这些爬虫主要用于训练大型语言模型，但其行为往往不受约束。网站采取各种措施应对，包括封锁某些云服务提供商和部署反爬虫工具。然而，这些措施可能影响正常...