/
网络爬虫 关键字列表
ChatGPT成为互联网最受阻止的爬虫机器人
根据Cloudflare 2025年度报告，ChatGPT的爬虫GPTBot是互联网上被阻止最多的机器人，而其最大竞争对手谷歌则是最被允许的爬虫。报告显示，非人类机器人现占互联网流量的56.5%，其中AI服务爬虫增长最快。不同网站对爬虫态度各异，一些希望获得流量，另一些则认为机器人在未给予充分补偿的情况下获取价值。在爬取与推荐比率方面，Anthropic的表现最差，达到10万比1。
AI 偏好控制：IETF 正在完善 robots.txt 以应对无视版权的 AI 爬虫
互联网工程任务组 (IETF) 成立了一个工作组，旨在制定新标准，让内容创作者能够向 AI 开发者表明是否允许使用其作品。该工作组将开发统一词汇表来表达作者和出版商对 AI 训练使用其内容的偏好，并探索将这些偏好附加到互联网内容的方法。这一举措源于当前系统的ineffectiveness，以及内容创作者对 AI 公司未经许可抓取内容的不满。
AI 爬虫尚未学会如何友好地与网站相处
SourceHut等网站面临AI爬虫过度抓取数据的挑战，导致服务速度下降。这些爬虫主要用于训练大型语言模型，但其行为往往不受约束。网站采取各种措施应对，包括封锁某些云服务提供商和部署反爬虫工具。然而，这些措施可能影响正常用户访问。AI爬虫的不当行为已成为一个普遍问题，引发了对网络资源使用和数据收集方式的讨论。
白皮书
京公网安备 11010802021500号
