新报告评估主流 AI 爬虫行为 OpenAI 表现领先

一份新发布的记分牌报告开始追踪主流 AI 模型的网络爬虫行为，评估其是否遵守网络社区的最佳实践。该评估主要依据数个关键标准，包括是否公布并验证其 IP 地址、是否为不同用途使用独立的爬虫，以及是否严格遵守网站的 robots.txt 协议。

根据首批公布的数据，OpenAI 的爬虫在各项标准中表现最佳。Google 与 Meta 的爬虫也符合部分规范。相比之下，来自 Anthropic、Grok 和 ByteDance 等公司的爬虫则在多项关键指标上未能达标，其行为合规性被评为“不明确”或“否”。

goodaibots

📮分享投稿 ☘️频道 🍵茶馆