Cloudflare与GoDaddy联袂：为网站一切者筑牢AI爬虫管控防线

在互联网生态因AI智能体快速渗透而发生深刻变革的背景下，全球知名内容分发网络服务商Cloudflare与网络托管巨头GoDaddy宣布达成战略合作，共同构建AI与网站交互的规则框架。双方将通过技术整合与标准制定，帮助网站所有者重新掌握内容访问权，应对AI爬虫带来的流量流失与收益冲击。

此次合作的核心是GoDaddy将Cloudflare开发的AI爬虫管理工具嵌入其托管平台。该工具允许网站运营者自主设定AI访问权限，包括完全禁止、自由放行或要求付费访问三种模式。Cloudflare首席策略官Stephanie Cohen指出："我们正通过技术赋权，让创作者既能验证访问者身份，又能为合规AI提供安全交互通道。"这一举措直指当前AI搜索对传统网站流量的挤压——当用户通过AI概览等工具直接获取答案时，原始内容提供者的广告收入与转化率正急剧下降。

为平衡技术管控与生态发展，双方同步推进两项开放标准建设。其一是智能体名称服务（ANS），这个由GoDaddy主导开发的系统类似于AI领域的DNS，通过建立去中心化的智能体注册表，将AI实体与其控制方绑定，确保可追溯性与信任度。目前该系统已在GitHub开源，支持多协议接入。另一项标准是Cloudflare提出的Web Bot Auth认证体系，通过在HTTP请求中嵌入加密签名，使AI爬虫可自证身份。两家公司强调，这些技术组合将形成"默认透明"的智能体网络环境。

MIT计算机科学与人工智能实验室（CSAIL）发布的《2025 AI智能体指数》报告显示，现有AI机器人中63%会无视robots.txt协议，仅12%会主动披露安全信息。这种无序状态加剧了网站所有者的困境——据统计，全球约20%网站依赖Cloudflare的防护服务，而GoDaddy托管着超8000万个域名。两大巨头的标准推广若获成功，将覆盖相当比例的互联网基础设施。

技术管控的另一面是商业逻辑的重构。Cloudflare近年持续升级反爬虫技术，其2025年推出的"AI诱捕系统"可通过生成无限垃圾数据消耗非法爬虫资源。而要求AI付费访问的提议，则源于对流量价值重新分配的思考——当AI企业通过聚合网站内容获利时，原始创作者理应获得补偿。这种思路与Sam Altman提出的眼球扫描认证方案形成对比，后者因涉及生物信息采集引发争议，而开放标准路径被认为更具可行性。

尽管标准推广面临挑战，但行业共识正在形成。GoDaddy技术团队表示，ANS注册表已吸引多家AI初创公司参与测试，而Web Bot Auth的加密签名方案正与W3C标准组织协商纳入推荐规范。在这场人机交互规则的重塑中，如何既保护人类创作者权益，又避免技术壁垒阻碍AI创新，将成为持续博弈的焦点。