Cloudflare 最近通过 AI Gateway 推出了测试版 Web 搜索 API。它可通过 REST API 和 Cloudflare Workers 提供，提供统一的日志记录、访问控制和计费，并支持自带提供商密钥。
该 API 使 AI 代理能够从 Ceramic.ai、Exa 和 Linkup 检索实时网络结果。它提供统一的界面，将搜索计费与 AI Gateway 集成，记录搜索请求以及模型推理，并要求提供商遵循经过验证的机器人要求并返回源链接。
Cloudflare 的 Web Search API 允许 AI 应用程序检索当前的 Web 内容，包括最近的新闻、API 更改和技术文档，并在推理过程中将结果作为语言模型的上下文提供。 Cloudflare 集团产品经理 Michelle Chen、Cloudflare 高级总监 Sam Else 和 Cloudflare 高级系统工程师 Gabriel Massadas 解释了该公司正在努力解决的挑战：
当您使用代理并且需要获取实时网页时，代理通常只是猜测页面的 URL，然后调用工具来卷曲它。这就是为什么您有时会看到 Web 获取返回 404 Not Found，如果代理错误地猜测了该信息的 URL，就会发生这种情况。正如您可以想象的那样，一直随机猜测 URL 的效率并不高。
应用程序和外部服务可以通过 REST 端点访问 Web 搜索，方法是提供 AI Gateway 身份验证令牌并在请求负载中指定搜索提供程序，端点返回搜索结果。 Chen、Else 和 Massadas 补充道：
Web 搜索提供商使用的爬网程序必须符合我们的开发人员文档中定义的 Cloudflare 公开声明的“已验证机器人”要求，并且 Web 搜索响应必须包含指向已爬网内容位置的链接。这些规则对于公平的互联网来说是积极的，并允许创作者决定他们想如何处理他们的数据。
在一个流行的黑客新闻主题中，社区讨论了搜索质量、数据保留限制，以及统一的 API 是否比现有替代方案提供了有意义的优势。西蒙·威利森写道：
我关于搜索 API 的第一个问题始终是它们是否允许您存储和重新联合从它们获得的结果。如果我正在运行代理系统，但不允许我存储响应 – 或提供“共享记录”按钮 – 这是一个非常重要的限制。这个问题的答案不可避免地深埋在术语中。
Erato Labs 首席技术官兼联合创始人 Maximilian Goisser 指出：
我认为 Cloudflare（对于已经使用它的公司）正在接近受信任的主要云供应商（通常是 AWS、GCP、Azure）的地位，大部分云成本都是通过该供应商来计费的（因此您不必经历新的采购流程）。
Cloudflare 表示，它将识别支持零数据保留的提供商，并以提供商的标价提供搜索，无需额外加价。该公司计划将本机服务器工具添加到 AI Gateway，首先是网络搜索。在此之前，开发人员可以使用 Cloudflare Workers 将 Web 搜索集成到他们的工作流程中。
