Cloudflare、AIエージェント向け統合推論基盤を発表
- •Cloudflareの統合APIにより、12以上のプロバイダーが提供する70以上のモデルに接続可能。
- •インフラ刷新により、自動フェイルオーバーと複雑なワークフローでの遅延（レイテンシ）低減を実現。
- •コンテナ技術を活用し、ユーザー独自のカスタムAIを展開できる「Bring Your Own Model」機能を導入。
AIの進化スピードはかつてない速さに達している。開発者にとって、プログラミングや文章作成、データ分析といった特定のタスクに適したモデルを選定し、使い分けることは大きな課題だ。特に高品質なアプリケーションを構築する際、複数のAIを組み合わせて機能させる必要が増している。例えば顧客対応エージェントの場合、一次分類には安価な軽量モデルを、戦略策定には推論能力の高いモデルを使用し、実行にはまた別のモデルを選択するという使い分けが求められるからだ。
しかし、プロバイダーごとに異なる契約管理やコスト追跡、突然のサービス停止への対応は、開発チームにとって重い負担となっている。Cloudflareは、これを単一の推論層へと統合することで解決を図った。GoogleやOpenAI、Anthropicといった主要企業のモデルを含む70以上を一つのAPIに集約し、煩雑な運用業務を抽象化している。これにより、開発者は`AI.run()`コマンド一つでモデルを切り替え、一元化された環境でコストやログを管理できるようになった。
このアップデートは、複数のリクエストを連鎖させる「エージェント型」ワークフローを構築する開発者にとって特に恩恵が大きい。一連の処理の中で一部のモデルに遅延（レイテンシ）が生じれば、システム全体で致命的なボトルネックが発生し、ユーザー体験を損なう原因となるからだ。Cloudflareは世界330都市に配置されたインフラを活用することで、リクエストへの応答速度を最大化し、万が一の障害時にも自動で代替プロバイダーへ切り替えるフェイルオーバー機能を提供することで、安定した稼働を保証する。
さらに、開発者が独自に微調整したカスタムAIを利用できるよう「Bring Your Own Model」をサポートした。これは、機械学習モデルをコンテナ化するオープンソースツール「Cog」を統合することで実現されている。Pythonのバージョンやハードウェアの依存関係といった複雑な技術的制約を自動で処理し、モデルのパッケージングと展開を標準化する仕組みだ。
今回の刷新は、Cloudflareが単なるゲートウェイではなく、開発から本番環境への実装までを包括的にサポートするAIライフサイクル基盤へと進化しようとしていることを示唆している。