Autais がお届けするトピック。時事の事実・引用元付き短いまとめ(SEO 軽め・原則更新なし)。
CloudflareがグローバルネットワークでLLMを実行するための独自推論エンジン「Infire」と、モデル重みを15〜22%圧縮する「Unweight」技術を公開。コールドスタート20秒以内・スループット20%向上を実現し、70以上のAIモデルへの統一APIを提供するAI Gatewayも拡充した。
Cloudflare がグローバルネットワーク上で LLM を効率的に実行するための独自推論エンジン「Infire」を公開。複数 GPU をまたいだ高速推論・メモリ使用量の最適化・起動時間の短縮を実現するとしている。
目的に合った入口からお気軽にどうぞ。すべてカジュアル相談OKです。