「Infrinia AI Cloud OS」とは？ ―次のAI時代を拓く、日本発のGPUクラウド基盤ソフトウェアが誕生！―［3ページ目］

〔3〕推論サービスのためのAPI提供とKubernetes隠ぺい

　推論用途としては、Kubernetesすら触ることなく、純粋な推論サービスをGPUクラウドとして望むユーザーも存在する。具体的には、ユーザーがLLMのモデルを選択する、またはもち寄るだけで、GPUやKubernetesを意識することなく、推論サービス用のAPI（Application Programming Interface）を利用する形だ。
　Infriniaは、これらの機能も併せもつ。
　Kubernetes上に推論サービスとAPIを搭載することができるので、Kubernetesの運用をGPUクラウド事業者自身が行うことで、ユーザーにはLLMモデルの選択とAPIのみを提供するというサービスを行うことができる。つまり、Inf-aaSが実現できるというわけだ。加えて同APIは、一般的なOpenAIの仕様と同じなので、ユーザーは接続先を変えるだけで、自己の推論基盤を簡単に乗り換えることができる（図5）。
　もちろんユーザー自身のKubernetesクラスタ上に推論APIを提供することも可能なので、ユーザーがGPUの利用規模を含めて自身で運用する形態もとることができ、GPUクラウド事業者は高い柔軟性をもったサービスを提供することができる。

図5　KaaSプラットフォーム上で最適化されているInf-aaS機能（推論環境）

〔4〕NVIDIA GB200シリーズを初期ターゲットに開発

　Infriniaは、NVIDIAの最新アーキテクチャ（構造）である「GB200 NVL72」を初期のターゲットとしている。この世代は、GPUを4基搭載した「トレー」を18枚搭載しており、合計72基のGPUがNVLinkというGPU間の高速ネットワークによって直接接続され、巨大なワークロードを高速に処理することができる。Infriniaには、この性能を最大限発揮するための設計も加えられている。
　Infriniaは、GPUを仮想化せずにベアメタル（仮想化されていない）状態でKubernetesに接続することでパフォーマンスを発揮する構造となっているが、これに加えてNVLink接続を最大限利用するための自動設定なども行われている。そのため、「トレーを複数枚利用したい」ユーザーは、必要な枚数を（柔軟に）確保できる。
　また、GB200 NVL72のラック内で、各トレーはNVLinkで高速に接続されているため、同一のラック内でトレーを確保すれば、性能は最大限発揮できる。そのため、例えばAIモデル学習に利用する際には、ユーザーはできる限り同一のラック内でトレーを確保したいと考えるだろう。
　しかし逆に、ユーザーがAI推論に利用する際には、個々の処理は1つのトレー内で完結できるほど短時間で終わるものの、大量のリクエストに対して並列に処理を行う場面も発生し得る。このためユーザーは、耐障害性を高めるために別ラックのトレーを確保したくなることも考えるだろう。
　Infriniaは、空いているGPUリソースを割り当てる際、AIモデル学習、AI推論のどちらのケースにも対応が可能であり、ユーザーニーズに柔軟にフィットするサービスを提供できる（図6）。

図6　InfriniaはAIモデル学習（性能重視）、AI推論（耐障害性重視）の両ユーザーに柔軟に対応