NVLink 6がAIファクトリーのラック内通信を260TB/秒へ拡張

NVIDIAは、AIファクトリーで多数のGPUを一つの計算機のように動かすスケールアップネットワークとして、NVLink 6の設計と性能を紹介しました。

要点

• NVLink 6はGPU当たり3.6TB/秒、ラック全体で260TB/秒の帯域を掲げています。
• 通信だけでなく、ラック内ネットワークで130TFLOPSの演算を担う設計が示されています。
• 大規模モデルの性能はGPU単体だけでなく、通信、ソフトウェア、障害復旧を含む共同設計で決まります。

今回のブログ記事で語られていること

生成AIモデルが一つのGPUに収まらない場合、パラメーターや計算を複数GPUへ分けます。このときGPUが計算を終えても、次の処理に必要なデータを待つ時間が長ければ、搭載した演算能力を使い切れません。NVLinkはラック内のGPU同士を高帯域・低遅延でつなぐスケールアップ用のネットワークです。NVIDIAが示したNVLink 6では、GPU当たりの双方向帯域が3.6TB/秒、ラック規模では260TB/秒に達します。大規模な学習や推論で発生する集合通信を、外部の一般的なネットワークだけに依存せず処理する狙いがあります。

さらに、ネットワーク内で130TFLOPSの演算を行う機能が示されており、データをGPU間で移すだけでなく、通信に伴う一部処理をネットワーク側へ移します。これにより、GPUが本来のモデル計算へ使える時間を増やす考え方です。一方、帯域の公称値だけで実際の処理時間は判断できません。モデルの並列化方式、メッセージサイズ、通信パターン、GPU利用率、ソフトウェアライブラリが性能を左右します。ラック規模が大きくなるほど一部部品の障害も通常の事象になるため、経路の冗長性、障害検知、処理の再開、保守時の切り離しも必要です。NVLink 6は単体部品の更新というより、GPU、スイッチ、ラック、通信ライブラリを一体で設計して大規模AIを動かす基盤として捉えるのが適切です。

設備計画では、ピーク時の学習だけでなく、小さな推論や後処理が同じラックをどう共有するかも確認します。通信が集中したときの待ち時間、障害でGPUが減ったときの性能、ジョブ再開に必要な時間を測ると、理論帯域を運用品質へ結びつけられます。既存クラスタとの接続方式や保守部品の交換手順も総費用に含める必要があります。

今回のブログ記事が関係する人

大規模モデルの学習・推論基盤を設計するインフラ担当、GPUクラスタ運用者、並列化と通信性能を最適化する機械学習エンジニアに関係します。

結局、今回のブログ記事をどう読むべきか

比較時はGPU数や理論演算性能だけでなく、実際のモデルにおける通信待ちと障害時の挙動を見る必要があります。NVLink 6の価値は、ラック全体を一つの計算単位として使える割合を高めることにあります。