Spectrum-6が102.4Tbps EthernetでギガスケールAI基盤を接続

NVIDIAは、Vera Rubin世代の大規模AIファクトリー向けEthernetとしてSpectrum-6を発表しました。102.4TbpsスイッチとConnectX-9を組み合わせます。

要点

• Spectrum-6スイッチは102.4Tbpsで、前世代比2倍の帯域を掲げます。
• ConnectX-9、着脱式または光学部品一体型、液冷を組み合わせたネットワーク基盤です。
• CoreWeave、Microsoft、Nebius、SpaceX、xAI、Teslaが初期利用企業として挙げられています。
• 市販Ethernet比1.6倍、10万GPU超で95%効率、スイッチ数1.7分の1などはNVIDIAの条件下での主張です。

今回のブログ記事で語られていること

Spectrum-6は、Vera Rubinを数万〜10万GPU規模へ接続するEthernet基盤として設計されています。スイッチの総帯域は102.4Tbpsで前世代の2倍です。NICにはConnectX-9を組み合わせ、AI学習・推論で発生する全対全通信、集合通信、チェックポイント、ストレージアクセスを低遅延で処理することを狙います。CoreWeave、Microsoft、Nebius、SpaceX、xAI、Teslaが初期の採用・評価企業として紹介されています。

接続方式は着脱式光モジュールと光学部品一体型の両方を示し、設備の交換性と電力効率の選択肢を持たせます。高密度スイッチでは光部品と熱が運用課題になるため、液冷と一体で設計します。NVIDIAはフォトニクスにより電力効率5倍、平均故障間隔10倍を掲げていますが、配線距離、光源、交換方法、保守契約によって実際の可用性と費用は変わります。

性能面では一般的な市販Ethernetに対し1.6倍、10万GPU超の構成で95%を超えるネットワーク効率、必要スイッチ数を1.7分の1に削減すると説明しています。これらはNVIDIAのトポロジー、輻輳制御、ソフトウェア、ワークロードによる評価です。AIクラスタでは平均帯域だけでなく、末尾遅延、混雑時の公平性、障害切り替え、ケーブル交換、ストレージ通信との干渉が学習完了時間を左右します。導入側は同じGPU数でも、ジョブ配置、通信パターン、オーバーサブスクリプション、運用人員を含めて設計する必要があります。既存の配線や監視との互換性も、移行計画に含めるべきです。光学部品の交換手順と障害時の迂回経路も、平常時の帯域とは別に検証すると設計の弱点を見つけやすくなります。

今回のブログ記事が関係する人

大規模GPUクラスタ、Ethernetファブリック、光接続、データセンター冷却を設計するチーム、AIクラウドの性能と費用を調達する人に関係します。

結局、今回のブログ記事をどう読むべきか

10万GPU級をEthernetで効率よく動かすため、帯域、光、冷却、輻輳制御をまとめた発表です。仕様値ではなく、自社ジョブの通信分布と障害・保守を含む完了時間で比較する必要があります。