GB300 NVL72がDeepSeek-V3のMoE事前学習で性能記録

NVIDIAは、GB300 NVL72を256 GPU構成で使い、DeepSeek-V3相当のMoE事前学習でGPUあたり1,648 TFLOPSを記録したと発表しました。

要点

• 評価対象は671BパラメーターのDeepSeek-V3で、各トークンでは37Bパラメーターを有効化します。
• 256 GPUでGPUあたり1,648 TFLOPSを達成し、初期のGB200測定約606 TFLOPSから約3倍としています。
• NVLink、ConnectX-8、Quantum-X800／Spectrum-Xと、Megatron Coreなどのソフトウェア最適化を組み合わせた結果です。
• NVIDIAによるベンダーベンチマークであり、データ、精度、消費電力、費用、再現条件を含む総合比較ではありません。

今回のブログ記事で語られていること

評価にはDeepSeek-V3のMixture of Experts構成が使われています。モデル全体は671Bパラメーターですが、各トークンで有効になるのは37Bです。MoEは計算量を抑えながらモデル容量を増やせる一方、トークンごとに異なるエキスパートへデータを配る全対全通信が大きな負荷になります。NVIDIAは256基のGB300 GPUで、GPUあたり1,648 TFLOPSを達成したと説明しています。初期のGB200上の約606 TFLOPSと比べ約3倍で、そのうちハードウェア世代だけでなく、直近6カ月のソフトウェア改善が約1.5倍に寄与したとしています。

GB300 NVL72では第5世代NVLinkがGPUあたり1.8TB/s、ラック全体で130TB/sの帯域を提供します。ラック間には800GbpsのConnectX-8とQuantum-X800またはSpectrum-Xを使い、エキスパート間のデータ交換を支えます。Megatron Coreに加え、TorchTitanやJAXでも同じ最適化方向を利用できると説明されています。256から1,024 GPUへの拡張で97%を超えるスケーリング効率も示され、単一GPUの演算性能ではなく、ラック内外の通信とライブラリーを一体で調整することがMoE学習の鍵だと伝えています。

ただし、「世界記録」はNVIDIAが選んだモデル、精度、バッチ、システム、ソフトウェアでの結果です。学習損失や最終モデル品質、電力、冷却、クラウド費用、障害時の再開時間を含む総合評価ではありません。自社の学習計画へ適用する場合は、エキスパート数、系列長、データ並列・テンソル並列構成、ネットワーク占有率、チェックポイント時間を合わせて測る必要があります。GB200との倍率も、ソフトウェア版と初期測定条件が異なる可能性を踏まえて読むのが適切です。

今回のブログ記事が関係する人

大規模MoEモデルを訓練する研究者、GPUクラスタ設計者、ネットワーク・ライブラリー最適化担当、AIインフラ調達を判断する人に関係します。

結局、今回のブログ記事をどう読むべきか

MoE事前学習ではGPU単体より、通信階層とソフトウェアの共同最適化が性能を決めるという技術発表です。記録値は方向性の証拠として使い、自社モデルの品質・電力・費用を含む再現試験で判断する必要があります。