Snowflake Container Runtime 2.7、PyTorchの既定実行基盤をRay Trainへ変更

Snowflakeは、CPU版とGPU版のSnowflake Container Runtime 2.7を公開しました。ノートブックの操作性向上に加え、PyTorch学習処理の既定バックエンドが変わるため、既存の機械学習ジョブでは互換性確認が必要です。

要点

• Snowflakeノートブックで ipywidgets を利用できるようになった
• PyTorchバックエンドの既定がRay Trainへ変更された
• 従来の学習経路は環境変数で一時的に維持できるが、今後削除される予定
• TunerConfig のCPU割り当て既定値が明確化された
• get_session() がノートブックのデータベースとスキーマを上書きする問題が修正された

今回の更新で何が変わるのか

Container Runtime 2.7では、Snowflakeノートブック上で ipywidgets がサポートされました。スライダー、選択肢、ボタンなどを使ってパラメーターを調整しながら結果を確認する対話的なノートブックを作りやすくなります。データ探索やモデル評価の画面をノートブック内にまとめたいチームには利便性の向上です。ただし、利用できる個々のウィジェットや表示上の制約までは今回の短いリリースノートだけでは示されていないため、既存ノートブックを2.7環境で開いて表示と操作を確認する必要があります。

機械学習処理で最も影響が大きいのは、PyTorchバックエンドがRay Trainを既定で使うようになったことです。従来の学習経路を維持する場合は、環境変数 PYTORCH_USE_LEGACY_TRAINER=1 を設定できます。しかし公式情報は、従来経路が今後のリリースで削除される予定だとしています。この設定は恒久的な移行回避策ではありません。PyTorchの分散学習、チェックポイント、再開処理、ログ、GPU割り当てを利用しているジョブは、Ray Train経路で同じ結果と運用特性になるかを事前に検証したいです。

ハイパーパラメーター調整では、uses_snowflake_trainer=True の場合、TunerConfig の resource_per_trial が既定で {"CPU": 1} になりました。明示的なCPU指定がない試行でも、1試行当たり1CPUという前提が置かれます。並列試行数やCPU消費を既定値に任せていた処理では、実行時間と同時実行数を改めて測定する必要があります。GPUを含む独自の資源配分を使う場合は、既定値に依存せず設定を明示する方が安全です。

また、get_session() の呼び出しによってノートブックのデータベースとスキーマのコンテキストが上書きされる問題が修正されました。セッション取得後に意図しないデータベースやスキーマを参照する可能性を減らす修正です。更新後も、完全修飾名を使っていない処理では、実行開始時のコンテキストと実際の参照先をテストで確認しておきたいです。

実務で確認したいポイント

• 既存PyTorchジョブをRay Train経路で実行し、結果、性能、ログ、再開方法を比較する
• 従来経路を使うジョブと移行期限を一覧化し、環境変数への恒久依存を避ける
• TunerConfig のCPU・GPU割り当てと並列数を明示する
• ipywidgets を使うノートブックの表示、入力、保存、共有時の動作を確認する
• get_session() 呼び出し後のデータベース、スキーマ、権限を回帰テストする

結局、この更新をどう見るべきか

2.7は操作性の改善と不具合修正を含みますが、運用上の中心はPyTorchの既定バックエンド変更です。機械学習基盤担当者は、従来経路を残せる間にRay Trainへの移行検証を進め、資源割り当てと実行結果を明示的に管理する必要があります。