- Jane Streetと共同で、累積和・チャンク間の状態更新・出力計算を担う3つのカーネルを最適化
- PythonのcuTileでTensor Coreを活用し、巨大な中間状態の展開を避けて行列積として処理
- 減衰を対数空間の累積和で扱い、因果マスクで将来のトークンを除外する実装を提示。利用にはcuTileの実行環境要件の確認が必要

NVIDIAがCUDA TileによるMamba-2順伝播カーネルの最適化手法を公開