Leanstral 1.5 が広げる証明作成とコード検証

Mistral AI は、Lean 4 向けの証明作成モデルである Leanstral 1.5 を発表しました。Apache-2.0 ライセンスのモデルとして、形式検証とコード検証の実用性を押し出しています。

要点

• Leanstral 1.5 は 119B 総計 / 6B 有効パラメータの Apache-2.0 ライセンスモデルとして公開されています。
• miniF2F、PutnamBench、FATE-H/X、FLTEval での評価と、実コード検証の事例が示されています。
• Hugging Face の重み、無料 API エンドポイント、Mistral Vibe での利用手順が案内されています。

今回のブログ記事で語られていること

この記事は、Lean 4 での証明作成を広げるモデルとして Leanstral 1.5 を紹介しています。Mistral は、Leanstral 1.5 を 119B 総パラメータ、6B 有効パラメータの無料 Apache-2.0 ライセンスモデルと説明し、形式検証を研究用途だけでなく実践的な証明作成に近づける発表として位置づけています。性能面では、miniF2F を検証用・テスト用ともに 100% まで解き、PutnamBench で 672 問中 587 問を解き、FATE-H 87、FATE-X 34 の最先端結果を示したと説明しています。単なる数学ベンチマークだけでなく、FLTEval という実際の pull requests 由来のベンチマークもオープンソース化し、pass@1 と pass@8 の改善を示しています。

学習については、中間学習、教師ありファインチューニング、CISPO を使った強化学習の三段階が説明されています。複数ターン環境では定理文に対して証明または反証を提出し、Lean コンパイラのフィードバックを受けながら修正します。コードエージェント環境では素のファイルシステム上でファイルを編集し、bash コマンドを実行し、Lean 言語サーバーからゴール、エラー、型情報を見て、長期タスクに取り組みます。これは、証明を一発で生成するモデルというより、コンパイラとツールのフィードバックを使いながらリポジトリ内で証明作成を進めるエージェントに近い設計です。

記事の実務的な見どころはコード検証の事例です。AVL 木の時間計算量証明では、挿入と削除が対数時間であることを Leanstral 1.5 が長いトークン予算と圧縮を使って証明したと説明されています。不具合発見では、Aeneas で Rust コードを Lean に変換し、Leanstral が利用者の意図と正しさの性質を推定して証明を試み、失敗時には否定も試すパイプラインを使っています。57 リポジトリで 47 件の違反性質を検出し、そのうち 11 件が本物の不具合、5 件が未報告だったとされています。datrs/varinteger の zigzag 復号におけるオーバーフローの例は、テストやファジングで見落とされる端ケースを形式検証が拾えることを示しています。

背景にあるテーマ

AI コーディングの関心は、コード生成だけでなく、生成物や既存コードの正しさをどう証明・検証するかへ広がっています。Leanstral 1.5 は、形式手法をエージェント型ワークフローと結びつける発表です。

今回のブログ記事が関係する人

形式検証に関心がある開発者、重要ソフトウェアを扱う基盤チーム、AI コーディングエージェントの品質評価を行うチーム、Lean 4 や定理証明を使う研究者に関係します。

どう読むと価値があるか

この記事はベンチマーク結果だけでなく、コンパイラのフィードバック、ファイル編集、言語サーバー、長い文脈、不具合発見パイプラインを組み合わせたワークフローとして読むと価値があります。導入側は、どのコードベースに形式的な性質を書けるか、誤検知をどうレビューするか、証明コストをどう管理するかを確認したいです。

結局、今回のブログ記事をどう読むべきか

Leanstral 1.5 は、AI モデルが証明を書くという話を、実際のリポジトリとコード検証に近づける発表です。すぐに全開発へ広げるものではありませんが、重要なアルゴリズムやライブラリの検証には試す価値があります。