CursorBenchが測るClaude Fable 5の長時間コーディング

AnthropicのClaude Blogは、Cursorが公開ベンチマークと利用者の実感のずれを補うために作ったCursorBenchと、Claude Fable 5を難しい長時間課題へ使い分ける事例を紹介しました。

要点

• CursorBenchは、スタックトレースと「直して」だけを渡す課題や、誤った原因を示す依頼など、曖昧な実務入力を含みます。
• Claude Fable 5はMax effortで72.9%を記録したとされていますが、CursorとAnthropicによる事例なので第三者評価ではありません。
• 正解だけでなく、意図の推定、根本原因の特定、修正、検証、報告までの一連の理解を評価しています。
• Cursorは、道筋が明確な作業には軽量モデルを使い、到達点や解法が不明な難問へFable 5を使う方針です。

今回のブログ記事で語られていること

記事の中心人物は、Cursorでモデル評価と挙動分析を担当するNate Schmidt氏です。Cursorは複数社のモデルを扱うため、公開ベンチマークの順位と、開発者が途中でモデルを切り替える実際の反応が一致しなくなったことを課題としました。そこでCursorBenchでは、要件が整理された問題だけでなく、スタックトレースへ「直して」とだけ書いた依頼、利用者が誤ったモジュールを原因として示す依頼などを出します。モデルは表面的に従うのではなく、意図を推定し、原因を見つけ、変更し、検証し、結果を報告する必要があります。

Claude Fable 5はMax effortで72.9%となり、同社評価の最高値を更新したと説明されます。Schmidt氏はスコアだけでなく、難問の推論記録を読み、他モデルが見つけられなかった解決へ少ない操作で到達する例を確認したと述べます。象徴的な試験として、宇宙飛行シミュレーターでロケットを月へ着陸させる一行の依頼を使っています。以前のClaude Opusは燃料と重量の局所的な失敗を繰り返しましたが、Fable 5は最初の飛行を低軌道の観測に使い、得た情報を次の試行へ反映し、数時間で着陸したとされます。この事例は能力の証明というより、長い目標を小さな探索へ分解する挙動を示すものです。

記事は、すべての仕事に高性能モデルを使う結論にはしていません。AからBへの道筋が分かる定型作業なら、安く速いモデルで足りる場合があります。出発点しか分からず、目的地や解法を探す必要がある問題、複雑なリファクタリング、長く棚上げされた再設計ではFable 5を選ぶという使い分けです。Cursorでは共有コードへ触る前にエージェントが他メンバーの最近のコミットを読み、競合を知らせる運用も紹介します。今後は数日から数週間にわたる無人バックエンド作業の限界を調べるとしています。

背景にあるテーマ

コーディングモデルの評価は、短い正答率から、曖昧な依頼を解釈し、長時間にわたり状態を保ち、検証まで終える能力へ移っています。同時に、費用と待ち時間に応じたモデルの使い分けが重要になります。

今回のブログ記事が関係する人

AIコーディングの評価担当、開発基盤チーム、Cursor利用組織、長時間エージェントへ難しい保守作業を委ねる開発者に関係します。

どう読むと価値があるか

Fable 5の優位性は共同事例の主張であり、自社で再現する必要があります。一方、曖昧な入力、誤った前提、検証、長時間の目標保持を評価セットへ入れる考え方は、モデル銘柄に関係なく利用できます。

実務へのつながり

過去に人が解決した難問を、定型、探索、長時間の三群に分け、成功率、手戻り、操作数、経過時間、費用、レビュー負担を測ります。高性能モデルは能力が制約になる群だけへ割り当てると費用対効果を比較しやすくなります。

結局、今回のブログ記事をどう読むべきか

Claude Fable 5の販促事例であると同時に、実務に近いコーディング評価の作り方を示す記事です。モデルの順位より、どの難しさにどのモデルを使うかという運用判断が読みどころです。