Devin、Claude Fable 5で8時間の無人開発を検証

Cognitionは、自律型ソフトウェアエンジニアDevinでClaude Fable 5を試験し、同社が夜間に無人で動かせると判断した初のモデルだと説明しました。最長8時間にわたり作業を継続し、データベース移行や障害調査で本番に残せるコードへ到達した事例です。

要点

• Cognition独自のFrontier Code最難関部分で、以前のOpusが約10%だったのに対し、Claude Fable 5は約30%を記録しました。
• 従来モデルは数分から長くても1時間ほどで文脈を失うことがありましたが、Fable 5は8時間連続で実作業を進めたとしています。
• 社内デバッグツールで大量ログを調べ、移行時の不変条件を先に示し、障害調査では不明点も明言した点を評価しています。

今回のブログ記事で語られていること

Cognitionは2024年初めにDevinを公開し、コードベース移行、未処理の不具合、後回しになった機能開発を自律型エージェントへ任せてきました。顧客は成長企業からFortune 500まで含まれるため、単にテストを通すコードではなく、下流へ静かな不具合を入れない本番品質を重視しています。

同社は初期からほぼすべてのClaude世代をDevinで試してきました。最初の大きな変化は2024年後半のClaude 3.6 Sonnetで、ツールを連続して使い、複数手順の課題を維持できたことです。導入後、Cognition内のDevin利用は3倍になりました。ただし、その後も長時間作業では文脈を失う限界が残っていました。

以前のモデルは、数分から長くても1時間ほどは課題を維持できても、複数の考慮事項を同時に渡すと混乱しやすかったとしています。あるデータベース移行では作業自体を完了したものの、細かな不具合を複数残しました。障害調査ではログの表面だけを見て、最初に見つけたもっともらしい原因を自信を持って断定する問題もありました。

Cognitionは外部ベンチマークだけでは採用を決めません。高い評価値を出したモデルが実際の開発で崩れる経験があったため、熟練開発者が新モデルを一日の実作業へ投入し、出力コードを本当に残せるかを判断します。同社独自のFrontier Codeも、テストだけ通る低品質なコードを評価しないために作られました。

Frontier Codeの最難関部分では、以前のOpusモデルが約10%だったのに対し、Claude Fable 5は約30%を記録しました。約3倍という差は大きいものの、評価問題数、信頼区間、他の部分の得点は記事に示されていません。Cognition自身も最初は不具合を疑い、実際の社内利用結果が数値と一致するかを確認しています。

最も重視されたのは、自律して作業できる時間の長さです。担当者は就寝前に課題を渡し、起床するまで止まらず進めるよう依頼しました。Fable 5は8時間連続で動き、実質的な進捗を残したとしています。これはすべての課題で8時間無人運転を保証する結果ではなく、Cognitionの環境と特定作業で得た事例です。

長時間維持の背景として、雑多な文脈でも判断を保った点が挙げられています。Fable 5はCognitionの内部デバッグツールを適切に使い、ブラウザーでログを順に調べ、ノイズの中から結論を組み立てました。以前のモデルが失敗した移行では、守るべき不変条件を先に言語化し、その条件に沿って実行しました。

障害調査では根本原因を絞り込み、分からないことも明言しました。Cognitionは、もっともらしい断定より、不確実性を示しながら調査を深めることが信頼回復につながったと評価しています。長時間動くことだけでなく、途中の仮説、根拠、未確認事項を人が追えることが重要です。

Devinでは、Slackのチャンネルを監視し、明示的に呼ばれなくても課題へ入る機能や、本番環境を監視して異常な増加を自動で一次調査する機能へ一部活用されています。担当者は、将来はエージェントセッションの90%が問題を自ら見つけ、コードベースを調べ、修正案を通知する能動型になると予測しています。これはCognition担当者の見通しであり、現在の利用比率ではありません。

事例はClaude Fable 5とDevinの組み合わせを扱います。Fable 5単体のAPIへ同じ指示を送り、任意の開発基盤で同じ8時間稼働や本番品質が得られるとは限りません。Devin側のツール、実行環境、履歴管理、評価、再試行、権限が結果へ影響します。

今回のブログ記事が関係する人

長時間のコード移行、未処理不具合、障害一次調査をエージェントへ任せる開発チーム、DevinやClaudeを評価する開発基盤担当、夜間・無人実行の権限と監視を設計するSRE・セキュリティ担当が対象です。

どう読むと価値があるか

• Frontier Codeの約30%と、実作業で8時間継続した事例を別の証拠として扱います。
• 作業時間だけでなく、残した差分、テスト、不変条件、根拠、不明点を評価します。
• 夜間実行では書き込み権限、外部操作、費用、停止条件、翌朝の確認責任者を決めます。
• Devinの実行基盤を含む結果を、Fable 5単体の一般性能へそのまま広げません。

実務へのつながり

人が完了結果を知っている中規模移行を選び、従来モデルとFable 5で同じ時間・権限・ツールを与えます。完了率だけでなく、変更行、テスト失敗、静かな不具合、ログ調査の深さ、再試行、介入回数を比較します。無人時間は1時間から段階的に延ばし、停止・復旧・翌朝レビューを確認してから本番課題へ進めます。

結局、今回のブログ記事をどう読むべきか

Cognitionの評価は、Fable 5がベンチマークだけでなく、雑多な文脈を持つ長時間の実開発でも改善したことを示します。ただし8時間稼働は環境依存の事例です。長い自律時間を価値に変えるには、ツール権限、途中経過、不確実性、差分レビューを同じ基準で評価する必要があります。