Genie Codeが401件の実データ作業で精度と費用を比較

Databricksは、Genie Codeと三つの汎用コーディングエージェントを、実利用から作った401件のデータ作業で比較しました。

要点

• Genie Codeは比較対象中で最も高い精度と最も低い費用を示したと報告しています。
• カタログの意味検索と永続的な業務文脈が、無差別な探索を減らします。
• 社内評価であるため、自社データと業務定義による再評価が必要です。

今回のブログ記事で語られていること

評価対象は、資産探索、コードや問い合わせの作成・修正、障害調査、既存コードの説明、表から正確な数値を取得する作業など、社内利用から切り出した401件です。各エージェントへ一件20分の上限を与え、独立した判定役が正しさと有用性を採点し、時間切れは失敗としました。全候補は同等階層のモデルとDatabricks MCPを使っています。

Genie Codeは、カタログと作業領域の意味検索、利用者が頼る表や業務ロジックの記憶を使い、必要な資産を早く見つけます。平均ツール呼び出しは8.3回で、汎用エージェントが巨大な表を順に調べて時間切れや高費用になる「無作為探索」を減らしました。中央値の費用は0.34ドル、99百分位2.72ドル、最大3.87ドルで、2ドルを超えた作業は4％でした。

一方、他候補は一件1ドル超が33〜40％で、ある候補は最大9.49ドルでした。記事は精度を上げるには探索を長くすべきという見方に対し、正しい企業文脈があれば少ない呼び出しで精度と費用を同時に改善できると主張します。ただし製品提供者による社内評価であり、具体的な候補名や完全な再現条件には限界があります。

導入側は、表名を明示しない質問、古い文書と新しい定義が競合する質問、権限外資産を含む質問で評価します。費用だけでなく正答一件あたりの費用、長い尾の発生率、誤った資産を選んだ理由を記録すると、自社環境で意味情報の効果を判断できます。

評価集合には、日常的な簡単作業だけでなく、利用頻度は低くても誤答の影響が大きい経営指標や権限境界を含めます。正解を一つに定めにくい探索作業では、参照すべき資産と避けるべき古い資産を人が注記し、最終文章だけでなく探索経路も採点します。

今回のブログ記事が関係する人

DatabricksのAI/BI導入担当、データカタログ管理者、エージェント費用と品質を評価するチームに関係します。

結局、今回のブログ記事をどう読むべきか

大きな企業データ空間では、モデル性能だけでなく意味情報への近道が精度と費用を決めるという評価です。自社の曖昧な業務質問で同じ傾向が出るかを再現して判断すべきです。