Claudeの価値表現をモデルと言語で比較する4軸

Anthropicは、Claudeの回答に現れる価値表現を、モデル世代と言語の違いから比較する研究を公開しました。3,307種類の価値を339項目へまとめ、約31万件の匿名化会話を4つの軸へ圧縮して傾向を測っています。

要点

• 4軸は「利用者への追従／慎重さ」「温かさ／厳密さ」「深さ／簡潔さ」「率直さ／実行志向」です。
• 分析対象は、主観的な課題を含む309,815件のClaude.ai会話で、Sonnet 4.6、Opus 4.6、Opus 4.7と上位20言語を均等に抽出しています。
• Sonnet 4.6は温かさと利用者への追従、Opus 4.7は厳密さ、慎重さ、深さ、率直さが相対的に強いと報告されています。
• 言語差では、ヒンディー語が温かさ、ロシア語が厳密さ、英語が慎重さと深さ、アラビア語が追従と簡潔さへ寄る傾向が示されました。
• 4軸が説明する変動は15%であり、個々の会話のばらつきや因果関係を説明し切るものではありません。

今回のブログ記事で語られていること

研究の問題意識は、転職や人間関係のように唯一の正解がない質問へClaudeが答えるとき、必ず何らかの価値判断が表れることです。Claudeの憲法は望ましい方向を大枠で示しますが、日々の膨大な会話に現れるすべての価値を列挙できません。Anthropicの以前の研究は、70万件の匿名化会話から3,000を超える価値を見つけました。今回は、その巨大な一覧を比較可能な少数の尺度へ変える方法を試しています。

まず3,307種類の価値を意味の近いもの同士でまとめ、339の高水準な価値へ整理しました。次に、利用者が主観的な課題を与えた309,815件の会話を、Sonnet 4.6、Opus 4.6、Opus 4.7とClaude.aiで多く使われる20言語の組み合わせからほぼ均等に抽出しました。プライバシーを保護する分析ツールが、各会話で339項目が現れたかをClaude自身に分類させ、利用者側の価値、課題、話題も記録しています。その後、同時に現れやすい価値を次元削減でまとめました。

得られた軸は、利用者の希望を受け入れる姿勢と危険を警戒する慎重さ、感情的な温かさと正確さを重んじる厳密さ、丁寧な掘り下げと依頼範囲だけに答える簡潔さ、不確実性を前面に出す率直さと成果を完成させる実行志向の4組です。両端は排他的ではなく、一つの回答が温かさと厳密さを同時に示すこともあります。会話全体でどちらの傾向が相対的に多いかを測る軸です。

モデル比較では、Sonnet 4.6が利用者を肯定し、ユーモアや安心感を示す傾向、Opus 4.7が前提へ異議を唱え、求められていない危険も警告し、理由や限界を説明する傾向として現れました。Opus 4.6は厳密さと簡潔さ、依頼範囲の実行へ寄るとされています。これらはAnthropic社内外で語られてきたモデルの「性格」に近く、分析軸が実際の応答差を一定程度捉えているという根拠に使われています。ただし、モデル間差は個々の会話で起きる変動より小さいと明記されています。

言語比較では、20言語で同じ価値プロフィールになりませんでした。最も大きい差は温かさと厳密さの軸で、アラビア語とヒンディー語は温かさ、英語とロシア語は厳密さへ相対的に寄りました。英語は慎重さと深さ、アラビア語は利用者への追従と簡潔さ、インドネシア語は実行志向、オランダ語は率直さが強いと報告されています。学習データ、言語ごとの知識や安全対応、文化的文脈など複数の要因が考えられますが、この分析だけで原因は特定していません。

数字の読み方にも注意が必要です。4軸が説明する価値表現の変動は15%で、残る大部分を単純化しています。分類自体にClaudeを使い、主観的課題の会話へ対象を限定し、利用者の課題・話題・価値を統計的に制御しています。したがって、「特定言語の利用者はこの価値を好む」「モデルの訓練方法が直接この差を生んだ」と断定する研究ではありません。今後、訓練判断や文化的文脈と観測差を結び付けて検証するための測定方法として位置付けられています。

背景にあるテーマ

モデル評価は正答率や安全拒否率だけでは足りず、同じ質問へどの程度注意深く、温かく、率直に答えるかも利用体験を左右します。多言語サービスでは、翻訳品質だけでなく、助言の調子や警告の出し方が言語間で不均衡になっていないかを継続的に測る必要があります。

今回のブログ記事が関係する人

Claudeを多言語で導入するプロダクト担当、モデル評価・安全性・公平性を担うチーム、対話品質を設計するユーザー体験担当、言語ごとの利用者体験を監査するガバナンス担当に関係します。

どう読むと価値があるか

モデルや言語へ固定的な性格ラベルを貼る研究ではなく、平均的な差を監視する測定器として読むと有用です。4軸と15%という説明範囲を保ったまま、自社の言語、業務、指示で同じ傾向が再現するかを検証する必要があります。

実務へのつながり

同じ業務シナリオを複数モデル・複数言語で実行し、正答だけでなく、不要な同意、過剰な警告、説明量、不確実性の表明を評価します。翻訳した一問だけで判断せず、助言、要約、苦情対応、意思決定支援など価値表現が現れやすい課題を含め、言語話者によるレビューを組み込みます。

結局、今回のブログ記事をどう読むべきか

Claudeの応答差を「雰囲気」で語らず、モデルと言語をまたいで測る試みです。結果そのものより、平均差が小さくても利用体験へ影響し得ること、4軸では全体の一部しか説明できないことを両方保って評価設計へ使うのが重要です。