Claude Opus 5.5 が 11/3 を境に変わった、という主張が SNS などで話題になりました。私たちはその前日の 11/2 に、Claude Code 2.1.316 と Opus 5.5 で小さな課題を測っていました。そこで、同じ版・同じ頼み・同じ数え方で 11/11 に回し直して比べる技術検証をしました。変わったかどうかは感じ方では決めにくいので、手元にあった前の値を物差しにした、という話です。

結論

  • 解けた数は変わりませんでした。11/11 の 16 回すべてで 3 問とも解け、11/2 の 8 回と同じです。
  • 出力トークンは、増えた所も減った所もありました(−25%〜+8%)。11/2 の中でも同じ形で 2 割以上揺れていたので、各 2 回では変わったとは言えません。
  • サブエージェントの出力の速さ(トークン/秒)は 2〜3 割台落ちました。ただし 11/2 は月曜の 11 時台、11/11 は水曜の 18 時台に回していて、時間帯の混み具合とは分けていません。
  • 2.1.316 と今の 2.1.322 のあいだに揃った向きの差はありませんでした。effort はどの回も high、モデルの名前は claude-opus-5-5 です。主張の中心の「考えの見た目」は測っていません。

試した環境

  • Mac
  • Claude Code 2.1.316(11/2 と同じ版)と、今の版の 2.1.322。どちらも公式の darwin-arm64 版を取り直し、manifest.json の checksum と照合しました
  • モデルは指定せず既定のまま(OpenTelemetry に出る名前は claude-opus-5-5)。--effort high
  • ユーザの settings.json と CLAUDE.md も読み込む形です。どちらも 11/2 の測定より前から変えていません
  • 推定費用は、Claude Code が OpenTelemetry に出す cost_usd(定価での見積もり)で、請求額ではありません。回したのはサブスクリプションの枠の中です

話題になった主張と反論

元の投稿によると、1 人分の Claude Code の 1,400 セッションを別のモデルに分析させたところ、11/3 を境に、モデルの名前は同じなのに推論の仕方が急に変わった、とされています。元のデータは公開されていません。投稿そのものは私たちの側から開けなかったので、中身は下の記事の引用と要約で確かめました。

反論もあります。経緯をまとめた記事は、画面に見えている「考え」は要約なので、要約を作る側が変わったのなら、見た目が変わってもモデルは変わっていない、という見方を紹介しています。Anthropic の extended thinking の文書にも、応答には要約された考え(summarized thinking blocks)が返ると書かれています。どちらの見方が当たっているかは、私たちの測り方では決められません。Anthropic からの答えは、どちらの記事の時点でも出ていないとされています。

測り方を書いた記事によると、感想ではなく測るのがよいとのことです。Claude Code の版を固定し、自分の小さな課題を持ち、モデルの ID・effort・トークン数を残して比べる、という勧めです。私たちの手元には、これに近い形の値がちょうどありました。

朝の光と夕方の光の中に並べた同じ課題の積み木と、そのあいだの砂時計と定規

比べる元にした 11/2 の測定

11/2 の値は、サブエージェントの深さを下げても費用は 5% しか減らない:Claude Code の CLAUDE_CODE_SUBAGENT_EFFORT を測った のときに測った物です。そこで回した形のうち、次の 2 つを比べる元にしました。

  • A: 親(effort high)が 1 つのメッセージで 3 つのサブエージェントを起こし、1 問ずつ配る。出力はサブエージェント 3 つの合計
  • D: 親(effort high)がサブエージェントを使わず、自分で 3 問を順に解く。出力は親の分

課題は、Python の solve() を書いて、用意したテストを通す物です。易しい 3 問(区間の結合・「1h30m15s」のような時間の文字列を秒にする・ローマ数字)と、少し難しい 3 問(四則の式の計算・ワイルドカードの照合・3[a2[c]] の展開)の 2 組があり、それぞれを形ごとに 2 回ずつ回しました。

次の図は、この検証でしたことと分かったことの流れです。11/2 の値を物差しにして、条件をそろえて回し直し、4 つの点を見ました。

11/2 の測定を物差しにして 11/11 に回し直し、4 つの点を見た流れ

速さが落ちて見えた所は、回した時間帯の違いと分けられていません。詳しくは下の結果で書きます。

回し方と数え方

起こし方は 11/2 と同じスクリプトで、変えたのは道具の置き場と結果の名前だけです。課題のフォルダは前と同じ中身で作り直し、何も書いていない solve() ではテストが全部落ちることを確かめました。最初に易しい・A を 1 回だけ回し、3 問とも解けて、親の出力が 11/2 と同じ 613 トークンだったのを見てから、残りを回しました。11/11 は、2.1.316 の 8 回に続けて 2.1.322 の 8 回を、1 回ずつ順に回しました。

claude -p "<頼み>" --effort high --output-format stream-json --verbose \
  --permission-mode dontAsk --allowedTools Agent Read Write Edit "Bash(python3 *)"
# D は Agent を許可から外し、--disallowedTools Agent を足す

数え方も同じです。次の環境変数で OpenTelemetry のログを手元の小さな受け口に送らせ、api_request のイベントを query_source ごとに足しました。親は sdk、サブエージェントは agent:builtin:general-purpose として出ます。

CLAUDE_CODE_ENABLE_TELEMETRY=1
OTEL_METRICS_EXPORTER=none
OTEL_LOGS_EXPORTER=otlp
OTEL_EXPORTER_OTLP_LOGS_PROTOCOL=http/json
OTEL_EXPORTER_OTLP_LOGS_ENDPOINT=http://127.0.0.1:4318/v1/logs
OTEL_LOGS_EXPORT_INTERVAL=2000

イベントには output_tokens・duration_ms・cost_usd・effort・model が付きます。出力・速さ・推定費用・effort・モデルの名前は、どれもこのイベントから取りました。解けた数は、終わった後に各フォルダのテストを回し、OK と出たかで数えました。

結果

どれも各 2 回の平均です。

出力トークン(A はサブエージェント 3 つの合計、D は親):

課題・形11/2(2.1.316)11/11(2.1.316)11/11(2.1.322)
易しい・A2,8442,9802,737
少し難しい・A4,3213,9094,006
易しい・D2,4632,6562,634
少し難しい・D5,1264,2063,864

経過時間(Claude Code を起こしてから終わるまで):

課題・形11/2(2.1.316)11/11(2.1.316)11/11(2.1.322)
易しい・A15.2 秒25.6 秒23.3 秒
少し難しい・A18.6 秒22.1 秒26.2 秒
易しい・D19.6 秒27.6 秒26.1 秒
少し難しい・D42.6 秒44.4 秒38.5 秒

推定費用(親とサブエージェントの合計):

課題・形11/2(2.1.316)11/11(2.1.316)11/11(2.1.322)
易しい・A$0.494$0.558$0.484
少し難しい・A$0.494$0.495$0.500
易しい・D$0.222$0.231$0.230
少し難しい・D$0.309$0.292$0.279

解けた数はどの回も 3 問とも

11/11 の 16 回すべてで、3 問ともテストが通りました。11/2 の A・D の 8 回も同じです。ただ、課題が小さく、どちらの日も全部解けているので、長い作業や難しい課題での出来はこの測定からは分かりません。

出力トークンは増えた所も減った所もある

出力トークンの平均。易しい・A は 2,844、2,980、2,737。少し難しい・A は 4,321、3,909、4,006。易しい・D は 2,463、2,656、2,634。少し難しい・D は 5,126、4,206、3,864。増えた所と減った所がある。

11/2 の平均から見ると、易しい・A は +5%・−4%、少し難しい・A は −10%・−7%、易しい・D は +8%・+7%、少し難しい・D は −18%・−25% でした(順に 2.1.316・2.1.322)。

いちばん大きく減ったのは少し難しい・D で、11/11 の 4 回(4,027・4,386・3,894・3,835)はどれも 11/2 の 2 回より少なめでした。ただ、11/2 の 2 回のあいだでも 4,580 と 5,671 で 1,091 トークン、小さい方から見て 2 割以上違っていました。同じ日・同じ版でもこれだけ揺れるので、各 2 回では変わったとは言えません。

A の親は 11/2 と同じく、要求 2 回・出力 613〜625 トークンでした。仕事の配り方は変わっていません。

サブエージェントの出力の速さは 2〜3 割台落ちた

A のサブエージェントの出力トークンを、その要求の duration_ms の合計で割り、出力の速さとしました。

サブエージェントの出力の速さ。易しい 3 問は 108、72、70 トークン/秒。少し難しい 3 問は 118、93、82 トークン/秒。11/11 はどちらの版も 11/2 より遅い。

易しい 3 問では 108 → 72(2.1.316)・70(2.1.322)トークン/秒、少し難しい 3 問では 118 → 93・82 トークン/秒で、21〜35% 遅くなっています。サブエージェントの要求の数も少し増えました。易しい 3 問で 10〜11 回から 10〜12 回、少し難しい 3 問で 10 回から 12 回(4 回とも)です。経過時間も、少し難しい・D の 2.1.322 を除いて 11/2 より長くなっています。

ただし、11/2 は月曜の 11 時台、11/11 は水曜の 18 時台に回していて、時間帯や曜日による混み具合とは分けていません。モデルの側が遅くなったのか、回した時間が違うせいなのかは、この測定からは言えません。

推定費用はおおむね 1 割以内

推定費用は、易しい・A の 2.1.316(+13%)を除いて、11/2 との違いが 1 割以内でした。

2.1.316 と 2.1.322 で揃った向きの差は無い

同じ 11/11 に回した 2 つの版を比べると、出力は 2.1.322 の方が少ない所(易しい・A、少し難しい・D)も、多い所(少し難しい・A)もありました。時間と費用でも、揃った向きの差はありませんでした。

effort とモデルの名前

OpenTelemetry のイベントを見ると、11/11 のどの回も、親・サブエージェントとも effort は high、モデルの名前は claude-opus-5-5 でした(会話の題を作る要求だけは claude-haiku-5-5)。11/2 の表でも、サブエージェントの effort は high です。とはいえ、元の主張は「名前は同じなのに変わった」というものなので、名前が同じというだけでは、どちらとも言えません。

Claude Code の変更履歴を見ると、2.1.317 で、メインの会話と違うモデルで動くサブエージェントとチームメイトの effort の決め方が変わっています。セッションの effort ではなく、そのモデルに保存された effort か、既定の effort を使うようになりました。今回の A はサブエージェントも親と同じ Opus なので、この変更には当たりません。

この測り方で言えること・言えないこと

主張の中心は「考えの見た目」が変わったことですが、私たちはそこを測っていません。11/2 の考えの文を残していないので、見比べようがありません。この測り方で言えるのは、「同じ小さな課題では、解けた数と出す量は変わっていない。速さは落ちて見えるが、時間帯と分けていない」というところまでです。

同じ物差しで比べるために残しておく物

11/2 の値は別の目的で測った物でしたが、版・課題・頼み・数え方がそろっていたので、そのまま比べる元にできました。こういう話が出たときに感想ではなく値で比べたいなら、次の物を残しておくと、同じ物差しを当てられます。

  • Claude Code の版を固定する。版の番号と、取った物の checksum を控えておく
  • 自分の小さな課題と頼みの文を、そのまま回し直せる形で置いておく
  • 回ごとに、解けた数・出力トークン・時間・モデルの名前・effort を残す。どれも OpenTelemetry の api_request から取れる
  • 速さは時間帯で変わりうるので、比べるときは時間帯や曜日もそろえる
  • 考えの見た目まで比べたいなら、その文も残しておく

確かめていないこと

  • 時間帯・曜日による速さの差。11/2 と同じ平日の 11 時台に回し直してはいません。
  • 考えの中身(画面に見えている要約の文)の変化。11/2 の文を残していません。
  • 長い作業や難しい課題での出来。今回の課題は小さく、どちらの日も全部解けました。
  • 回数。どれも各 2 回だけで、11/2 の中でも出力が 2 割以上揺れた形があります。
  • アカウントごとに段階的に変えている場合(一部の人だけ変わっている場合)。私たちは 1 つのアカウントだけを見ました。

おわりに

11/2 に測っていた小さな課題を同じ版で回し直すと、解けた数は同じで、出力の量も各 2 回では変わったと言えない程度の違いでした。小さな課題での話なので「変わっていない」とまでは言えません。それでも、版と課題と数え方を固定しておけば、こういう話が出たときにすぐ同じ物差しを当てられます。

※ Claude Code の振る舞いや変更履歴、モデルの名前、文書の記載は執筆時点の情報で、いまは変わっている可能性があります。