新型AIは、カタログではなくテストベンチで選ぶ——元エンジン認証屋が、3つのモデルを試験にかけた記録

先週、Claude Sonnet 5 という新しいAIが使えるようになりました。前後して、さらに上位の Fable 5 も使えるようになりました。新型が出るたびに性能スコアの比較記事が流れ、「うちも乗り換えるべきでしょうか」という相談が届きます。

その気持ちは、よく分かります。ただ、私はこの手の数字を、そのまま乗り換えの判断には使いません。

私は以前、日野自動車で16年、ディーゼルエンジンの排出ガス認証と品質保証の仕事をしていました。エンジンの世界には、はっきりした文化があります。カタログの数字は、信じない。テストベンチで、自分で測る。 カタログが嘘だという意味ではありません。カタログの数字は「決められた条件」での値であって、お客様の使い方での値ではない、という意味です。カタログ燃費と実際の燃費が違うことは、車に乗る方なら誰でも知っていると思います。

AIの性能スコア(ベンチマーク)も、同じです。あれは「決められたモード走行」の成績です。あなたの会社の仕事という実走行で、どう振る舞うかは、書いてありません。

だから、測りました。この一週間、AIをテストベンチにかけた記録です。少し長くなりますが、たとえ話をまじえて、順に書きます。

試験の設計——3つの車格と、3段階の点検

測ったのは、Anthropic社の現行3モデル(Sonnet 5・Opus 4.8・Fable 5)と、比較用の一つ前の世代(Sonnet 4.6)。延べ30回あまり動かしました。

車で言えば、モデルの違いは車格です。

• Sonnet 5 は、毎日の配送を担う2トン車。速くて、安い。
• Opus 4.8 は、大きな荷物を任せる10トン車。
• Fable 5 は、特殊な大型輸送車。力はあるが、遅くて、高くて、運行に条件が付きます(後述)。

もう一つ、いまのAIには「どれだけ深く考えさせるか」という設定があります。低・高・Max。これは車格とは別の軸で、たとえるなら出発前の点検にかける時間です。

• 低は、日常点検だけで、すぐ出発。
• 高は、いつもより念入りに点検してから出発。
• Maxは、毎回、車検並みの総点検をしてから出発。当然、遅くて高い。

トラックが、点検ゼロで公道に出ることはありません(日常点検は法律上の義務です)。AIも同じで、低でも最低限は考えています。違いは、出発までに、どこまで深く見るか、です。

課題は三種類、用意しました。①必要な材料が全部書いてある仕事(プログラムの修正)。②わざと前提を一つ書かない仕事。③本人にしか書けないはずの文章。プログラムの課題には、答え合わせ用の隠しテストを付けました。品質保証の言葉で言えば、抜き取り検査です。

試験の条件を、先に表にしておきます。認証試験の作法です。

試験1——伝票に全部書いてある荷物は、どの車でも届いた

まず、素直な課題から。バグの場所が特定されたプログラム修正と、条件が全部明文化された作り直し。配送で言えば、住所も荷物の中身も注意事項も、全部伝票に書いてある仕事です。

結果は、拍子抜けするほど揃いました。三つのモデル——Sonnet 5、Opus 4.8、一つ前の Sonnet 4.6——が、答え合わせのテスト19項目を、すべて green(合格)で通過。車格の差も、点検時間の差も、出ません。それどころか、二つのモデルはほぼ同一のプログラムを出してきました。同じ住所に、同じ道を通って着いたのです。

これは「どのモデルも優秀」という話ではありません。材料が全部揃った仕事の正解は一つに定まるので、誰が解いても同じになる、という話です。カタログで車格を競っても、伝票が完璧な近距離配送では、差がつきようがない。

ここから最初のルールが出ます。材料が全部書けていて、失敗しても後のレビューで止められる仕事なら、いちばん安い車の、日常点検だけで足りる。 高い設定にしても、正解がもっと正解になるわけではありません。増えるのは、丁寧さと、時間と、料金です。

試験2——伝票に書かなかった一行が、事故になった

次に、罠を仕掛けました。

倉庫の在庫を移動するプログラムを頼みます。ただし、「引当済みの在庫——もうお客様から注文をいただいて、出荷を約束している分——は動かしてはいけない」という前提を、わざと指示文に書かない。渡した既存プログラムの中を読めば気づけるようにだけ、しておく。現場なら誰もが「言わなくても分かるだろう」と思う類の前提です。

結果。2トン車(Sonnet 5)の日常点検(低)は、4回中2回、約束済みの在庫まで平気で動かすプログラムを、黙って出してきました。 配送で言えば、届け先の決まった荷物を、伝票に書いてないからと勝手に別の倉庫へ積み替えたようなものです。しかも怖いのは、荷台の積み方が綺麗なこと。説明は流暢で、コードも整っていて、間違いには見えません。

同じ2トン車でも、念入り点検(高)をさせると、約束分を守りました。総点検(Max)は、守った上で「もし引当ごと動かしたい場合は、仕様が変わるので教えてください」と、出発前に配車係へ電話で確かめるような確認まで返してきました。

そして大型特殊(Fable 5)は、日常点検(低)の設定でも4回中4回、約束分を守り、頼んでもいない点検表(動作確認のテスト)を自分で作って回してから納品してきました。

私はこの結果に、強い既視感がありました。製造業の現場が、なぜ作業標準書に「そんなことまで」と思うほど細かく書くのか。「言わなくても分かるだろう」は、現場では事故の言い換えだからです。ベテランには自明の一行が、新人の頭の中には存在しない。AIは、猛烈に優秀で、あなたの現場については経験ゼロの、新人です。

そして、この試験でいちばん大事な発見は、その先にありました。問題の前提を一行、指示に書き足しただけで、いちばん安い車の日常点検(低)でも、正確に守ったのです。

前提の一行は、車格を上げるより、安くて確実でした。

点検で増えるもの、増えないもの

二つの試験を並べると、「考える深さ」の設定が何を買っているのかが見えてきます。

点検(高・Max)を増やして買えるのは、厳密さ・自己確認・説明の厚みでした。伝票が完璧な仕事では、点検を増やしても合否は変わりません。もう合格しているからです。効くのは、伝票に穴がある仕事——書かれていない前提を、安全側に倒してくれるかどうか、の場面でした。

だから点検は、毎回かけるものではありません。「言わなくても分かるだろう」が混ざっていそうな仕事にだけ、かける。 毎回の総点検は、遅くて高いだけです。実測では、総点検(Max)は簡単な修正にも90秒、複雑な課題には数分かかりました。

燃費の話——単価の安い車が、安いとは限らない

コストも、エンジン屋の癖で細かく見ました。ここには、少し意地の悪い発見があります。

新型 Sonnet 5 は、料金表の単価は確かに安い。ところが、新しい数え方(トークナイザー)の仕様で、同じ文章でも、内容によっては約3割多くカウントされます。ガソリンで言えば、リッター単価は下がったのに、燃費が3割悪くなった車です。実際、Artificial Analysis の計測(標準価格・最強設定)では、Sonnet 5 は1タスクあたり2.29ドルと、単価の高い Opus 4.8 を約15%上回りました。理由は単価ではなく、使うトークン量が増えたためです。

車を、ガソリンの単価で選ぶ人はいません。1kmあたりいくらかで選びます。AIも同じで、単価ではなく、1仕事あたりの実費で見る必要があります。

大型特殊の Fable 5 は、さらに運行条件が付きます。単価は Sonnet 5 標準の3倍あまり(2026年8月末まで Sonnet 5 は導入価格のため、その期間は差がさらに開いて見えます)。日常点検(低)の設定でも、簡単な関数一つに1分近く考える。そして、運行記録が30日残る契約条件(データの30日保持・短縮不可)——守秘性の高い荷物は、この車にはそもそも載せられません。力のある車ほど、運行の制約も大きいのです。

試験3——最強の車にも、載らない荷物があった

最後の試験は、文章です。ここが、いちばんはっきりした結果になりました。

私自身の調査から引き出した見立てを渡して、専門職向けの記事を書かせました。日常点検(低)は、渡した資料をほとんど使わず、どこかで読んだような一般的なAI論を書いてきました。点検(高)を入れると、資料の事実を正確に踏まえてきます。総点検(Max)と上位の車たちの文章は、正直、うなるほど良く書けていました。いちばん上の Fable 5 にいたっては、「この見立ては、渡された資料のどこにも書かれていない。あなたが資料から引き出した解釈だ」と、荷物の出どころまで見抜いた上で、それを支える論を組み立ててきました。

読み終えた、正直な感想はこうです。

「良く調べたな。」

そして、それが全てでした。感心はしました。でも、どの文章にも、「これは私にしか書けない」と感じる一行は、ありませんでした。いちばん高い車の、いちばん深い点検でも、です。

象徴的な出力が一つあります。あるモデルは、こう書いてきました。

あなたが十年かけて培った「このタイプのクライアントには、この段階でこの話を持ち出すと信頼を失う」という勘。

形は、完璧です。専門家の勘とは、確かにこういう形をしている。でも、よく見てください。「このタイプ」「この段階」「この話」——全部、空欄です。 どの相手に、どの場面で、どの話なのか。そこが埋まって初めて、現場で使える勘になる。

運転の世界で言えば、こういうことです。「あの倉庫は午前中は搬入口が混むから、先に裏へ回るんだよ」——何年も通った運転手の頭の中にだけある知恵。地図アプリは、道路のことなら完璧に知っています。でも、この一行は載っていない。今後も載りません。これは道路の情報ではなく、その運転手と、その倉庫の、付き合いの情報だからです。

馬力(性能スコア)は、モデルが出るたびに上がっていきます。でも、エンジンをいくら大きくしても、地図は経験になりませんでした。経験の一行は、馬力では買えない。今回の試験の、いちばん大きな結論はこれです。

この試験の限界——認証屋の作法として

試験の報告には、測定条件と限界を書くのが作法なので、書いておきます。

今回の検証は、私自身の調査素材と、検証用に設計した課題で行いました。顧問先の実際の素材では、まだ試していません(それが次の試験です)。文章の比較は、それぞれ1回の生成の観察で、確率の話ではありません。プログラムの課題のうち「日常点検(低)で4回中2回」のような数字だけが、複数回の再現を取った値です。一つ前の世代(Sonnet 4.6)は、日常点検(低)の設定では測れていません。

測っていないことを、測ったように書かない。エンジンの認証で16年やってきた、それだけの話です。

他社のAIでも、同じか

ここまで読んで、「それはClaudeの話でしょう。うちはChatGPTだ」と思った方がいるはずです。

正直に書きます。私が測ったのは、Anthropic社が一般提供している範囲(Sonnet 5・Opus 4.8・Fable 5)までです。他社のAIは、測っていません。 だから「どの会社のAIでも同じだ」とは言いません。認証屋は、測っていないものに合格印を押さないからです。

ただ、見立てとしては、同じ構図になると考えています。 理由は、今回見つかった法則が、エンジンの銘柄の性質ではなく、荷物と伝票の性質だからです。書いていない届け先には、どこの会社のトラックでも荷物は届きません。運転手の頭の中にある倉庫の知恵は、どこの地図アプリにも載っていません。ディーゼルかガソリンかの話では、ないのです。

確かめたい方のために、この記事には試験のやり方をそのまま書きました。同じ試験は、どの会社のAIでも再現できます。認証試験は、再現できなければ意味がないので。

新型が出たら、やること

まとめます。次に新型AIのニュースを見たら、カタログを眺める前に、三つだけ。

一つ。いま任せたい仕事の「伝票」は、書けているか。 材料が全部書いてあって、失敗してもレビューで止められる仕事なら、安い車の、日常点検だけで足ります。「言わなくても分かるだろう」が混ざる仕事は、伝票に一行足すか、点検(高)を入れる。前提の一行は、車格を上げるより安くて確実です。

二つ。乗り換えは、会社ごとでなく、1路線ずつ。 業務を一つ選び、いまの車と新型に同じ荷物を運ばせて、比べる。良ければ、その路線だけ切り替える。迷ったら、現行のまま。立証責任は、新車の側にあります。

三つ。最強の車を、毎日使わない。 総点検つきの特殊車両は、事故を避けたい場面の保険です。毎日の配送に使うと、遅くて、高くて、業務が止まります。

16年、エンジンを測って学んだことが二つあります。一つは、測るまで信じないこと。もう一つは、測った数字を「この数字は、お客様の使い方で何を意味するか」に翻訳して、初めて仕事になるということ。AIも同じだと思います。スコアを追いかけるより、自分の荷物で一度、測ってみる。

そして、どれだけ車が良くなっても——荷台に載らない荷物が、一つだけあります。あなたの経験の一行です。

ただし、載らないなら手の打ちようがない、という話でもありません。工場でベテランの勘が、作業標準書の一行になるように——経験も、書き出せば、経験ゼロの新人に渡せる指示書になります。実際、今回の試験でいちばん確かに測れたのは、そこでした。書いた一行は、いちばん安い車でも守られた。書かれなかった一行は、最強の車でも拾えなかった。

それでも、何を書き出すか。書き出した一行で、仕事に出してよいか。それを決めることだけは、これからも、あなたが運ぶ。

付録 ― 自社で新型AIを試すときの、ミニ試験票

• 任せたい業務を、一つだけ選ぶ
• いつも使っている入力資料を、そのまま用意する
• 成功の条件を、三つ書く
• 失敗してはいけない条件を、三つ書く
• 「言わなくても分かるだろう」と思っている前提を、一つ書き足す
• 現行モデルと新型に、同じ仕事をさせる
• 出力の印象ではなく、先に書いた条件で判定する
• 良ければ、その業務だけ切り替える
• 迷ったら、現行のまま(立証責任は、新型の側にあります)

注 ― 測定条件と出典

• 試験は2026年7月1日〜2日、claude.ai 上で実施。対象は Sonnet 5・Opus 4.8・Fable 5、比較用に一つ前の Sonnet 4.6。延べ30回あまり。文章の比較は各1回の生成の観察で、確率評価ではありません。
• API価格(標準)は、Fable 5 が入力10ドル/出力50ドル(100万トークンあたり)、Opus 4.8 が5ドル/25ドル、Sonnet 5 が3ドル/15ドル。Sonnet 5 には2026年8月31日までの導入価格(2ドル/10ドル)があります(出典: Anthropic公式ドキュメント)。
• 新トークナイザーは「同じテキストで約30%多くトークン化」(公式。内容により約1.0〜1.35倍の幅)。
• 1タスクあたりの実費は、Artificial Analysis の計測(標準価格・最強設定)で、Sonnet 5 が Intelligence Index 1タスクあたり2.29ドル——Sonnet 4.6 の約2倍、Opus 4.8 より約15%高い。原因は単価でなくトークン使用量(出典: Artificial Analysis)。
• Fable 5 は30日のデータ保持が前提で、ZDR(Zero Data Retention)では利用不可(出典: Anthropic公式・移行ガイド)。