QAILaboratory｜AIの自動承認をめぐる比較は、ほとんど様子見でいいと考えています
こんにちは、QAILaboratoryの鳴海です。
今週、AnthropicはコーディングAI「Claude Code」の「Auto Mode」を、8月14日からPro・Max・Teamのユーザー向けにデフォルトで有効にすると発表しました。これまで一つひとつの操作ごとに人の承認を求めていた仕組みを、破壊的・不可逆な操作だけを自動でブロックする分類器に置き換えるものです。有償ユーザー1,053人での試験では、危険な操作の検知率が人によるレビューの13.6%から89%に上がったと説明しています。
こういう発表を見ると、AIにどこまで任せてよいのか不安になる方もいると思います。ただ今回の変更は、任せる範囲を無条件に広げたわけではなく、「毎回人に聞く」から「危ないところだけ人に聞く」へ、確認の置き場所を移しただけだと見ています。
■ 今週、目を留めておくとよさそうな一つ
目を留めておくとよさそうなのは、検知率の数字そのものよりも、何を自動で進めてよく、何を必ず人が見るかという線の引き方のほうです。今回の変更では、破壊的な操作・後戻りできない操作・想定範囲外の操作という三つの条件を、あらかじめ機械が判定できる形に落とし込んでいます。これは道具の性能の話ではなく、設計の話です。自分の業務でAIを使うときも、同じように「これは戻せる」「これは戻せない」で分けて考えられる場面は、思っているより多いのではないかと考えています。
■ ほとんどは、追わなくて大丈夫
一方で、検知率が89%か13.6%か、他社の同種の機能がどれだけ速いか、といった数字の比較は、ほとんど様子見でいいと考えています。今週は他にも、性能や価格を競う発表がいくつも重なりましたが、どれも自分の現場での使い方を、いま変えなければならないものではありません。数字は毎月更新されますし、更新されたことは向こうから伝わってきます。
■ もし決めるなら、ここだけ
もし一つだけ決めるなら、いま自分がAIに任せている作業を思い浮かべて、「確認なしで進めてよい操作」と「必ず自分の目を通す操作」を、それぞれ一つずつ書き出してみることだと思います。隔離された場所で試すのか、触れるファイルの範囲を絞るのか、外部への送信だけは必ず人が押すのか。分け方は業務によって違いますが、書き出す作業そのものが、任せてよい範囲の輪郭を教えてくれると考えています。
任せる速さを競うより、任せてよい境界をどこに引くか。今週の発表は、その問いを静かに思い出させてくれたように思います。
よろしければ、こちらから。研修・ツール・AI顧問・実装伴走の4つの進め方を比較できる入口です。
https://www.narumitakayoshi.com/compare-start
QAILaboratory
代表 鳴海貴慶
HP https://qailaboratory.narumitakayoshi.com
ブログ https://www.narumitakayoshi.com/blog/
LinkedIn https://www.linkedin.com/in/takayoshi-narumi-9869a527a/
返信