日本で「AIは専門職をどこまで代替するか」を語るとき、いまだに引かれているのは2015年の野村総研×オックスフォードの推計です。行政書士93.1%、税理士92.5%、弁理士92.1%。だがあれは職業属性からの回帰推計であって、誰も一度も実務をやらせて測っていません。LLM以前の数字が、11年後の今も既定値として流通しています。ここでやるのは1つだけ。成文化された基準を持つ専門職の実務を、実際にAIにやらせて、権威が確定させた正解と突き合わせます。
AIが専門職の仕事をどこまでやれるのか。この問いに対して日本で流通している数字は、いまも2015年の推計です。職業を属性の束に分解し、その属性が自動化可能かを回帰で推計したもので、実際にAIへ実務をやらせた結果ではありません。LLMが登場する前の推計が、11年経った今も引用され続けています。
一方で、AIベンダーが出す「精度99%」の類は、自社で作った問題を自社で採点していることがほとんどです。参照解が内製である限り、その採点器が甘いのか厳しいのかを外から検査できません。発注する側は、どちらの数字も判断材料にできません。
ここでやるのは1つだけです。成文化された基準を持つ専門職の実務をAIに実際にやらせ、権威が確定させた正解と突き合わせる。関税率であれば税関の事前教示、税務であれば法令と通達、建築CADであれば製図規格。正解を外部の権威が持っているので、こちらの都合で採点器を甘くできません。
構想ではありません。いま公開されているのは建築CAD・通関・税務の3業種で、実測は8業種まで進んでいます。各業種のページには、課題文・AIの答案・正解・採点の内訳がそのまま置いてあります。うまくいかなかった回も、こちらの間違いも、そのまま載せています。
ベンチマーク本体はGitHubで公開し、DOIを発行済みです。手元で走らせて同じ数字が出るかを確かめられます。測り方そのものを記述した方法論も、プレプリントとして公開しています。
いま出ている、いちばん重い結果：資料を増やしても、正答率は上がりませんでした。通関のHS分類で参照資料を81万字→440万字（5.4倍）にしても正答は42件→42件で変化なし。税務でも、RAGから全文2,400万字（80倍）へ広げると74.0→73.1とわずかに下がりました。2業種・5通りの増やし方で再現しています。
測っているのは「成文化された基準に照らして、答えが合っているか」だけです。基準が文章になっていない仕事（顧客との関係構築、事務所の運営判断、責任の引き受け）は測れません。したがって、ここでの点数が高いことは「その職業が要らなくなる」ことを意味しません。逆に点数が低い業種も、基準が成文化されていないだけで実務上は有用かもしれません。この物差しが測っているのは職業ではなく、実務のうち成文化された部分です。
関税分類・税務の根拠条文・建築CADの製図規格など、外部の権威が正解を確定させている実務。同じ課題を複数の構成で走らせ、正答率だけでなく1件あたりの単価まで出す。データセットと採点器はGitHubで公開しDOI付き。
顧客対応・営業・責任の引き受けなど基準が文章になっていない仕事は対象外。また同一課題を人間の専門職に解かせた比較は行っていないため「人間より上か」は測っていない。業種の追加は、外部の権威ある正解が入手できるかで決めている。