株式会社SAFELYで人事を担当している青井です。

水道局指定工事店のデータベース「みずのわ」の再開発で、判定特化AI「Jev」に、事業者の公式サイトの候補選びと、集めた情報が正しいかの一次判定を任せました。方式を決めた翌日には全件の判定が終わり、費用は数ドル程度。改善を毎日回せるようになり、Claudeでの精査と人の判断を重ねて、正解率は99.6%に届きました。

今回は、この開発を企画から担当した有泉さんに、AIの「Claude」と「Jev」、そして人の判断を、どう使い分けたのかを伺いました。

「みずのわ」は、全国の水道局指定工事店（自治体が水道工事を認めた事業者）を探せるデータベースです。開発当初は、4件に1件は情報が間違っていて、確かめ直すにも時間がかかるため、会社として開発を一度保留にしていました。

再始動までに、何に悩み、どう考え、どう決めたのか。有泉さん本人の言葉でお伝えします。

指定工事店の名簿はあっても、選ぶ材料にならなかった

水道局指定工事店とは、自治体から給水装置の工事を適正に実施できると認められた事業者のことです。水まわりのトラブルが起きた際は、指定工事店に修理を依頼するよう多くの自治体の水道局が案内していますが、自治体が公表している名簿は使いにくく、利用者が事業者を選ぶ材料にはなっていません。

――この状況を前に、なぜ「みずのわ」を作ろうと思ったんですか？

安全な事業者を、利用者が自分で確かめて選べる場所が必要だと考えたからです。水道修理業界では高額請求などのトラブルが後を絶たず、選ぶ材料にしようにも、自治体の名簿は自治体ごとにバラバラで、事業者名と電話番号程度しか載っていません。公式サイトがあるのか、一般家庭の修理に対応しているのかも分かりません。

――有泉さん自身は、指定工事店という制度を知っていましたか？

実は、社内で運営している水道修理メディア「水道修理のセーフリー」に携わるまで、私も知りませんでした。メディアに関わる立場でも知らなかったのですから、一般の方が知らないのも当然です。

「みずのわ」は、特定の事業者へ誘導しない非営利・中立のサイトです。どの事業者に頼むかは、利用者が自分で決める。そのための判断材料を、自治体の名簿より詳しく、探しやすい形で届けたいと考えています。

形にはなった。でも、作った目的に合っていなかった

構想自体は以前からありましたが、AIが登場する前は、手作業で全国の名簿を調べるコストが大きすぎて、保留にしていました。

有泉さんが担当となり、汎用AIの「Claude Code」で、公式サイトや代表者名、営業時間の収集・確認を開始。形にはなったものの、全件調査に5〜6週間かかり、精度は約75%。4件に1件は、代表者名や公式サイトを取り違えていました。

――4件に1件の誤りを、どう受け止めましたか？

「みずのわ」を立ち上げた本来の目的を果たせていないのではないか、と感じました。

4件に1件が誤りになるような精度では、利用者が安心して確認できる場として提供できません。

――目的とのずれに気づいた場面を教えてください。

きっかけは、社長の岡野さんから届いた指摘でした。「一般家庭に対応しているか分かるのがメインの機能なのに、大多数が未調査と聞いた。経緯を教えて」という内容です。

当時の私は、社名や電話番号などの基本情報に誤りがない状態で公開できたことで一区切りついたと考え、一般家庭への対応など細かい条件は、一社ずつ調べると1か月かかる見込みだったため、次の更新に回していました。

ところが、経緯を岡野さんに返すうちに、メインの機能が抜けていたことに気づき、作った目的を見失っていたのだと思いました。

実際、公開していたサイトの一般家庭対応の欄は、「対応」の印が付いていたのが全体の約1割で、残りの約9割は印なしでした。印がないと、「対応していない」のか「調べていない」のか見分けられません。岡野さんの言う「大多数が未調査」は、この9割のことでした。

この状態を直そうにも、手順を見直したところで全件の再確認に1か月以上かかります。改善サイクルを数周回すだけで3〜4か月が過ぎてしまいます。最大の課題は「集めること」ではなく「確かめること」にありました。

――うまくいかなかった時期、周りからはどんなサポートがありましたか？

岡野さんから「今の調べ方より効率のよい方法があるはず」と声がかかり、最新のAIで調べ方を見直すよう指示がありました。私は「1か月かかる」という前提を疑っておらず、言われて初めて、その前提に気づきました。

判定特化AI「Jev」で、もう一度。速さで試せる回数に変える

停滞していたプロジェクトを動かしたのが、判定特化AI「Jev」です。あらかじめ決めた選択肢への分類や判定を、高速に行うAIで、今回は、検索で見つけた公式サイトの候補から「この事業者の公式サイトはどれか」を選ばせたり、取り出した文章が営業時間などの情報として正しいかを判定させたりしました。判定と同時に、判定の確からしさの目安となる確信度スコアも出ますが、確信度は実際に正解している確率そのものではありません。

――Jevは、どこで知ったんですか？

最初に名前を挙げたのは岡野さんです。Slackで、「最近発表されたAIモデルJevなども使える可能性がある」と共有してくれました。

実際にJevを活用できるのか、どうすれば短い期間で精度を上げられるのかを検討するなかで、全件をJevで振り分け、一部だけClaudeで詳しく調べ、誤りを言葉にしてJevに戻す。これが、今の仕組みの原型です。

――Jevの、何が決め手だったんですか？

超高速・超低コストです。約2.5万社（掲載している事業者を、同じ会社としてまとめ直した数）の判定にかかる費用は数ドル程度。繰り返し判定できるなら、Claudeによる精査と組み合わせた検証の仕組みが作れると考えました。

――会議でJevの話が出てから、再開が決まるまで、どう動いたんですか？

その会議で、岡野さんがJevを使う流れを共有し、「仕組みを作って他の人に渡すのではなく、最後まで自分でやりきるように」と指示がありました。その夜、Claude Codeだけで100社を試すと、検索は1回の作業で200回までしかできず、全件には約2.5万回かかります。このやり方では無理だと分かりました。

翌朝、検索を大量に回せる仕組みとJevを組み合わせる方式を口頭で提案し、その場で承認をもらいました。

――Jevを使えば、精度も上がったんですか？

実は違います。Jev単体では判定のぶれがあり、精度は94%ほどで頭打ちになります。効いたのは、一次判定をJevに任せることで、改善サイクル（試行回数）を増やせた点でした。

誤りの多くは、グループ会社や水道以外の部門の営業時間など、別の場所の情報を拾ってしまうことでした。そこで、毎回ランダムに選んだ20件をClaudeに精査させて誤り条件を抽出し、新ルールとして追加。Jevで全件を判定し直す、というサイクルを何度も回しました。

――方式を決めた翌日には全件の一次判定が終わり、公開サイトへの初反映は10月6日。前回は全件を調べるだけで5〜6週間でしたから、大きく縮まりましたね。

単に楽になったということではありません。試せる回数が増えたことで、毎日改善を回せるようになったということです。

94%の壁を、AIと人で疑って越える

――94%で頭打ちと分かったとき、何を考えましたか？

AIの判定を、同じやり方のAIで重ねても限界がある、と考えました。Claudeを何人並べても、同じところで見落とします。そこで、種類の違うJevを、判定するだけでなく「疑う役」としても使うことにしました。

――その前に、試してやめたことはありますか？

四つあります。一つ目は、一般家庭対応で、20社ずつルールを直す方法です。4回直しても正解率は65%、75%、75%、80%と止まりました。二つ目は、読むページを増やす方法です。100社で試しても、増えた会社は項目ごとに1〜8社でした。三つ目は、ルールで一律に外す方法です。代表者の誤り1社を外すと、正しい44社まで消えました。四つ目は、判定をClaude1人に任せる方法です。判断の分かれる会社で約10%ぶれたため、「2人一致＋3人目の確認」に変えました。

――そこから、94%の壁はどう越えたんですか？

AIの判定を重ねて疑う仕組みを作りました。ルール作成の元になる20件は、同じ情報を3つの独立したAI（Claude）に確認させ、全員の判断が一致したものだけを採用し、割れたものは私が直接確認しました。1つのAIだけに任せると、その判断が絶対になってしまうためです。それでも誤りが残ったため、別のAIによるチェックを追加しました。

判断が割れたものの例が、代表者名が2つ見つかったケースです。調べると代表者が交代していて、自治体の名簿には古い名前が残っていました。そこで新しいほうを採ると決め、ルールに追加しました。

――一番印象に残っている誤りは何ですか？

Claudeが全員一致で「正しい」と判定したデータにも誤りが残っていたことです。その中からJevの確信度が低い53社を抜き出して手動確認したところ、12社で誤りが見つかりました。

そこで「Claudeの判定が一致しても、Jevの確信度が低いものは再確認へ回す」というルールを追加しました。速さのために入れたJevが、どこを疑えばいいかを教える目印にもなりました。

「AI同士の相互検証」と「人間の意思決定」を重ねた結果、無作為抽出した300社・1,007項目での正解率は、10月22日時点で99.6%に到達しました。

正解の基準は、事業者の公式サイトに、掲載した値と同じ内容が書かれているかどうかです。2〜3つのClaudeが、互いの結果を見ずに元のページと照合し、判定が割れたものは、別のClaudeと有泉さんが元のページを見て決めました。測った300社は、公式サイトを確かめられた会社から、ルール作りに使った会社を除いて無作為に選びました。公式サイトのない会社には値を載せていないため、99.6%は、載せている情報の正しさを表す数字です。

この情報が役に立つのは、たとえば、チラシや検索で見つけた水道業者に頼む前に、その会社名を「みずのわ」で調べる場面です。事業者ページでは、指定を受けているか、公式サイトがあるか、見積もりが無料かなどを、電話をかける前に確認できます（項目は事業者ごとに異なります）。有泉さんは、指定工事店という制度が知られ、指定店に頼む人が増えれば、高額請求をする事業者が選ばれにくくなると考えています。

――利用者の役に立っていると感じた瞬間はありましたか？

一つ目は、岡野さんに「メインの機能なのに」と言われた一般家庭対応を、10月30日に無作為の300社で測り直して、300社すべて正しかったときです。

二つ目は、Googleの検索データを見られるSearch Consoleで、10月1日から11月3日に「みずのわ」が表示された検索語774語のうち、半分以上が会社名だったことです。業者の名前を手にした人が、その会社を確かめに来ている。だからこそ、その先のページの情報が正しくなければいけないと実感しています。

品質は「載せない」で守る

――開発で、一番こだわったことは何ですか？

確証のない情報は、たとえ空欄になっても載せないことです。精度が約75%だった過去データも一切使わず、ゼロから作り直しました。誤りを1つずつ探すより、そのほうが確実だからです。

――空欄が多いと不便ではありませんか？

確かに課題ですね。約2.5万社のうち、公式サイトを確認できたのは5,751社にとどまっています。確認できない事業者は公的データで補っていますが、不確実な項目は、あえて空欄のままにしています。

トラブルで急いでいる利用者に、曖昧な情報で判断させるわけにはいかないからです。

残りの0.4%と、これから

正解率は99.6%まで届きました。ただ、残りの0.4%を追うには、細かな例外に一つずつ対応する必要があり、確認の手間もAIの利用コストも一気に膨らみます。そのため、見つかった誤りは直しつつ、そこから先を突き詰めるのは、いったん保留にしています。

――最後に、AIがあっても人がやらなければいけないことは何だと思いますか？

最終的な意思決定と責任を持つことだと思います。たとえば、代表者名が2つあったときに新しいほうを採ると決めたのは、AIではなく私でした。「どの情報を信じ、公開するか」は、結局、人が決めるしかないと考えています。

次は、集める前に測る。再挑戦を支えた環境

――次に同じ作業をするとしたら、最初に何を変えますか？

目的の中心になる項目（みずのわなら一般家庭対応）を、集める前に、無作為の300社で測れるようにしておきます。少ない件数の抜き取りでは、誤りの偏りが見えませんでした。30件の抜き取りで93%と出た項目が、全体では47.5%だったことがあります。

――この再挑戦を進める上で、SAFELYの環境はどう影響しましたか？

環境がなければ、プロジェクトは止まったままだったか、精度の低いまま公開していたと思います。SAFELYには、AIの使い方に慣れがあります。全社員が集まる全社会議で、岡野さんが活用のしかたを定期的に発信していて、AIを使うときのルールや申請の仕組みも整っています。会社としてClaudeをチーム向けのプランで契約していて、渡してよい情報のルールも設定されているので、詳しい人にすぐ相談もできます。だからゼロからAIに聞くのではなく、最適なところにJevを入れて、足りないところをどう補うかを考えられました。

まとめ

一度は途絶えたデータベース構築は、一次判定を任せられる新たなAIの登場で再び動き出しました。残りの誤りに向き合うこれからも、何を掲載し、何を掲載しないかを決めるのは、有泉さんという人間の判断にほかなりません。「みずのわ」は、精度を保ったまま空欄を減らし、利用者が自分で確かめられる場所を目指して、これからも更新を続けていきます。

「みずのわ」は、こちらから見られます。
https://suidoushiteiten-mizunowa.jp/