Jent(スミカ)にとっての、「生成AI」

皆様こんにちは！Jent代表の山口です。

気づけばもう2023年も夏真っ只中です。
2022年〜2023年といえば、IT業界だと特に生成AIが特に盛り上がってますね、特に2023年に入ってからは界隈でも生成AI一色といっても過言ではないように思います。

そういった時勢もあってなのか、会う人会うひとに「生成AIはどう活用していく？」というご質問をもらうようになりました。
確かに、Jent社(と、事業を分割したスミカ社)は、チャットでのシステム☓オペレーションに特化した会社であったため、特に生成AIの影響を良くも悪くも強く受けることが想定されます。

今回はそういった背景から、Jent(と、スミカ)、生成AIに対してどう向き合っていくのか、を記載できればと思っています！

「めちゃくちゃ事業に活かせそう！」 VS 「事業の競争優位が失われるかも...」

最初に生成AIを見たとき、まさにそう思いました。良い面も、悪い面も、どちらも大きすぎるインパクトがあると。それぞれ以下記載させてください！

ストレートに事業に活かせる点も多い

スミカがそもそもがチャット系の事業となりますので、生成AIがテキストを中心に推論するものだと考えると、活かせる点はストレートに多いと考えました。色々と実証実験や本番適用する中でも、その考え自体は全く変わりません。

生成AIを活用することによって、チャット業務で自動化ができなかった部分などが自動化できるようになり、さらに良いUXをお客様に提供できるでしょう。(返信速度がバク上がりです！) もちろん、オペレーションのコストを下げることができるかもしれません。

その自動化の開発過程を考えても、既存のチャットのデータがふんだんに活用できるでしょうから、実現可能性も高いと考えられそうです。
非常に良い波が来たな、というのが第一印象でした。

一方、これまでの競争優位が、、、

しかし、それと同時に、「事業の競争優位が失われるかもしれない」とも強く危機感を覚えました。
というのも、Jent社の競争優位は以下のようなものでして、
- 自動化できそうにもない難しい会話を
- システムでの半自動 + パートナーオペレーションで大規模運用する

ここで、生成AIによってその難しい会話が自動化されてしまった場合、
上記のような半自動、オペレーション化などがあまり意味をなさなくなります。

「これまで積み上げた競争優位性がテクノロジーで置き換えられてしまうかもしれない...」そう強い危機感を持ちました。
そういった背景から、前述の形で事業にはしっかり活かしつつ、競争優位を失わないよう改めてコアコンピタンスを再定義する必要があるな、と考え始めました。

生成AIの実際は...？

前述のような、「高揚感」と「危機感」が共存した生成AIですが、実際にトライを積み重ねると色々な事がわかってきました。
ハイプサイクルなどを踏まえると当然のことかとは思いますが、やはり市場の期待と実態は伴っておらず、想像よりも「生成AIだとうまくいかないこと」が多いと感じるようになりました。

仕様に合わせて正しく出力する、のベースラインが達成できない

特に、会社/サービスとしての仕様が決まってる(=公知の情報とやりたいことが異なる)ことに対して対応させるのが難しいと思いました。当然、生成AIとしては学習データからの推論ですから、その会社やサービスの仕様なんて全く持って加味されてないわけです。

加えて、どの会社様も近い悩みをお持ちかなと思いますが、俗に言う「ハルシネーション」のような、それっぽく正しくないことを出力することも多いと感じます。このあたりから、
「仕様に合わせて正しく出力する」というサービス運用としては当然のベースラインが、達成されないことが分かりました。
※とはいえ、原理として統計的に次の文字列を推論しているだけなので、因果関係などはそもそも加味されてないわけです。ハルシネーションを無くそう、という発想自体が本来おかしいとも言えそうです

また、仮に「仕様に合わせて正しく出力する」ができたとしても、現在の不動産の会話で重要な「クロージングする」「会話をリードする」といったふるまいが難易度が高いなと感じます。
ChatGPTのようなものは、質問したことに対しては回答できるかもしれませんが、質問したことに回答するだけの不動産営業マンはいませんよね。お客様が質問してこずとも、常に先回りして話題を進め、必要に応じて背中を押してあげることが必要です。こういった会話の組み立て方や、温度感の把握などが、なかなか難しいなと感じるところでした。

そのような背景から、実際に事業に適用しようとすると、相当クオリティの担保が難しいように感じます。
このあたりをどう解決していくか、、、様々な実証実験が始まりました。

生成AIにおける課題の解決策: データとオペレーション

スミカでは、上記の課題を「大規模データ」+「世界中のオペレーション」の2点から、解決し始めています。
ここに記載できてないこともたくさんトライしていますが、一旦は絞ってそれぞれ記載します。

大規模データの活用

仕様に合わせて出力させる、うまく会話をリードする、といった行為に関しては、先にすべての仕様や例を提示するわけにもいきません。プロンプト長 + 冗長な指示で精度が下がる、といった点においてです。

よって、動的にプロンプトをチューニングすることが効果的であり、例えば、
- 今回で抑えるべき点は以下だよ、と動的にルールを記載する
- 似たような事例ではこういった正解例があるよ、と動的に例を示す
などで現在精度が出始めています。

いずれも、探索用のDBを用意しておいて、そこから動的に引っ張ってくることがメインとなります。探索は単純なembedding -> cosine similarityだと精度が低いため、先にラベルを振っておいてその情報空間でそのような検索をするようにしています。(既にチャットの事業者として様々な会話データがあり、既にラベルが振られているのが大きな利点になりました。また、弊社ではLangchainなどの流行りのライブラリは使わず、自由度を上げられるようにコードを書いています)

また、過去の会話データのみならず、大量のテンプレートデータがあることも弊社の大きな利点となりました。テンプレートは、まさに会話の仕様の塊であり、これをうまく探索できれば非常の精度が上がることがわかってきました。テンプレートで出たものを会話の骨子とし、場面に応じて追記編集するなどの段階を踏むイメージです。

オペレーションによるクオリティの担保

上記のように、動的に様々な情報と突き合わせて推論をするようなアルゴリズムを組んでも、当然精度100%にはなりません。(機械学習のプロジェクトでは100%ありえません)
しかし、サービスで実際に最終出力として使うには、極めて100%に近いような状況であることが求められます。

よって、アルゴリズムの力だけで最終とするわけではなく、一定の怪しいだろうと判断されたものに関しては、「人間によるオペレーション」でチェックし、整形することで対応しています。
※オペレーションへのエスカレーションの判断を下せるよう、会話の評価をするアルゴリズムも別で構築しています

ここにも、Jent社の過去の積み上げた優位性が大きく活きました。世界中でオペレーターが稼働しており、オペレーションによるチェックが極めてスムーズだったためです。
また、OpenAIのinstruction tuningなどももちろん人の手で行われてるわけですし、今後の生成AI系のアルゴリズムを組んでいく中で、大規模なオペレーションが組めていることは相当な優位性になってくると思います。常に人間を踏まえて正しい評価を行っていき、それによってアルゴリズムにフィードバックを行っていくような体制を作っています。