【AIエンジニア対談】最新技術を追いながら、ビジネスに直結する生成AI活用を追及する

Azure OpenAI を利用した「BOTCHAN AI」は、人と遜色のないコミュニケーションを実現するオンライン接客のオートメーションサービスです。この数年で一段と存在感のあるプロダクトへと成長しました。

そんなBOTCHAN AIを支えるのが、CTO直下のAIチームです。今回はAIエンジニアの榎本和馬さんと曾驍さんによる対談を実施しました。

「wevnalは、AI開発に取り組みたいエンジニアにとって魅力的な組織です」と語る二人。現在携わっているプロジェクトのやりがいや今後の課題・展望について、それぞれの考えを聞きました。

＜プロフィール＞
榎本和馬
2020年4月に新卒としてwevnalに入社。最新AI解説メディア「AI-SCHOLAR」の運営、レコメンドエンジンの開発に従事してきた。2021年から会話型AIの開発に携わり、2023年以降はBOTCHAN AIと新規事業の立案・実行を担うように。現在はBOTCHAN AIの実装およびマネジメントを中心に業務を進めている。＊個人インタビューはこちら

曾驍
2024年1月中途入社。中国出身。カナダの大学へ進学後はコンピュータサイエンスを専攻し、在学中にN1を取得。さらに神戸大学大学院を卒業すると、オンラインゲームを手掛ける事業会社へ就職。2社目はIT・AIのコンサルティング会社へ転職し、深層学習を使用したプロジェクトの上流工程だけでなく、実際に手を動かす開発にも従事した。

専門分野の多様性から、新たな価値を生み出す

── 本日はAIチームのプロジェクト事例を中心にお話を聞かせてください。最初にチームの体制やこれまでの変遷を教えてもらえますか？

榎本：BOTCHAN AIの開発チームには現在、8名のエンジニアが所属しています。内訳は、AIエンジニアとバックエンドエンジニアが半々の構成です。チームの変遷ですが、まだ生成AIが登場する以前に1人体制でスタートしたのがはじまりでした。

ChatGPTの登場後は大規模言語モデル（LLM）を活用したチャットボットの開発がメインとなり、現在のBOTCHAN AIが誕生しました。生成AIの進化に伴ってビジネスとして成立するようになり、AIエンジニアの採用も加速。2024年1月にはAIエンジニアとして曾さんもメンバーに加わりました。

── お二人はそれぞれ、どのような役割を担っていますか？

榎本：私はBOTCHAN AIの実装面をサポートすることもありますが、今はプロダクトマネジメントが中心です。実務に関しては曾さんがかなり手を動かしてくれています。

曾：そうですね。チームのために必要なことがあれば何でもやるようにしています。基本的には、納品スピードと品質向上のために実施する網羅的評価やツールの開発、効率化などの仕事を担当しています。新規機能のためのプロトタイプ開発や問題が出た際のプロンプトエンジニアリング。バグ修正や関連メンバーへのエスカレートなども基本業務です。

榎本：チームの役割を補足すると、クライアントへの納品（デリバリー）と新規機能の開発という2つの業務があります。メンバー全員どちらの業務も担当していて、割合も半々になるようにしています。軽く話していますが、曾さんが開発してくれた網羅的評価の開発は生成AIを活用する際には、正直このツールがないとLLM任せになってしまうので、チームに加わっていただいてすぐにこのツールを開発しちゃうのは驚きでした。

曾：仕事の6割がデリバリーという感じですかね。これには理由があって、実装時に自動化や最適化が可能な部分をどんどん担当し、必要に応じて納品サイクルの各ステップを改善できるようなツール開発をしているからなんです。

── そうなんですね！ほかにはどんなメンバーがいるのでしょうか？

榎本：チームで扱っているのは自然言語処理（NLP）ですが、メンバーのバックグラウンドはけっこうバラバラですね。私は画像をメインとした深層学習やデータの公平性やバイアスを専門に扱っていました。ドメインも医療分野でしたし。曾さんはゲーム開発になるのかな？

曾：オンラインゲームを手掛ける事業会社で働いていましたが、修士時代の専門分野は何かと問われれば、深層強化学習ですね。2社目となるIT・AIのコンサルティング会社でも、深層学習を使用したプロジェクトに上流工程から参画していました。

── バックグラウンドが異なることにメリットがあるのですか？

榎本：多様性があるからこそ、新しい価値を生み出せると考えている。それが正直なところかなと思います。

実際に、専門分野が異なることで考え方や第一選択が変わってくるんですよね。癖や慣れもあると思いますが、何か課題を解決しようと思った時に、取れる手段が多いと失敗する可能性を低くすることができると思います。だから、多様性は手段やアイデアを増やし、その結果として失敗しにくい。すなわち、成功できると考えています。

曾：基礎さえあれば、必ずしも全員がNLPの専門家である必要はないですよね。木探索のような昔のアルゴリズムも、新しい研究を融合させることで新たな発見が生まれることもありますし。

榎本：それぞれの尖った部分が強みになると思います。一方でそれが弱みになる場面もあるかもしれませんが、それはチームで十分にカバーができる範囲だと思っています。それならば新たな価値を生み出せるよう、個々の強みは伸ばしたほうがいいのではないか。それが現在の採用方針にもなっています。

仕事の醍醐味は、ビジネス環境における生成AIの活用

── BOTCHAN AIの開発を進める上で、難しいと感じる瞬間あるいは醍醐味を感じる瞬間があれば教えてください。

曾：LLMの出力はとても曖昧なもので、コードとの相性に難しさを感じています。今後どう付き合っていくかは大きな課題だと感じます。

榎本：そうですね。エンジニアの実装では、基本的に「Aの入力があればBの出力が得られる」というように、入力と出力の関係が明確であり、結果をコントロールできることが前提です。コードの可読性や予測可能性を保ち、説明責任を果たすことも、ソフトウェア開発においては重要な要素ですよね。

ただ、LLMの場合、これまでのプログラミングとは異なり、同じ入力でも確率的に異なる出力を返すことがあります。たとえば「Aの入力でBが出る」と期待していたのに、場合によっては「Cが出る」といったような、予想外の結果が発生することがあるんです。これはモデルが確率分布に基づいて出力を生成しているためであり、従来の決定論的なシステムとは異なる難しさです。

この曖昧さが、LLMの面白い部分でもあり、課題でもあるんですよね。

良い点としては、この柔軟性によってクライアントの多様なニーズに対応できるようになったことです。従来のシステムでは、想定外の質問やリクエストには答えられないことが多かったのですが、LLMはそういった状況にも柔軟に対応してくれる。

一方で難しいのは、特定のニーズに合わせてAIを調整しているはずが、モデルが確率的に異なる結果を出すため、期待した通りに動かないことがあるんです。そういった予期しない挙動を検出して調整するのは技術的に難しいですが、それが開発の醍醐味でもありますね。

── 醍醐味について、曾さんはいかがでしょう？

曾：エンジニアとしてのやりがいという意味では、生成AIをビジネスの現場で活用するための検証機会が得られたことが勉強になっています。学術的には価値がないかもしれないが、ビジネス的には価値があるものを見つけられるようになっていますね。

榎本：その気持ちはすごくわかります。アカデミックな研究だと、どうしても非現実な前提があったりもします。最近も、ハルシネーション検出に関するリサーチ内容を報告された時に、手法のメインアイデアを模倣したら、圧倒的な精度と引き換えに、AIのコストが10倍近く高くなるといったものもあり、笑ってしまいました。

ただ、その論文からも今ならもう当たり前になりつつありますが、キャッシュアイデアとかを先に実装できたりしたのは良かったですね。

wevnalでは、社内外の要望を取り入れながら、最適な解決策を見つける必要があります。

その時、例でもお伝えした通り、メインアイデアが学術的に評価されていても、そのアイデアに至る考え方や、メインではないけどやっている処理に、まさかのビジネス的な価値があったりするんですよね。

曾：精度が改善されなくても、日々のオペレーションで貢献できるものが見つかったりすると、AIの使い方も考え方次第だなと気づかされますね。