静岡大学 / 情報学部行動情報学科
産官学連携プロジェクトの開発担当
地域の博物館、企業と連携して、博物館が所有する図録を広めるためのアプリを開発しました。 このアプリでは、画面内にいるキャラクターと博物館の展示物について話ができます。 このキャラクターは図録を読むモードと読まないモードを切り替えることができ、図録を読んだ状態で回答する際は、図録の内容を参考に答えるため、最新の詳しいことについて言及します。 実装面では、バックエンドをFastAPI、フロントエンドをNext.jsで開発し、キャラクターの応答生成では、図録のデータを外部知識として持った状態でLLM(GPT-4o)が回答を生成します。 1番の難所は、キャラクターが話している時のアニメーションや、ユーザの入力待機中の時のキャラクターの"呼吸"アニメーションです。 イベントドリブン(キャラクターの話し途中→ユーザの入力待機→ユーザの回答の読み上げ→キャラクターの応答)に値を持ち続けることで解決しました。
