WFLE社内勉強会をチラ見せ：VTuber専用配信スタジオ編

Wright Flyer Live Entertainment 人事の松田です。

先日開催した社内勉強会「WFLE VTuber Hackers Meetup」

WFLE社員の技術や知見のアウトプットの場として、様々な職種のメンバーからLT形式でノウハウの共有を行いました。
テーマの設定も自由に何でも良し！という前提で社内公募を行い、8名が発表しました。

その内容を全3回に渡ってお届けしており、今回が最終回です！
前回までは「REALITYアプリ開発編」「REALITYアプリ企画・デザイン編」ということで、VTuber専用ライブ視聴・配信アプリREALITYの開発・運営を担うメンバーの発表をご紹介しました。

今回は「配信スタジオ編」としまして、弊社のVTuber専用スタジオ「REALITY Studio Tokyo」で日々配信を支えているメンバー3名の発表をご紹介します！

目次
・はじめに
・「配信音声のレベル整理の過程」ディレクター M.Hさん
・「IKモーションキャプチャの得意なこと、不得意なこと」開発担当 T.Yさん
・「出演者との距離の詰め方・コミュニケーション術」E.Yさん

はじめに

前回の記事でWFLEの概要について簡単にご紹介しています。
レポートの内容をよりご理解いただくためにもぜひ一読いただければと思います。

◆ REALITY Studio Tokyoについて
弊社には、史上初のVTuber専用スタジオ「REALITY Studio Tokyo」を完備しています。
ここでは日々最新技術を取り入れながら、人気VTuberの方々の生配信・収録等を行なっています。
スタジオについての詳細はぜひこちらの記事も合わせてご覧ください。

配信音声のレベル整理の過程

トップバッターは、REALITY Studio Tokyoでディレクターを務めるM.Hさんより、REALITYの配信音声に関する発表です！

ー技術的な問題が発生したら、まずは現状をしっかり観察

M.H：
前職ではインターネット動画配信の制作・技術を担当し、昨年WFLEへ入社しました。
入社後すぐに、REALITYの公式番組配信の音声レベルが安定していない、という課題に着目しました。

REALITYはスマートフォン向けのアプリなので、ユーザーは基本的にイヤホンで視聴しています。
それの音声が安定していないことはユーザーに対して優しくないし、出演者の方に対しても失礼だと思ってます。

自分もいちユーザーとしても安心して使用したいですし、この課題を自分が解決したいと、気づいたら手を挙げてましたね。

まずは現状を正しく把握するため、過去1ヶ月間の配信番組の音量感（ラウドネス）を計測しました。

その結果、数値的にも音量感に大きくばらつきが見受けられました。

ー過去の文献や事例を探った上でトライ

なぜ、音量感にばらつきがあったのかでしょうか？

それは数値的な指標がなかったからです。

と、いうわけで、なんらかの指標を作るべく、ネット上にある文献を調べました。

ネット事業者として目指すべく音量感の指標は見つかったのですが、それを実現するための機材もありませんでしたので、まずはそれを一つずつ揃えていき、テスト運用を繰り返し行いました。

ー常にアップデートしていく

その後、目標値に収めることはでき音量感を整えるという当初の目的は果たせました。
現在はREALITY Avatarでの音声レベルの平均値に合わせて音を作るようにしています。

というように、これはほんの一例でしたが、
今後も常にアップデートしていけるスタジオでありたいと思っています！

IKモーションキャプチャの得意なこと、不得意なこと

続いて、スタジオでは”UE4おじさん”の呼び名もある！？開発担当T.Yさんが発表しました。

ー IKの解決は”なぞなぞに似ている

T.Y：
IKとはInverse Kinematicsの略。
末端から体の中心に向かってボーンの回転を計算で求める方式のことを指します。
IKの仕組みは逆方向（Inverse）に解決していくことに特徴があります。
アクションフィギュアのポーズを決め、その姿勢が取れるように「手の位置がここにあるのだから、肘と肩はこのように曲がっているはずだ」と体の中心方向に向かって調整していきます。

IKを使う利点は、ボーンの位置と傾きを決めれば、出演者の実際のポーズを無視して関節の角度を自動決定してくれる、ということにあります。
ただし欠点として、思った方向に関節が曲がってくれず、唐突にねじれてイラっとするということが発生します。

REALITY Studio Tokyoでは、IKベースのキャプチャシステムであるOrionとXsensにIKINEMA LiveActionを組み合わせて運用しています。

IKを行う為に必要なtracking pointですが、計測点が増えると体位推定に役立つ情報が増えていきます。

つまり、ヒントを与えて行くと答えを導きやすくなるのです。
（計測点は平均的には20点程度あれば十分ですが、弊社が持っているVICONでは50点以上使う場合もあります）

ー IKとretargetingを使うと非現実的なキャラを演じられる

IKモーションキャプチャーの得意なこととしては、出演者とキャラクターの体格が全く同じではなくても、骨と関節の親子構造の共通部分がある程度以上あれば、IKとRetargetを使ってモーションを流し込み、破綻の少ない姿勢を取らせることができます。

反対に不得意なこととして、出演者の実際の体格とキャラクターの体格が違うことによる挙動のずれ・出演者のポースから逸脱した関節の捻れなどがどうしても発生してしまうという点があります。

ー「リアルタイム応答」と「挙動の安定」は二律背反

キャプチャデーターにはたまに異常なデータが混じることがあり、それが人体としてはありえないポーズや動きとして現れます。
事前収録ならばこのノイズを除去した上で、人間がデータを補正して自然な動きに修正することができます。

しかしREALITYでは生放送を行っていますので、出演者のリアルタイムのモーションキャプチャーデータを使用することになります。
リアルタイムでもノイズを除去する方法はいくつかあり、「想定より大きい異常値は無視する（ローパスフィルタ）」や「時間軸方向でのノイズ除去（カルマンフィルタ）」を使って異常なデータを除去することも可能です。

ただフィルタを当てれば挙動が安定してくれますが、挙動が安定するということによる別の問題も発生します。
出演者が機敏にアクションしてもフィルタで除去されて素早い動きが再現できず、安定しているけれども、なんだか反応が遅く、もっさりとした動きしか出来なくなります。

このように「リアルタイム応答」と「挙動の安定」は二律背反なので、どちらを優先するかは都度判断が必要だと思います。

おすすめは、演技へのリアルタイム応答性を優先して弱めなフィルタのみを適用、フィルタリングできない異常値が発生しないよう「これをやると失敗するポーズ」を事前に洗い出しておくことです。

出演者との距離の詰め方・コミュニケーション術

最後に、前職では大手企業にて研修講師として約10年のキャリアがあり、現在REALITY Studio Tokyoで出演者の装着担当をするE.Yさんが発表しました！

ー出演者の作品研究と観察はコミュニケーションの宝庫！

E.Y：
REALITY Studio Tokyoでは毎日生配信や収録を行っています。
これまでにたくさんの出演者の方々を対応させていただきました。

私は出演者の方々の対応をする際に、欠かさず行なっていることがあります。
それは一体なんでしょう・・・？（一同沈黙）

それは、出演者の作品や近況を知っておく、出演者をよく観察する、ということです。

具体的には、出演するVTuberの動画や作品は必ず見て、世界観、キャラクターの癖、表情、決めポーズなどをチェックをします。

そして、当日の出演者の服装やヘアスタイル、体調の変化もよ〜く観察しています！

装着担当は出演者のスーツ装着時のサポートやキャラクターモデルの動作確認など、出演者とコミュニケーションを取る機会がとても多いです。
動画や作品からキャラクターの立ち姿や表情、決めポーズを取った時の正解を知っておく必要があります。
出演者を観察することによって体形や服装、体調に合わせた装着の準備をしたり、必要なサポートが出来ます。

気持ちよく出演してもらう環境作りの一環として、VTuberと作品を知ってリスペクトする、出演者自身を観察して細やかなサポートが出来るようにしておく、円滑なコミュニケーションを取る際の引き出しをたくさん増やしておくことはとても重要なんです。

ー応対を意識した挨拶、ヒアリングは大切に！

出演者とのコミュニケーションにおいて、単に状況に応じて処理・行動する”対応”ではなく、相手となって受け答えに応じる”応対”を心がけています。

「REALITYのスタッフの応対が気持ち良かった」「REALITYに来ると楽しい」などなど、理想はREALITYに出演した方々に、スタジオのファンになってもらうこと！

それは挨拶一つで相手からの印象も変わってくると思っています。
皆さん、毎日笑顔で挨拶していますか？

挨拶や自己紹介は必ず自分から行なった上で、なるべく相手の名前を呼び、感謝や共感の気持ちはしっかり相手の目を見て伝えるようにしています。

小さなことですが、出演者との信頼関係を結ぶために非常に大事なことだと思っています。

出演者のニーズに対応するだけではなく、潜在的なニーズを聞き出し応えていくには積極的なヒアリングも大切にしています。

これらは他の業務やプライベートでも役立つことだと思うので、皆さんもぜひ意識してみてください。

社内のメンバー全員が気持ち良いコミュニケーションが取れるように、気づいたことがあれば日々アドバイスし合いましょう。

ー遠慮はNG！配慮はOK！

自分の行動や言葉を慎み控えることもありますが、自分からは声をかけづらい、声が小さいなどの遠慮は自分の都合です。