こんにちは！
バンダイナムコネクサスのデータ戦略部でデータサイエンティストをしている原です。

データ戦略部ではグループ内事業の意思決定に貢献するために、様々な分析PJTを進めています。

これまでに自動分析ダッシュボードPJTやアプリDL数予測PJTの紹介をしてきましたが、今回は別の分析PJTである「ゲーム事業とライブ事業の横断分析(以下横断分析)」について紹介します。

横断分析とは？

あるスマートフォンゲームタイトル内の消費行動がオンラインライブイベント参加後にどう変化したかを定量的に分析する事を指しています。
スマートフォンゲームとオンラインライブイベントという2つの事業を横断して分析を行っている事から、「横断分析」という名称になっています。

なぜ横断分析をしたのか？

弊社がグループ内で進める重要PJTとして、IP (知的財産)のファンの皆様と一緒にIPや商品を盛り上げていくPJT(以下ファンゲージPJT)というものがあります。
(ファンゲージPJTの詳細はこちらをご参考下さい)

IPの盛り上がりを測る手段は色々考えられますが、ライブイベントのようなファンのエンゲージメントを高める取り組みが購買行動に与えた影響を調べる方法も有力な手段と考えています。

そこでファンのエンゲージメントを高めるリアルライブイベントがゲーム内消費行動に与える影響を分析する事にしました。

分析方法

反実仮想機械学習を用いた消費金額上昇効果の計算方法

下記図のように「①ライブ参加者」、「②ライブ不参加者」のユーザー1人1人に対して反実仮想を計算し、反実仮想におけるLIVE後消費額と実際のLIVE後消費額の差をLIVE効果と定義しました。
そしてこのLIVE効果の平均値をライブによるゲーム内消費金額上昇効果と定義しました。

分析手法

下記図の手順で分析を実施しました。
(Meta-Learner系手法であるX-Learnerをベースにしています)

まずゲームユーザーを学習データとして「①ライブ参加有無の予測モデル」を構築し、その予測モデルを用いてライブ不参加者の中から非介入群の抽出を行います。
そしてライブ参加者全体を介入群として抽出します。
(この抽出方法にした理由については後述します)

次に「条件付き処置効果予測モデル」を構築する下準備として、介入群に対して「②介入群に対する目的変数予測モデル」を構築し、非介入群に対して「②非介入群に対する目的変数予測モデル」を構築します
(目的変数はライブ後消費率にしています)

そして②で構築した予測モデルを用いて「③介入/非介入群だった場合の条件付き処置効果予測モデル」を構築します。
すなわち、介入群に対して「②非介入群に対する目的変数予測モデル」を用いる事で「仮に非介入群だった場合の目的変数」を計算し、実際の目的変数(介入群としての目的変数)との差を計算する事で、「介入群だった場合の条件付き処置効果」を求めます。
同様に「非介入群だった場合の条件付き処置効果」を求めます。
この「介入群/非介入群だった場合の条件付き処置効果」を介入群/非介入群それぞれを学習データとして予測したモデルが③になります。

介入群と非介入群のそれぞれに対して、「③非介入群だった場合の処置効果予測モデル」と「③介入群だった場合の処置効果予測モデル」を構築します。
この2つのモデルを用いて、ユーザー1人1人に対して「③非介入群だった場合の目的変数の変化量」と「③介入群だった場合の目的変数の変化量」を計算します。

そして介入/非介入群のバイアスを取り除くために「④傾向スコア」を用いて、共変量Xに対するCATE(条件付き平均処置効果)を計算し、この値をゲーム内消費金額上昇効果(以下ATE)としました。

技術的に工夫した点

前述の分析手法を考える上で技術的に工夫した点についても紹介します。

まず前提として今回のデータには以下3つの特徴がありました。
・ライブ参加者よりライブ不参加者の方が圧倒的に多いので、不均衡データとなっていた。
・ライブ不参加者にはライトユーザーが多いので、ライブ不参加者の中から非介入群を無作為抽出すると、介入群と非介入群の間で処置以外の差が大きくなってしまう。
・オフラインライブイベントのようにライブチケット抽選申し込み者という母集団が存在しない。

この2つの特徴に対処するため、下記図のように「ライブ不参加者の中でライブ参加確率が高いと分類されたユーザーのみを非介入群」としました。

なぜ反実仮想機械学習を利用したのか？

次に反実仮想機械学習を用いた理由について説明したいと思います。

今回の分析テーマである「ライブ参加有無によるゲーム内消費行動の違い」を把握するための方法として、下記図のように「①ライブ参加者」、「②潜在的ライブ参加者」のゲーム内消費金額の差を計算するという方法もあります。

しかしこの方法では、ライブ参加有無以外の他の要素(バイアス)も混ざってしまうので、ライブ効果を厳密に測定する事が出来ません。
そこでバイアスを除外した厳密な効果検証を行うために、反実仮想機械学習を用いる事にしました。

分析結果

反実仮想機械学習を用いて計算した分析結果は以下図のようになりました。

まずは反実仮想機械学習の結果を利用して「購買率の上昇効果(ATE)」をユーザーセグメント毎に計算しました。
※こちらは実際の数値ではありませんが、本稿ではこの数値を基に説明させて頂きます
全体の購買率が5.0pt上昇している事から、ライブイベント参加がゲーム内で購買行動を影響を与えている事がわかります。
特に非購買ユーザーの購買率が4.6pt上昇している点が特徴的で、ライブイベント参加がゲーム内の購買行動のきっかけになったケースもある事がわかりました。

また実際の数値はお見せ出来ないのですが、「購買率の上昇効果(ATE)」を用いて「ライブ参加によるゲーム内消費金額の増分」と「ライブ参加による消費金額増加の最大ポテンシャル」も計算し、ビジネス的なポテンシャルがある事もわかりました。

これらの分析結果をまとめると「IPファンがライブ参加することにより、ゲームへも好影響を与える」というメッセージになります。
そして現在、分析チームとゲーム事業とライブ事業が連携しながら、IPファンの方々に、ゲームだけでなくライブも楽しんでいただきIPを盛り上げていくための様々な施策を検討、実施しています。

さいごに

横断分析PJTの紹介は以上になります。
このPJT以外にも様々な分析PJTを実施していますので、少しでも興味を持って頂けたら気軽にお話を聞きに来て下さい！