こんにちは、EDOCODE採用広報担当のツヅキです。昨年リーンプロセスの本格導入にチャレンジした「リーンチーム」の取り組みシリーズ、最終回です。今回は、チーム発足から4ヶ月、月に2回のA/Bテストを実施し続けたその成果と、チームメンバーの感想をお届けします。

前回までの記事

終盤を迎えるプロジェクト、2020年も終盤へ

2020年の年末。

コロナによるユーザーの利用落ち込みを取り戻すためのプロジェクトとして結成された「リーンチーム」は、達成感を感じていました。

ポイントモール全体のパフォーマンスを改善するような施策を見つけ出すために、A/Bテストを1ヶ月に2回のペースで行ってきました。A/Bテストと言うと一言ですが、データ分析やユーザーリサーチを元にした仮説立て、デザインの実装、クライアントとのコミュニケーションや効果検証と、忙しい毎日でした。

そんな状況のなかであっても、前回の記事でもご紹介したように、職種をまたいだ少人数のチーム体制をとっていたおかげで、密度の高い改善ペースを維持することができました。

「ユーザー還元金額3割アップ」を達成！

私たちが開発している「ポイントモール」と言われるサイトは、世の中にいくつも存在しています。こうしたサイトを一から作るには大変な手間がかかりますが、EDOCODEはポイントモールサイトを効率的に立ち上げるための「プラットフォーム」を提供している会社です。大手クレジットカード会社を中心に20社以上にこのシステムを提供していますが、そうしたシステム開発だけではなく、サイトやサービスの改善・施策の提案なども行っています。開発したものを納品して終わりではなく、クライアントと一緒にビジネスを成長させることも、私たちの重要な役割です。

EDOCODEが提供するプラットフォームを利用しているポイントモール全体で見ると、金額換算で月に1億円分以上をユーザーにポイント還元することができています。ポイントモールビジネスが成長するとは、この金額をどうやって伸ばしていくかと言い換えることができます。「リーンチーム」のミッションは、それを3割アップさせるというものでした。しかし、成功するかどうかもわからない施策を、いきなりプラットフォーム共通で展開するわけにはいきません。そこで、まずはある特定のモールでユーザー還元金額の3割アップを実現し、それをプラットフォーム全体に展開するというステップをする、というステップを踏みます。

リーンチームは、その「最初のクライアント」に施策の承諾をもらことができました。もちろん多少のリスクはあるものの、クライアントにとってもメリットがある十分にある提案です。当然ですが、ここで効果が確認された施策は、最終的にはプラットフォーム全体へ実装されるべきで、それが最終ゴールですそのため、今回のクライアントに提案する施策は、他のクライアントのポイントモールでも再現できるものに絞って検討とテストを重ねました。

結果としては、施策の実施に協力していただいたモールにおいて4つのA/Bテストを実施し、ユーザー還元金額を合計31%アップさせることができました。中には全く効果のなかった施策もありましたが、サイト分析やユーザーリサーチで丁寧に導き出した仮説により、多くの施策は効果的に働き、最終的に目標を達成することができました。

クライアントからも高評価

数値的な目標達成とは別に、チームが一番嬉しかったことがあります。それは、クライアントから高い評価を得たことです。

分析から仮説を導き出し、デザインし、実装し、そして効果検証する。そのプロセスやそれを実行に移すチームの働きは、クライアントにとっても納得のいくものだったようです。「うちのコーポレートサイトもお願いしたいくらいだ」という嬉しいコメントも得られました。

特にクライアントに好評だったポイントとしては、仮説がユーザーテストを元に立てられていたこと、そしてその結果がA/Bテストで検証できたことでした。サービス改善の提案が、ユーザーテストを経ることなくあったとしたら、クライアントもそれが本当に効果的なのかを判断することができません。また実装された後も、その結果が施策によるものなのか、それともそれ以外の要因によるものなのかを正確に知ることができません。そういう意味で、今回のプロセスはクライアントにも安心感を与えるものだったのだと考えられます。

さらに、今回の実績が関係者に広まることで、「A/Bテストをやってみたい」という社外からの相談も増えました。

チームメンバーの感想

今回この記事を執筆するにあたり、改めてチームメンバーにプロジェクトを振り返ってもらいました。

Natsumi：
「私は、プロジェクトの前からリーンプロセスに興味を持って情報収集をしていたこともあり、もともと期待が高すぎたのかもしれないのですが、もっとできたんじゃないかという思いがあります。プロセスが初めてだったこともあり、それぞれのプロセスで準備が必要なことが多く、A/Bテストをやっていくので精一杯でした。」

Timmy：
「たしかに3ヶ月の時間制限は厳しかったです。でも自分は、それはやりきったから分かったことだと思います。だからこそ、こういう振り返りをするのが一番大事ですね。」

Natsumi：
「そうですね、私も、今回やりきったことでEDOCODEにおけるリーンプロセスの導入に関して風穴を開けることができたんじゃないかと思っています。
具体的なプロセスの反省としては、A/Bテストに要素を盛り込みすぎて、検証の際に実際どの要素がどれだけ影響しているのかを探るのが難しかった場面があり、それは改善が必要だと思いました。」

Betsy：
「確かに、結果を見てどう判断すべきか迷ったことがありました。A/Bテストを設計するときに、結果をもっと想像する必要があったと思います。また、A/Bテストの定量的な検証は毎回できていましたが、定性的な検証ができていなかったのも反省ですね。A/Bテストにおいてもユーザーテストを毎回取り入れても良かったと思います。
ただ、やったことがないことを実際にやり切ったことで、自信がついたのはよかったです。リーンプロセスの全体的な動きの把握ができて、それぞれのプロセスで具体的に何をやるべきかがわかるようになりました。」

編集後記：

「リーンプロセス」は広報担当の私にとって、言葉は知っているものの、正直あまり理解できていないメソッドでした。そんな私が今回、実際に0から実行に移してきたメンバーの話を聞き、その具体的イメージが明確になるとともに、なぜこの方法が不確実性が高い場面で有効と考えられるかがわかりました。そして同時に、その実行の難しさも私なりに感じることができたように思います。

「リーンプロセス」では、”分厚い設計書を準備するのではなく、早く世に出してフィードバックを得る”ことが重要視されますが、かといって全く設計しなくていいというわけではありません。ただ、どこまでの設計は必要でどこからはやりすぎかの基準は、状況や、判断する人によって違うのではないかと思います。無計画では意味がありませんが、かといって、計画しすぎるとリーンプロセスの根幹が揺らいでしまう。実行に移すにあたり、多くのチームが悩むポイントなのでは？と思いました。最後にTimmyが言っていたように、その判断の基準や、それぞれのプロセスの運用方法に関しても、振り返って改善していくことが必要なのでしょう。

とはいえ、一緒に働く同僚としては、初めてのことをやりきった3人に拍手を送りたいです。お疲れ様でした！