UX改善チームが3ヶ月でCVRを61%上げた話

こんにちは！
マイベストでフロントエンドエンジニアをしている竹尾です！

最近弊社はオフィス移転をしたのですが、ビルが大きすぎてフロアが余っている(!?)ので、
ドローンレースがしたくなって、ドローンを買いました。とても楽しみです！
（しかしコロナ禍でほぼリモートワークなので、しばらく楽しめそうにありません…）

さて、マイベストの開発部はミッションという単位でチームが分かれています。
※詳しくは、以前の投稿で弊社CTOの渡邊が紹介しています。

コロナ禍の状況でもチームの目線を合わせながら一体感を持ってプロダクトを開発するために行っていること | Engineer

こんにちは。マイベストでCTOをしている渡邊です。以前、プロダクト開発部に関する記事を書いたときから時間が経ってしまいました。この間、4度目の引っ越しや、Zホールディングスとの資本業務提携、新型コロナによるニューノーマルな働き方などで、大きくプロダクト開発部の働き方やチーム構成がかわってきましたので、今回は以前からプロダクト開発部の働き方がどう変わってきたのかをお伝えできればと思います。 ...

https://www.wantedly.com/companies/my-best/post_articles/308099

本記事では、私が所属している「PUF（Product/User Fit）をミッションとするチーム」について紹介したいと思います。

大まかに、以下の流れでご紹介いたします。

PUFミッションとチームの紹介
CVRを改善したプロセスについて
今後の展望

PUFとは何か

まずはPUF、つまりProduct/User Fitとは何かご説明します。

Product/User Fitとは、PMF（Product/Market Fit）の前段階として生じる、
製品に対して「少数でも熱心な」ユーザーがついている状態のことです。

適切な製品と適切なユーザーを鋭く把握しているものの、より大きな市場の好機をつかむ感覚がまだないかもしれません。でもそれでよいのです！しかし、それはProduct/Market Fitではなく、Product/User Fitだ、と言うほうが良いでしょう。

Product/User Fitは、Product/Market Fitに向かう道のりの中でも重要な一歩です。

出典：https://review.foundx.jp/entry/product-user-fit-comes-before-product-market-fit

マイベストは「最高の選択体験を実現する」ことを目指しており、

そのために商品やサービスを比較しながら選択できるmybestを運営しています。

https://my-best.com

なので、マイベストのPUFチームでは、

「（例え対象が限定的だとしても、）理想的な選択体験を見つけること」

を大目的とし、様々な施策を実行しています。

PUFチームの紹介

PUFチームは半年ほど前に結成し、現在4人のメンバーがいます。
（ディレクター1/デザイナー2/エンジニア1）

先述のように大目的は「理想的な選択体験を見つけること」ですが、
平たく言ってしまえば、UI/UXの改善を行っているチームです。

そして、現在チームとして、CVRをKPIにしています。
CVRの定義は「各ECサイトへの送客ボタンのクリック率（セッションあたり）」としています。

※社内では、ユーザーの「商品購入率」と区別するために「CTR」と呼んでいますが、本記事では分かりやすさのためにCVRと呼んでいます。
※実際の弊社の目標管理はOKRですが、本記事では分かりやすさのためにKPIと呼んでいます。

CVRを61%上げた方法

PUFチームは、チーム結成から3ヶ月で、主要コンテンツのCVRを61%向上（つまり1.61倍に）できました。

そのプロセスについてご紹介したいと思います。

まず当時の前提として、それ以前に「あるべきUXについて言語化するプロジェクト」が有り、
新機能・UIのアイデアは既にいくつか有る状態でした。

（↓当時のFigmaです。画像には載せていませんが、UIデザインも有り、デザイナーさんが綺麗にまとめてくれています。）

改善プロセス

PUFチームでの改善プロセスは以下のようなものでした。

①アイデアを整理

チームで理想のUXについて議論をしながら、ブレストでアイデアを追加しました。
ツールとしてmiroを用いて、アイデアをユーザー行動のフェーズで分けて整理しました。

②ABテスト

UXに対するインパクトが大きそうなアイデアから優先的にABテストを行いました。
インパクトの大小は、メンバーの投票と議論によって大まかに判断しました

③ABテストの結果を見て議論

ABテストの測定結果からUXに関する学びを得て、さらにアイデアを追加したりブラッシュアップしました。
ABテストではCVR以外の指標も計測していたので、チームで議論しながら、ユーザー行動に対する解像度を上げていきました。

上記の①〜③の行動をサイクルとして回すことで、より洗練された機能が見つけられると考え、
ひたすらテストと議論を繰り返しました。

その結果、3ヶ月という短い期間でCVRを大幅改善できました。

（当時、アイデアを整理していたmiroを再現しました。内容はほぼダミーですが。）

（テスト対象となったアイデアは以下のように進行フェーズを整理しながら進めました。）

実際の施策例

せっかくなので、特にCVR改善率が高かった施策を、ごく簡単にですがいくつかご紹介します。

比較表（商品ランキング一覧機能）の位置を商品詳細よりも手前に移動
- CVRが17%改善しました。やはり商品は比較しながら選べるのが良さそうでした。
比較表のレイアウトと表示項目を変更
- CVRが15%改善しました。より比較しやすいUIにできたのが良かったようです。
記事のセクション単位で移動できるタブを画面上部に表示
- CVRが6%改善しました。記事全体のナビゲーションの役割と、見たい情報をすぐに見れるようになったことが良かったようです。

比較表の変更が合計で32%改善と特に大きかったですね。
その他にも様々な施策を実施しましたが、紙幅の都合上割愛させていただきます…
（ご興味ある方はぜひ話を聞きに来てください…！）

PUFチームが大事にしていること

さて、実際の活動よりもう少し抽象度を上げて、PUFチームが大事にしていることをご紹介したいと思います。

①CVRを重視する

WEBサービスのUX改善の指標としては、直帰率やページ読了率、PV/SSなど様々考えられますが、
PUFチームでは、CVRとそれに影響する（相関が有る）指標しか追っていません。

なぜかと言うと、マイベストがユーザーの選択体験・選びやすさを重視しており、その結果として「選べる」ことを表わすCVRが最も重要だと考えているからです。

また、マイベストのビジネスモデル的に、UXを改善してCVRが上がると、それは売上に直結します。
その売上をまた投資して、さらに選びやすいサービスにしていくことができます。
そして選びやすさを追求すれば、満足したユーザーがリピートしてくれることも増えるため、それ以外の指標も後追いで上がってきます。

なので、ユーザーが選びやすさにフォーカスすることができ、それを表わす指標としてCVRを重視しています。

②ABテストによって計測していく

PUFチームでは、アイデアの検証手法として、ABテストを軸にしています。

ABテストと言っても、一般的にイメージされるものとは少し違います。
ABテストと聞くと例えば、ボタンの色など、細かいUI改善と思われがちですが、そう言ったテストはしていません。（※細部へのこだわりを否定するつもりは有りません。）

機能自体の有無などをテストしていて、できるだけUX全体に大きなインパクトを与えるアイデアを優先してテストしています。

ABテストを軸に進めている理由は、「大胆なアイデアほど、出してみないと分からない」と考えているからです。
なので、アイデア段階ではあまり振り落とさずに「テスト結果を見て考える」という姿勢で取り組んでいます。

実際にABテストをしていると、「これは良いアイデアだ」と思っていたものが伸びなかったり、「これはそこそこだな」と思っていたものの数字が大きく伸びたりしました。
UXに対する解像度が上がれば、このギャップも小さくなると思いますが、いずれにせよできるだけテストで計測した方が良いアイデアが見つかると思っています。