ビックデータ分析、データサイエンス、AI、BI、DX。

これらの言葉から、あなたは何を想像しますか？

使えば、未来予測できる魔法の道具？

マーケティングやコンサルティング業界の人が好んで使う、小難しい言葉？

流行りのバズワード？

好むと好まざるとにかかわらず、データは私たちの暮らしにますます根付いてきています。

専門の職種でなくても、ほとんどの人が活字、仕事の会議、売り上げや視聴数など、データとさんざん向き合っています。

誰しもデータから何かしらの推測をして行動指針を決めています。

それは現代人に限らず、昔むかしの人も同じです。

ゆるい定義で「データ」と呼ぶことのできる数字記録は古代まで遡ります。

データというと現代の僕たちはデジタル情報をイメージしますが、もう少し広義の意味で人類は昔から何らかの情報を記録し推測していました。

例えば「日照りの日が続いて水不足だったので今年は、飢饉になるんじゃないか」とか。

はっきりと残っている記録にナイル川の洪水の高さの記録があり、約三千年前からずっと残っているらしい。これは恐らく人類史上最長で続く時系列分析の記録です。

データ分析とは、せんじ詰めればパターンを見出し、ある変数がどう影響するかを予測することであり、昔から人は絶えずそれをやっているんです。

つまり、実は、人類はみんなデータサイエンティストなんです。

なら、君だってデータサイエンティストです。

データ分析と言うと小難しそうな回帰分析や信頼区間の計算をイメージするかもせれませんが最高のデータ分析は少し賢い人になら誰にでも理解できるものです。もし、ある研究や論文が理解できなければ、悪いのはおそらく君ではなく、その研究のほうです。

プログラミングや統計やエクセルが苦手な人でも大丈夫。

世の中に必要な何か。新しい何か。みんなに伝わる何か。そして、君が幸せになるために選ぶ、何か。一緒にその「何か」を探しに行きましょう。読み終えたときには、きっと分った”自信”と”勇気”を実感するはずです。

で、、、結局、データ分析ってなにができるの？

おそらくデータ分析という言葉を聞いた人は、多いかと思います。

しかし、これによって一体何ができたり、どんなことが分かったりするのかを知らない人はまだまだ多いような気がします。

データ分析は、これからのビジネスを考えるうえでも、あなたの生活を愉快で快適で幸せなものにするためにも役立ち、”驚き”と”発見”があります。

そこでデータの持つ面白さや活用方法を一般の人々にも親しみやすく伝えてみようと考えました。

データ分析やAIになんとなく興味がある人はもちろん、データを活用した新規事業や新ビジネスに興味がある人にも学びのある内容になっています。楽しく読んでもらえるようにイラストも多く描いてみました。

最高のデータ分析に必要なもの。それは圧倒的な戦略とロジック

データを駆使して「つきぬける感動」と「広がる可能性」を与える。

実は感動させるための「データ分析の方程式」があるんです！！

例えるなら作家が「こういう書き方をしたら、読者にこういうふうに響くだろう」と考えるのと同じような感覚かもしれません。

あるいは、イラストレーターが「こういう風に描いたら、魅力的に見えるだろう」と思いながら描くような感覚かもしません。

そんな『秘密の方程式』をこれから伝授しようと思います。

↑執筆者の手書きイラスト

データ分析の全体の流れ

まずは、データ分析の全体の流れについて説明します。

一口にデータ分析といっても工程は多岐にわたります。

分析の流れを整理すると下記のようになります。

１：まずは『やりたいこと』を考えよう

はじめにデータ分析の話を進めていくうえで重要な問題があります。それは、膨大な量のデータそれ自体の意味を見出しにくいことです。

なので、データを使ってやりたいこと、知りたいこと、解決したいことをはっきり決めるところから始まります。

データは食材、分析は調理道具。調理を誤れば価値を見いだせず、コストばかりがかさんで火傷するかもしれません。

料理人が食材を調理して何を作るのか考えるように分析者もまずは、じっくり考えデータの意味を理解します。

「解決すべき問題、ゴール、着地点」をはっきりさせておくことが、ポイントです。

どのようなことを明らかにしたいのか。どのような問題を解決したいのか。

事前に少量の予備データなどを取得し、目標に到達できそうか予備調査を行うのも良いでしょう。

データの価値を発揮するかは、どのように調理するかにかかっています。

素材を使って何ができるか、どんなことが分かったら、便利か、面白いか、、、そうしたアイデアをもとに適切な方法で分析をすることが重要になります。どんなに良い食材があっても、レシピや調理スキルがなければ美味しいご飯は作れません。同様にデータを生かすも殺すも分析者次第、分析者のセンスが問われます。

また、最初にどんな課題が出てきそうか想定して進めることも重要です。

しかし、詳しいデータでもない限り想定していなかった問題は出てくるものです。

初期段階で想定漏れがないようにと仮説や想定に時間をかけすぎて、なかなか次のステップに進まないこともあります。

うまくいかないことも視野に入れながら進め、できていなかったデータ収集や前処理、分析手法の部分を改善していくと効率的に前進できます。

２：データの作成、収集

料理でいえば食材集めです。ネットなどで公開されているデータを集めたり、社内のデータを活用したり、アンケート調査を実施するなどして、必要なデータを作成します。集めたデータは、十分信頼できるのかどうかも検討することも大切です。

３：前処理、データ加工

集めたデータは、収穫したてのジャガイモみたいに『不揃い』で『不格好』だったりと、そのままのデータでは、分析に使えないことがあります。（特にテキストマイニングの世界だと）

なのでデータのクレンジングといって、生の食材を下処理するようにデータ分析の世界でもデータの整形をしていくことが多いです。

４：データの分析

ここでは、前処理をしたデータを元に本格的に分析していきます。

データ分析は最初に立てた仮説に基づいて検証をしていく方法が一般的です。

ただ「仮説やアイディアはないけど商品データや社内データを分析してみたい」というケースも多々あると思います。そいういう場合はBIツールなどで手軽にデータを探索していくのもひとつの方法です。

統計的手法でグラフを作成したり、AI手法で分類や予測などデータから何らかのアウトプットを作成していきます。

５：結果の意味を考える

データを分析し、何かしらのアウトプットを出すことができたら、続いて分析結果を解釈します。当初の解決すべき問題が１回で解決できればよいですが、すんなり結果が出ないことの方が多いです。

分析を進めているうちに誤っていたこと、思ってもみなかった発見が次々と出てくるものです。

データの作成・収集、分析、前処理、データの分析に立ち返って、一歩一歩ゴールに向けて軌道修正しながら進めていくことが重要になります。

６：データの『見える化』でハートを揺さぶる

その次の段階のカギになるのが「データの見える化」という問題です。その結果を分かりやすく伝えるためには、誰もが見た瞬間にパッと意味を理解できるように表現する必要があります。

「料理を盛り付けで評価するな。味で判断しろ。」

「見栄えは、おまけ。重要なのは分析の ”中身と精度”。」

その意見は、ごもっとも。

でも折角、手間暇かけたデータ分析、たくさんの人に伝わった方がいいですよね。

経験でいうと「グラフなんて飾りです。偉い人は統計がわかっとらんのですよ。」と数字やら表結果をみせても、「はっきりものを言う。」とか言われるのが関の山。

表現方法は、いろいろとあり、一般的なグラフなどからテキストデータを可視化するワードクラウドなどがあります。

ダッシュボードを構築しよう！

素晴らしいダッシュボードが作り出せたら、作る人、売る人、使う人、皆が同じ「目標」を共有できます。

誰にでも分かりやすいダッシュボードを構築すれば無機質なデータに、生き生きとした新しい”価値”が生まれてきます。

ダッシュボードを共有すれば、それを見て、いろんな人が意見をくれます。ものづくりの現場にいる人はもちろん、マーケティング担当者の人、の考えを共有できます。

素晴らしいダッシュボードを作れたら、君の作った分析はどんどん良い方向に広がっていくでしょう。

最後は、個性あふれる人の創造力

意外かもしれませんが、ビックデータがその本来の価値を発揮するためには、「人の思考力」が不可欠です。

魔法のAIや分析ツールを使えば、誰でも一流のデータ分析ができると考える人も多いんですが、そうでもないんです。

確かに膨大なデータを解析するにあたっては、当然ながらコンピューターやAIの力を借ります。

だけど、それをどうやって活用するかを考えるのも、その決断をするのも人間です。データ分析をした後も最終的に必要なのは、人が『データを理解する力』、『想像する力』、『伝える力』です。

そんなわけで、矛盾しているように思うもしれないけど、テクノロジーが進化し、コンピューターを使ったAIやデータ分析が当たり前に使われる時代だからこそ、データを扱う人間自身の体験や経験が重要になってくるんです。

なんだか抽象的な話ばかりになってしまったので、具体的な分析の話をしていきます。今回は誰でも親しみやすく、ゆるい内容で曲の歌詞を題材に分析することにしました。

ちょっとでも『AI』や『自然言語処理』『テキストマイニング』に興味をもってもらえたら、うれしいです。

読んだあとで「そうだな、気ままにデータ分析の旅を楽しんでみるのも悪くない。」

そう思ってくれたら、すごくうれしいです。