マネジメントとビジネストレンドの知見を得るMBAメディア

タグから検索する

MBAダイジェスト 2019/07/11

ビッグデータ分析(6)仮説検定で「たまたま度」を測る



執筆:村西重厚(BBT大学院MBA本科修了、データ・サイエンティスト株式会社 エグゼクティブ・ディレクター)
対象科目:ビッグデータ分析(豊田 裕貴 ビジネス・ブレークスルー大学大学院 客員教授、法政大学大学院イノベーション・マネジメント研究科 教授)

ビッグデータ分析の最終回は「仮説検定」をテーマに取り上げます。

データを分割すると、信ぴょう性が下がる?

これまで5回にわたって、スーパーのアンケートデータを用いて、品質、品揃え、レジの待ち時間などの項目を要約し、顧客満足度や何を重要視するかについて、関係性を分析してきました。

さらにデータを男性と女性に分割したところ、例えば駐車場の位置など、重要視する項目に男女で違いがありそうな結果となりました。

ビッグデータ分析のプロセスにおいて、求める結果に有効な要素をつきとめるために、上述で男女に分けたように分析対象のデータを様々な切り口で分割することがあります。

ビッグデータは文字通り大量のデータを扱いますが、分析対象のデータを男女別やさらに年齢別、居住地域別など細かく分割すると、項目によってはデータ数に偏りが生じたり、ある項目のデータ数が少なくなり、データの信ぴょう性に疑問を持つことがあります。

仮説検定を用いて結果の「たまたま度合い」を判定する

下図は今回のアンケートにおける男女別の満足度、重要度をプロットしたもので、左が男性、右が女性の結果を示しています。

この結果を見ると男女で生鮮食品の品揃えに関して満足度、重要度に差があるように見えます。

しかし、仮にアンケートで生鮮食品を重要視すると答えた女性の人数が5人だった場合、たまたま生鮮食品が大好きな女性が5人答えてしまったのではないか?という疑念が湧くかもしれません。

この「たまたま度合い」を確認するツールを、統計学では「仮説検定」と呼びます。

さて、「生鮮食品品揃え」の男女間の満足度の平均値を比較すると、

 男性の満足度平均値:3.27
 女性の満足度平均値:3.85

となりました。

数学的な詳細説明は省略しますが、t検定という手法を用いて、この結果に対して「たまたま度(有意確率、p値とも言う)」を計算すると、

 P値(有意確率)=2.61e-07(=0.000000261)

という結果となりました。%に換算すると0.0000261%となります。これより「たまたま度」は非常に低く、男女の満足度には差がある、といえる判断できます。

同様に、「レジの待ち時間」について計算をしたところ、

 男性の満足度平均値:2.81
 女性の満足度平均値:2.54

 p値(有意確率)=0.099011

となり、たまたま度が約10%あることがわかりました。

2つの「たまたま度」を比較し、どちらが満足度に男女差があるのかを選ぶとすると、生鮮食品の品揃え、となりますね。

この「たまたま度」の度合いについて、例えば「5%以下だとたまたまではない」などと決めるのは、分析対象や望む結果によります。対象がスーパーのアンケートであれば5%以下であれば充分でしょうが、新薬の副作用が調査対象であれば、もっと少ない値を要求することになるでしょう。

データ分析で導き出された結果は、どれくらいの「たまたま度」があるのかを確認をするようにしましょう。

ビッグデータ分析の流れを総括

さて、これまで6回にわたってご紹介をした内容はビッグデータ分析の入門編です。実際の講義では「これぞビッグデータ分析」とも言える高度な手法を、データ分析ツールを用いて体感することができます。

どのような手法を選んでも、データに対しての向き合い方は、下記のポイントで共通しています。

・望ましい結果を明確にする
・望ましい結果に対して、どのような項目が影響を及ぼしているか、仮説を立てる
・仮説検証のために、データを様々な切り口、手法で試行錯誤しながら分析をする
・分析結果のたまたま度合いを検証し、本当に望ましい結果を導いているのかを確認する

今回の連載でお伝えしたかったことは、このビッグデータ分析の一連のプロセスでした。

筆者もビッグデータ分析に関わる事がありますが、実際のデータ分析の現場では、特徴ある切り口をすぐに見いだす事が出来ず、地味な試行錯誤の繰り返しになることが多いです。しかしその中から、有効な切り口が見つかった時の喜びは大きなものです。

皆さんももし手元に売り上げデータやアンケートデータなどのビッグデータがあるならば、独自の示唆の発見に挑戦し、ビッグデータ分析の醍醐味を味わってみて下さい。

村西重厚

BBT大学院本科 修了生
データ・サイエンティスト株式会社 エグゼクティブ・ディレクター
一般社団法人起活会 代表理事
1972年 兵庫県神戸市出身
工学部機械科卒業後、メーカーで生産技術部門に従事。
その後、営業部門を経て新規事業部門でWEB事業を立ち上げる。
新規事業の立ち上げ時に経営知識の必要性を感じ、2013年にBBT大学院に入学。
2015年MBA取得。MBA取得後、ベンチャー企業に転職し、営業、マーケティング、資金調達などに携わる。
2017年より、検索ビッグデータ分析を元に企業戦略の立案・推進に携わる一方で、一般社団法人起活会を立ち上げ、起業家支援を行っている。
趣味は登山、クライミング、ギター。

※BBT大学院MBAプログラムの受講体験談はこちら