P値のウソ!?統計分析の妥当性を見抜くには!

2019-09-25 / 統計学ITビジネス

- ビッグデータやAIが流行り、統計分析手法も一般に幅広く使われる中で、分析の妥当性をP値で単純に見ているケースも多く見られます。それがどれだけ怖いことかを解説していきます。

記事の要約

  • 経済学や心理学のいわゆる「文科系」の研究や、ビジネス統計ではp値が小さい=分析が正しいとされることがある
  • p値は仮説が正しい確率や、仮説と異なったデータがまぐれで起きた確率を示すのではなく、特定の統計モデルに「どれくらいそぐわないか」のみを示す。
  • p値は研究やビジネスの仮説が正しいかどうかを示すには不十分であり、例えp値が非常に小さい値であっても、事実が仮説から外れている場合もありうる。
  • とりあえず検定、有意性、という考えでいくと必ずp値一辺倒の分析になってしまう。統計モデルをしっかり構築した分析をすることが本当に求められる統計分析の力。

ビジネスや文科系研究の現場でのP値神話

これまで、統計解析の結果の有効性の多くはP値を用いて語られてきました。P値は数値だけ見ると非常に使いやすい指標のように思えてきます。これの値が極端に小さければ、帰無仮説は棄却されて元々の仮説が正しいと言い切ることができる、と。また、回帰分析などでは、P値が低いものだけが有効で、大量の説明変数のうちからP値が小さいものだけを重要視すればいい、と。

この話題は、実は2016年頃には既にアメリカ統計学会から既に声明が出されており、「P値のみで、分析の信頼性を判断してビジネスの方向性や、政策を決めることはやめよう」とされています。 そこでも語られていますが、P値はこれまで現場で使われてきた用い方では、あまりにも間違った使われ方をしていると指摘されています。

  • P値は仮説が正しい確率を示しているわけではありません。

P値は帰無仮説と得られたデータの分布との差が異なる違いを検定した結果の値であり、仮に帰無仮説が真とした場合に、得られた結果とどの程度同じ結果が得られるかを確率的に検定した結果の値です。これを、単に「元々の仮説が正しいと考えられる確率」としているケースの多いこと多いこと。。。

帰無仮説=元々の仮説の反対の仮説 において、得られたデータを実現できる確率 ≠ 元々の仮説が正しいと考えられる確率

ということです。この間違いが一番危険で、一番良く使われています。実際に、現場でもこのような分析をしていることがよくありますし、特に文系の論文ではP値で判定をしているケースも見受けられます。

今の現場での実態

それから日本の統計分析の実現場で起きていることはどうなのか、P値神話は変わってきたのか、というと、怪しいところがあります。今、AIやビッグデータ解析などを理論に基づいて教える仕事もしており、生徒さんも実際にマーケティングの現場や解析の現場で働いている人もおられますが、分析にP値のみを信頼性の指標として載せて報告していることがほとんどという声も聞かれます。

これは何故なのでしょうか?

  • 1つは、やはり、P値が便利な指標のように思えて、分析の指標として使いやすく見えるということでしょう。
  • そしてもう一つは、その指標の正しい使い方を知らないで使っているということがあります。
  • また、仮説が間違っているのに、その仮説に統計分析結果をなんとか合わせた結果ともとれます。
  • または、お金が絡んでたり、学会へ向けて、納期が決まっている中で間違った仮説を正しく考え直す余裕がないということもあります。

いずれにしても、複雑な要因が絡み合って、正しい統計分析の解釈を出来ていないケースが多いのかと思います。 実際に使っている人も、間違っていると認識せずに使っているケースも多いでしょう。

どうしていくべきか?

正しいレビューが受けられる仕組みを作る

研究論文などの外部に公表されているものであれば、統計の専門家を入れてレビューができるような仕組みを作っていく必要があるでしょう。

ある程度レベルの高い研究誌であれば、そのような先生が査読についていたりするとは思いますが、国内のあまり有名でないところとかだと、査読に統計の専門家がいないケースもあるかもしれません。

また、全員が全員統計の専門家である必要もないので、その分析の設計やレビューがしっかりできる人がしっかりレビューできる体制を、構築することができれば、間違った統計解釈で惑わされるケースはなくなるのではないでしょうか。

検定の世界から脱却する

このP値の問題は、見方次第では、「頻度論ベースの従来の統計分析の限界」でもあると言えます。SPSSやSTATAや、Excelで簡単に数クリックで行われる統計分析ではP値のような数値を用いざるを得ないので、使い、間違った解釈を生んでいるようにも思えます。

そこで、近年主流の統計解析手法として見直されている「ベイズ統計」や、「モデリング」を主体とした統計分析にシフトしていくことが考えられます。

もちろん、それらを行おうと思いますと複雑な統計ソフトを使っていく必要が合ったり、場合によってはプログラミングを学ぶ必要が有ります。

ただ、簡単に分析をして間違った解釈で統計解析をしてしまうと、ビジネスの方向性を間違えて会社を危機に陥らせてしまったり、世の中にウソの研究結果をばらまいてしまったり(たまに意図してウソを告知しているのもありますが。。。)ということになりえます。

そうなるよりは、しっかりと勉強して、意義のある分析結果を発表できる方がいいですね。

おすすめ本

■統計モデリング

この記事の関連記事

関連記事はありません。

コメント欄

記事にコメントする

まだコメントはありません。