- ビッグデータやAIが流行り、統計分析手法も一般に幅広く使われる中で、分析の妥当性をP値で単純に見ているケースも多く見られます。それがどれだけ怖いことかを解説していきます。
これまで、統計解析の結果の有効性の多くはP値を用いて語られてきました。P値は数値だけ見ると非常に使いやすい指標のように思えてきます。これの値が極端に小さければ、帰無仮説は棄却されて元々の仮説が正しいと言い切ることができる、と。また、回帰分析などでは、P値が低いものだけが有効で、大量の説明変数のうちからP値が小さいものだけを重要視すればいい、と。
この話題は、実は2016年頃には既にアメリカ統計学会から既に声明が出されており、「P値のみで、分析の信頼性を判断してビジネスの方向性や、政策を決めることはやめよう」とされています。 そこでも語られていますが、P値はこれまで現場で使われてきた用い方では、あまりにも間違った使われ方をしていると指摘されています。
P値は帰無仮説と得られたデータの分布との差が異なる違いを検定した結果の値であり、仮に帰無仮説が真とした場合に、得られた結果とどの程度同じ結果が得られるかを確率的に検定した結果の値です。これを、単に「元々の仮説が正しいと考えられる確率」としているケースの多いこと多いこと。。。
帰無仮説＝元々の仮説の反対の仮説 において、得られたデータを実現できる確率 ≠ 元々の仮説が正しいと考えられる確率
ということです。この間違いが一番危険で、一番良く使われています。実際に、現場でもこのような分析をしていることがよくありますし、特に文系の論文ではP値で判定をしているケースも見受けられます。
それから日本の統計分析の実現場で起きていることはどうなのか、P値神話は変わってきたのか、というと、怪しいところがあります。今、AIやビッグデータ解析などを理論に基づいて教える仕事もしており、生徒さんも実際にマーケティングの現場や解析の現場で働いている人もおられますが、分析にP値のみを信頼性の指標として載せて報告していることがほとんどという声も聞かれます。
これは何故なのでしょうか？
いずれにしても、複雑な要因が絡み合って、正しい統計分析の解釈を出来ていないケースが多いのかと思います。 実際に使っている人も、間違っていると認識せずに使っているケースも多いでしょう。
研究論文などの外部に公表されているものであれば、統計の専門家を入れてレビューができるような仕組みを作っていく必要があるでしょう。
ある程度レベルの高い研究誌であれば、そのような先生が査読についていたりするとは思いますが、国内のあまり有名でないところとかだと、査読に統計の専門家がいないケースもあるかもしれません。
また、全員が全員統計の専門家である必要もないので、その分析の設計やレビューがしっかりできる人がしっかりレビューできる体制を、構築することができれば、間違った統計解釈で惑わされるケースはなくなるのではないでしょうか。
このP値の問題は、見方次第では、「頻度論ベースの従来の統計分析の限界」でもあると言えます。SPSSやSTATAや、Excelで簡単に数クリックで行われる統計分析ではP値のような数値を用いざるを得ないので、使い、間違った解釈を生んでいるようにも思えます。
そこで、近年主流の統計解析手法として見直されている「ベイズ統計」や、「モデリング」を主体とした統計分析にシフトしていくことが考えられます。
もちろん、それらを行おうと思いますと複雑な統計ソフトを使っていく必要が合ったり、場合によってはプログラミングを学ぶ必要が有ります。
ただ、簡単に分析をして間違った解釈で統計解析をしてしまうと、ビジネスの方向性を間違えて会社を危機に陥らせてしまったり、世の中にウソの研究結果をばらまいてしまったり（たまに意図してウソを告知しているのもありますが。。。）ということになりえます。
そうなるよりは、しっかりと勉強して、意義のある分析結果を発表できる方がいいですね。
■統計モデリング
関連記事はありません。
まだコメントはありません。