Rを通じて統計学を学ぶ備忘録ブログ

SPSSからRに移行したい私のような人向けのR解説ブログ兼学習用備忘録。

第29回 検定の多重性

第29回は検定の多重性について書きます。

 

以下の書籍のコードを参考に見ていきましょう

 

検定の多重性を調べます。前回のブログで書きましたが、検定は繰り返してはいけません。理由は、検定を複数回繰り返すことで、帰無仮説全体としての有意水準が上昇してしまうのです。たとえば5%で3回t検定を繰り返した時は、

1-(1-0.05)*(1-0.05)*(1-0.05)≒0.143

当初の5%ではなく、14%の確率で、どれか1つに有意差が出ることになります。

 

統計学の検定方法は、誤った判断をすることを前提に、その確率を一定水準以下にするよう統制するための方法です。つまり、t検定を3回に分けて行うことで、誤る確率が統制できなくなるので、好ましくないと言われているのです。

 

第一種過誤:帰無仮説が実際には真であるのに棄却してしまう過誤である。

帰無仮説通りの母集団から帰無仮説を棄却してしまう標本が得られること

第二種過誤:帰無仮説が実際には偽であるのに採択してしまう過誤である。

帰無仮説とは異なる母集団から、帰無仮説を支持してしまう標本が得られること

検出力:帰無仮説が偽のときに、帰無仮説を棄却して正しい結論を導ける確率。または、正しい対立仮説を正しいと判断できる確率。1-第2種の誤りを引いたもの

 

では、3群の平均値を比較するために、2群を比較するためのt検定3回行うと全体で第1種の過誤をどの程度発生するのかをシュミレーションしてみましょう。

> 反復回数<-10000

> 第1種の誤り<-0

> for(i in 1:反復回数){

+ 群A<-rnorm(n=100)

+ 群B<-rnorm(n=100)

+ 群C<-rnorm(n=100)

+ 検定1<-t.test(群A,群B,var.equal=TRUE)

+ 検定2<-t.test(群B,群C,var.equal=TRUE)

+ 検定3<-t.test(群C,群A,var.equal=TRUE)

+ 第1種の誤り<- 第1種の誤り+ifelse(検定1$p.value<0.05|検定2$p.value<0.05|検定3$p.value<0.05,1,0)

+ }

> 第1種の誤り/反復回数

[1] 0.1224

 

10000回、正規分布から乱数を100個作り、3群の平均値を検定した結果、第1種の誤りを犯す確率は10%程度あることがわかりました。

 

以上で第29回はお終い。

広告を非表示にする