設定した仮説が誤りであると判断する（帰無仮説を棄却する）基準となる確率のこと。5％または1％いずれかの値が用いられることが多い。仮に有意水準5％であれば、5％未満の確率でしか発生しないことが起こっているのだから、それは偶然ではなく意味のある（有意な）差だと結論付ける。

帰無仮説から得られた確率（P値）が有意水準以下となった場合、帰無仮説は誤りであると判断され、本来導くべき対立仮説が正しいと判断される。反対に得られた確率が有意水準よりも大きくなった場合は、帰無仮説を誤りと判断できない。この場合は本当に帰無仮説が正しいときもあるが、「帰無仮説を否定するだけの十分なデータがなかった」「設定された帰無仮説が妥当ではなかった」などの場合が考えられ、帰無仮説が正しいとするのではなく、本来導くべき対立仮説が正しいかどうかをまだ判断できないと考える。