仮説検定 — 帰無仮説を疑い、p値で決める
新しい販促キャンペーンを打った月の売上が、打たなかった月より伸びていた。「施策が効いた」と言い切れるでしょうか。ただのブレ（誤差）かもしれません。
この「たまたま」と「本物の効果」を切り分ける手続きが仮説検定です。計算より、この手続きの骨格（帰無仮説・有意水準・p値の意味）が問われます。
仮説検定はどのような手順で「たまたま」と「本物の効果」を切り分けるのでしょうか。
「効果はない」と仮に置いて、それを疑う手続きです
仮説検定はまず帰無仮説（H0）を立てます——「施策に効果はない」という、疑うための仮の主張です。検証したい本命「施策には効果がある」は対立仮説（H1）です。
帰無仮説が正しいと仮定したうえで、観測データ（あるいはそれ以上に極端なデータ）が起こる確率を計算したものがp値。小さいほど「帰無仮説のもとではめったに起きないことが起きた」ことになり、帰無仮説を疑う根拠が強まります。境界線は有意水準（α）で、慣習的に5%か1%が使われ、p値がこれを下回れば「棄却」、効果ありと判断します。
「棄却できない」は「帰無仮説が正しい」ではありません
p値が有意水準を上回り帰無仮説を棄却できなかった場合、それは「効果がないと証明された」のではなく「今回のデータでは効果があるとは言い切れなかった」だけです。証拠不十分であって無罪証明ではない。検定はこの意味で非対称です。
もう1つの軸が過誤です。第1種の過誤は帰無仮説が正しいのに誤って棄却する誤り（本当は効果がないのに「効果がある」と判定）で、確率はそのまま有意水準αです。第2種の過誤は対立仮説が正しいのに帰無仮説を棄却できない誤り（本当は効果があるのに見逃す）で、確率をβと呼びます。
p値の意味の取り違えと、有意水準の大小関係が的です
定番の誤りがp値の意味の取り違え——「p値は帰無仮説が正しい確率である」は誤りです。p値は「帰無仮説が正しいと仮定した場合に、このデータ以上に極端な結果が観測される確率」であり、帰無仮説の真偽の確率ではありません。
もう1つの的が有意水準の大小関係。「1%から5%に緩めると棄却されにくくなる」は逆です。大きくするほど棄却の基準は緩み、棄却されやすくなります（第1種の過誤の確率も同時に上昇）。「棄却できない＝帰無仮説が正しいと証明された」も誤りで、証拠不十分なだけです（上述）。
顧問先の「新しいPOPを置いた店舗の月商が上がった」という報告に、仮説検定の骨格はブレーキ役になります。帰無仮説（POPに効果はない）を立て有意水準5%で検証する習慣があれば、「たまたまの月による差」と「本物の効果」を混同した稟議を防げます。サンプル数が少ない店舗データほど誤差は大きく出やすい、という感覚も伝わります。
仮説検定は帰無仮説（差はない）を仮に立て、正しいと仮定した場合にこのデータ以上に極端な結果が起こる確率（p値）を計算し、有意水準（5%や1%）を下回れば棄却する手続きです。棄却できてもできなくても、それは確率的な判断。第1種の過誤（本当は差がないのに棄却）と第2種の過誤（本当は差があるのに見逃す）は常に背中合わせです。次は、点で終わらない推定——区間推定と変動係数へ。