仮説検定 — 帰無仮説を疑い、p値で決める
新しい販促キャンペーンを打った月の売上が、打たなかった月より伸びていた——このとき「施策が本当に効いた」と言い切れるでしょうか。たまたまのブレ（誤差）で片付く程度の差かもしれません。
この「たまたま」と「本物の効果」を切り分ける手続きが仮説検定です。計算そのものより、この手続きの骨格——帰無仮説・有意水準・p値の意味——が問われます。
仮説検定はどのような手順で「たまたま」と「本物の効果」を切り分けるのでしょうか。
「効果はない」と仮に置いて、それを疑う手続きです
仮説検定はまず帰無仮説（H0）——「施策に効果はない（差はない）」を仮に立てます。目的はこれを「捨てられるかどうか」を確かめること。検証したい主張——「施策には効果がある」の方は対立仮説（H1）と呼びます。
手順は、帰無仮説が正しいと仮定した上で、実際に観測されたデータ（あるいはそれ以上に極端なデータ）がどれくらいの確率で起こりうるかを計算する——これがp値です。p値が小さいほど「帰無仮説のもとではめったに起きないことが起きた」ことになり、帰無仮説を疑う根拠が強まります。判断の境界線が有意水準（α）——慣習的に5%（0.05）か1%（0.01）が使われ、p値がこれを下回れば「帰無仮説を棄却」——効果があると判断します。
「棄却できない」は「帰無仮説が正しい」ではありません
p値が有意水準を上回り帰無仮説を棄却できなかった場合——これは「効果がないと証明された」わけではなく、「今回のデータでは効果があるとは言い切れなかった」というだけです。証拠不十分であって無罪証明ではない——検定はこの意味で非対称な手続きです。
検定にはもう1つの軸として過誤があります。第1種の過誤は、帰無仮説が正しいのに誤って棄却してしまうこと（本当は効果がないのに「効果がある」と判定）——その確率がまさに有意水準αです。第2種の過誤は、対立仮説が正しいのに帰無仮説を棄却できないこと（本当は効果があるのに見逃す）——その確率をβと呼びます。
p値の意味の取り違えと、有意水準の大小関係が的です
定番の誤りがp値の意味の取り違え——「p値は帰無仮説が正しい確率である」という記述は誤りです。p値はあくまで「帰無仮説が正しいと仮定した場合に、このデータ以上に極端な結果が観測される確率」——帰無仮説そのものの真偽の確率ではありません。
もう1つの的が有意水準の大小関係——「有意水準を1%から5%に緩めると、帰無仮説は棄却されにくくなる」は逆です。有意水準を大きくするほど棄却の基準は緩くなり、棄却されやすくなります（第1種の過誤の確率も同時に上がります）。「棄却できない＝帰無仮説が正しいと証明された」も誤りで、上で見た通り証拠不十分というだけです。
顧問先で「新しいPOPを置いた店舗の月商が上がった」という報告を受けたとき、仮説検定の骨格はブレーキ役になります——帰無仮説（POPに効果はない）を立て、有意水準5%で検証する習慣を持てば、「たまたまの月による差」と「本物の効果」を混同した稟議を防げます。サンプル数が少ない店舗データほど誤差が大きく出やすい、という感覚も同時に伝えられます。
冒頭の問いに答えます。仮説検定は帰無仮説（差はない）を仮に立て、それが正しいと仮定した場合にこのデータ以上に極端な結果が起こる確率（p値）を計算し、有意水準（5%や1%）を下回れば棄却する手続きです。棄却できてもできなくても、それは確率的な判断——第1種の過誤（本当は差がないのに棄却）と第2種の過誤（本当は差があるのに見逃す）が常に背中合わせにあります。次は、点で終わらない推定——区間推定と変動係数へ。