假设检验与 p 值：它到底回答了哪个问题

先把 A/B 实验放一放，看一枚硬币。

朋友掏出一枚硬币，说它是公平的。你抛了 10 次，10 次全是正面。你不会张口就说「它有问题」，但你心里已经做了一步计算：假设他说得对，硬币真的公平，那连出 10 次正面的可能性有多大？是 1/1024，约 0.001。这个 0.001 就是 p 值的原型。

请盯住这句话的方向。你算的是「在公平这个前提下，看到这么极端结果的概率」。你没有算「这枚硬币是公平的概率」。后者要算，你还得先回答一个额外的问题——朋友随手掏出的硬币，本来有多大比例是灌了铅的？这条信息，10 次抛掷根本没提供。两个数字的条件方向相反，谁也变不成谁。

假设检验就是把上面这套动作制度化。先立一个「什么都没发生」的说法当靶子，叫原假设：两版转化率一样、新药和安慰剂一样、这枚硬币公平。然后问：如果靶子是真的，我手上这批数据会有多不像话？不像话到什么程度算罕见，事先划一条线，通常是 0.05。低于线，就说「数据和靶子处不来」，把靶子推倒。

它长得像反证法，但软了一档。反证法从假设出发推出矛盾，矛盾一出现，假设必死。这里推不出矛盾，只推出「很别扭」。所以结论也必须软一档，而软下来的部分恰好是两处分岔。

p 很小的时候，摆在面前的是两种情况。要么原假设确实为真，只是你正好撞上了那批罕见样本；要么原假设是假的。检验让你挑第二种，但第一种从来没被排除，它只是被你按概率放弃了。

p 很大的时候，同样是两种情况。要么真的没有差别；要么差别真实存在，但你的样本量太小、噪声太大，这批数据看不出来。「看不出来」和「不存在」是两件事。所以 p = 0.4 只能说成「没有找到足够证据」，不能说成「证明了两组一样」——后一句把第二种情况整个抹掉了。

这两处分岔，就是这一片全部的内容。剩下的符号，只是把它们写清楚。

记原假设为 H₀，就是那个「什么都没发生」的说法；备择假设 H₁ 是它的反面。

从数据里造一个数，叫检验统计量 T。它的作用是把整批数据压成一个「离 H₀ 有多远」的刻度。这批实际数据算出来的那个值记作 t_obs。

p 值的定义是：p = P(T 至少和 t_obs 一样极端 | H₀ 为真)。

竖线右边是条件，左边是事件。右边是 H₀，说明整个概率是在「H₀ 成立」这个假想世界里算的。左边是数据，不是假设。所以 p 衡量的是数据在 H₀ 下的罕见程度。而 P(H₀ | 数据) 是另一个东西，两者要靠贝叶斯公式换算，还得额外提供 H₀ 的先验概率。检验里没有这个先验，所以那一步换算做不了。

显著性水平 α 是你事先划的线，通常取 0.05。规则是：p < α 就拒绝 H₀，否则「不拒绝」。注意措辞是「不拒绝」而不是「接受」。α 本身也有含义：它是 H₀ 为真时你误判的概率上限，也就是上一节第一处分岔的发生率。

还有一条常被漏掉：p 的定义依赖于「你事先决定了要看哪个 T」。同一批数据换 5 个指标各算一次 p，只要有一个小于 0.05 就宣布成功，那么「至少一个小于 0.05」的概率不是 0.05，而是 1 − 0.95⁵ ≈ 0.23。