离散联合分布与贝叶斯概率计算

你好。上一课我们完成了有限差分梯度校验：通过对某个参数施加微小扰动、比较两次前向的标量损失，独立验证自动微分的梯度是否正确。那一课解决的是“模型如何沿着损失函数的局部斜率更新”。

从这一课开始，我们转向后训练同样离不开的另一种语言：概率。无论是理解模型对 token 的条件概率、评估器的误判率、偏好数据的噪声，还是分析奖励模型分数与真实质量的关系，核心问题往往都是：观察到一些证据后，应该如何更新原先的判断？

本节将从离散联合分布出发，计算边缘概率与条件概率，并推导和应用贝叶斯公式。你将尤其需要分清两种容易混淆、但含义截然不同的量：

$$P(\text{评测通过}\mid \text{回答正确})$$

以及：

$$P(\text{回答正确}\mid \text{评测通过})$$

---

联合分布：同时记录两个离散事件

设我们从一批 Agent 轨迹中随机抽取一条，并由人工审计其最终任务是否真正完成。定义两个随机变量：

• $C$：轨迹是否真实正确；
• $J$：自动评测器是否给出通过判断。

假设审计了 $100$ 条轨迹，得到如下频数表：

真实结果 $C$	评测通过 $J$	评测未通过 $\bar{J}$	合计
正确 $C$	54	6	60
不正确 $\bar{C}$	8	32	40
合计	62	38	100

表格内部的每一个格子都描述两个事件同时发生的情况，因此它们对应联合概率。例如：

$$P(C,J)=\frac{54}{100}=0.54$$

它的含义是：随机抽到一条轨迹时，这条轨迹既真实正确，又被评测器判为通过的概率为 $0.54$。

类似地：

$$P(\bar{C},J)=\frac{8}{100}=0.08$$

这 $8$ 条是自动评测器误判为通过的轨迹。注意，联合分布中的所有格子加总必须为 $1$：

$$0.54+0.06+0.08+0.32=1$$

形式化地，两个离散随机变量 $X,Y$ 的联合概率质量函数写作：

$$p_{X,Y}(x,y)=P(X=x,Y=y)$$

这里的逗号表示“同时满足”，不是先后顺序。

先用下面的材料建立“联合分布表中的单元格、边缘行列”这一基本视觉直觉。

---

边缘概率：暂时忽略另一个变量

若我们只关心“随机轨迹真实正确的概率”，而不关心评测器给了什么判断，就需要把 $J$ 的两种可能都纳入：

$$P(C)=P(C,J)+P(C,\bar{J})$$

代入表中的数值：

$$P(C)=0.54+0.06=0.60$$

这就是 $C$ 的边缘概率。在表中，它对应“正确”这一行的合计。

同理，评测器通过的边缘概率是：

$$P(J)=P(C,J)+P(\bar{C},J)$$ $$P(J)=0.54+0.08=0.62$$

它对应“评测通过”这一列的合计。

一般地，若已知联合分布 $p_{X,Y}(x,y)$，则：

$$P(X=x)=\sum _y{p}_{X,Y}(x,y)$$ $$P(Y=y)=\sum _x{p}_{X,Y}(x,y)$$

可以把“边缘化”理解为：保留你关心的变量，将另一个变量所有可能情况加总掉。

在后训练中，这种操作很常见。例如，若你记录“任务类型”和“是否成功”的联合统计，想知道总体成功率时，就需要对所有任务类型求和；想知道某一种任务的占比时，就需要对成功与失败求和。

边缘分布也必须是有效的概率分布：

$$P(C)+P(\bar{C})=1$$ $$P(J)+P(\bar{J})=1$$

对于本例：

$$0.60+0.40=1$$ $$0.62+0.38=1$$

---

条件概率：把总体缩小为一个子总体

现在问题变为：

已知一条轨迹被自动评测器判为通过，它真实正确的概率是多少？

这不是总体正确率 $P(C)$，而是：

$$P(C\mid J)$$

竖线 $\mid$ 读作“在……条件下”或“已知……”。条件 $J$ 的作用是改变统计总体：我们不再从全部 $100$ 条轨迹中随机抽取，而只从 $62$ 条“评测通过”的轨迹中抽取。

在这 $62$ 条通过轨迹中，$54$ 条真实正确。因此：

$$P(C\mid J)=\frac{P(C,J)}{P(J)}=\frac{0.54}{0.62}=\frac{54}{62}\approx 0.871$$

也就是说，评测器给出“通过”时，该轨迹真实正确的概率约为 $87.1\%$。

条件概率的一般定义是：

$$P(A\mid B)=\frac{P(A,B)}{P(B)}$$

其中要求：

$$P(B)>0$$

分子始终是“目标事件和条件事件同时成立”的概率；分母永远是竖线右侧条件事件的边缘概率。

这条规则可以防止最常见的错误：把分母写成目标事件的概率。

条件的方向会改变分母

继续使用同一张表，考虑另一句话：

已知轨迹真实正确，它被评测器判为通过的概率是多少？

这是：

$$P(J\mid C)$$

此时总体变成 $60$ 条真实正确轨迹，其中 $54$ 条被判为通过：

$$P(J\mid C)=\frac{P(C,J)}{P(C)}=\frac{0.54}{0.60}=0.90$$

所以：

$$P(J\mid C)=0.90$$

而：

$$P(C\mid J)\approx 0.871$$

它们使用同一个联合概率 $P(C,J)$，但分母不同、问题不同，通常数值也不同。

问题	条件总体	计算	结果
正确轨迹被判通过的概率	真实正确的 $60$ 条	$54/60$	$0.90$
判通过的轨迹真实正确的概率	判通过的 $62$ 条	$54/62$	约 $0.871$

一个实用判断方法是：先圈定竖线右边的群体，再在这个群体里数竖线左边事件发生了多少次。

下面的视频用频数表快速复习联合、条件概率以及贝叶斯公式的关系。

---

乘法公式与独立性：联合概率的两种分解

由条件概率定义移项可得：

$$P(A,B)=P(A\mid B)P(B)$$

同一个联合概率也可以从另一个方向分解：

$$P(A,B)=P(B\mid A)P(A)$$

放回轨迹例子：

$$P(C,J)=P(J\mid C)P(C)$$ $$0.54=0.90\times 0.60$$

这说明“真实正确”与“评测通过”之间存在统计联系。

若两个事件独立，知道其中一个发生并不会改变对另一个的概率判断。例如，若 $C$ 与 $J$ 独立，则应有：

$$P(J\mid C)=P(J)$$

但本例中：

$$P(J\mid C)=0.90$$

而：

$$P(J)=0.62$$

两者不相等，因此二者不独立。评测器的输出显然携带了关于真实正确性的额外信息，只是它并不完美。

这里的“相关”不等同于因果。联合分布、条件概率和贝叶斯公式讨论的是在数据中如何更新不确定性；仅凭这些数值，不能断言评测器的判断“造成”了回答正确。

---

贝叶斯公式：用证据更新判断

贝叶斯公式就是把同一个联合概率的两种分解方式相等：

$$P(A,B)=P(A\mid B)P(B)=P(B\mid A)P(A)$$

解出 $P(A\mid B)$，得到：

$$P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)}$$

其中：

• $P(A)$ 是先验概率：看到证据 $B$ 前，对 $A$ 的原始判断；
• $P(B\mid A)$ 是似然：如果 $A$ 为真，观察到证据 $B$ 的概率；
• $P(B)$ 是证据概率：总体上观察到 $B$ 的概率；
• $P(A\mid B)$ 是后验概率：看到证据 $B$ 后更新得到的判断。

回到轨迹审计例子，令：

• $A=C$：轨迹真实正确；
• $B=J$：评测器判通过。

则：

$$P(C\mid J)=\frac{P(J\mid C)P(C)}{P(J)}$$ $$P(C\mid J)=\frac{0.90\times 0.60}{0.62}\approx 0.871$$

这和前面直接从表中计算 $54/62$ 的结果完全一致。贝叶斯公式并没有产生新信息；它只是让你能够利用更容易获得的条件概率、先验概率，恢复反方向的条件概率。

分母从哪里来：全概率公式

二元情形中，事件 $B$ 的发生只可能来自 $A$ 或 $\bar{A}$ 两种互斥情况，因此：

$$P(B)=P(B\mid A)P(A)+P(B\mid \bar{A})P(\bar{A})$$

对轨迹例子：

$$P(J)=P(J\mid C)P(C)+P(J\mid \bar{C})P(\bar{C})$$ $$P(J)=0.90\times 0.60+0.20\times 0.40=0.62$$

这也解释了为什么贝叶斯公式的分母很关键：它衡量的是“证据在整个总体中出现得有多常见”。

---

基率：为什么高准确率不一定意味着高后验概率

医学检测是理解贝叶斯公式的经典场景，也直接对应后训练中的评测器、奖励模型或规则验证器问题：即使某个判断器在已知正例时准确率很高，也不意味着它给出的正面判断一定可靠。正例本身有多常见同样重要。

从图中读取：

$$P(D)=\frac{200}{10000}=0.02$$

其中 $D$ 表示患病。检测的灵敏度为：

$$P(+\mid D)=\frac{180}{200}=0.90$$

未患病者检测为阳性的概率，即假阳性率，为：

$$P(+\mid \bar{D})=\frac{980}{9800}=0.10$$

现在真正关心的是：

$$P(D\mid +)$$

即“检测阳性的人实际上患病的概率”。

从人数直接计算：

$$P(D\mid +)=\frac{180}{180+980}=\frac{180}{1160}\approx 0.155$$

也就是说，虽然检测对患病者的阳性率高达 $90\%$，检测阳性后真正患病的概率却只有约 $15.5\%$。

用贝叶斯公式复算：

$$P(D\mid +)=\frac{P(+\mid D)P(D)}{P(+\mid D)P(D)+P(+\mid \bar{D})P(\bar{D})}$$ $$P(D\mid +)=\frac{0.90\times 0.02}{0.90\times 0.02+0.10\times 0.98}$$ $$P(D\mid +)=\frac{0.018}{0.116}\approx 0.155$$

直觉上的关键在于：患病者本来极少。即使检测器有不错的灵敏度，规模更大的未患病人群仍会贡献许多假阳性。

这与后训练中的一个实际判断完全同构。假设一个自动评测器很擅长识别“真正高质量回答”，但你的候选池中真正高质量回答比例极低；那么，被评测器选中的回答中仍可能混入大量低质量样本。仅报告评测器在标注集上的“正类识别率”并不足以判断筛选结果是否可靠，还要看候选池的质量基率、误判率以及筛选后的后验精度。

---

从二维表到贝叶斯更新：一套稳定的解题流程

面对离散联合分布题，或分析一个小型评测统计表时，可以按下面的顺序处理：

1. 定义事件与变量。
   先明确每个事件的含义，例如 $C$ 是真实正确，$J$ 是评测通过。

2. 从表中找到联合概率。
   同时发生的两个事件对应一个内部单元格，例如 $P(C,J)$。

3. 根据问题计算边缘概率。
   若问题只保留一个变量，就对另一个变量的全部取值求和。

4. 确定条件概率的分母。
   在 $P(A\mid B)$ 中，分母是 $P(B)$，即竖线右边条件事件的总概率。

5. 若已知的是反方向条件概率，则使用贝叶斯公式。
   例如已知 $P(J\mid C)$、$P(C)$ 和 $P(J\mid \bar{C})$，但要计算 $P(C\mid J)$。

6. 做三个检查。
   联合表的所有单元格应加和为 $1$；每个条件分布应加和为 $1$；最终概率必须在 $0$ 与 $1$ 之间。

尤其要警惕下面这个常见错误：

$$P(A\mid B)=P(B\mid A)$$

它通常不成立。前者从“已观察到 $B$”的人群中问 $A$ 的比例；后者从“已知 $A$”的人群中问 $B$ 的比例。它们可能共享同一个联合事件，但观察总体不同。

---

小结

本节建立了从联合分布到贝叶斯更新的一条完整链路：

• 联合概率描述两个事件同时发生：

$$P(A,B)$$

• 边缘概率通过对另一个变量的所有取值求和得到：

$$P(A)=\sum _{b}P(A,b)$$

• 条件概率是在一个子总体中重新归一化：

$$P(A\mid B)=\frac{P(A,B)}{P(B)}$$

• 联合概率可从任一方向分解：

$$P(A,B)=P(B\mid A)P(A)$$

• 贝叶斯公式使用证据更新先验判断：

$$P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)}$$

对后训练而言，最值得形成习惯的一点是：看到评测器通过率、奖励模型高分率或筛选命中率时，主动追问其条件方向，以及候选集合中的基率。一个看似很高的条件概率，并不自动意味着反方向的质量保证。

下一课将继续处理离散分布，不过重点会从“事件之间如何关联”转向“一个随机变量的平均水平和波动程度”：期望、方差与协方差。