Math-07.贝叶斯推断-03.共轭先验

本页讲解共轭先验（conjugate prior）——选合适先验族，使后验与先验同族，从而有解析解。

段末注释：若先验 $p(\theta)$ 与似然 $p(D \mid \theta)$ 结合后，后验 $p(\theta \mid D)$ 仍属于同一分布族，则称该先验为似然的共轭先验。

系列入口：00.系列规划 | 前置：02 MLE/MAP、Math-00/25 Beta、Math-00/11 二项

---

1. 为何需要共轭（D1–D2）

优势	说明
解析后验	无需 MCMC/VI
序贯更新	新数据 = 旧后验作新先验
可解释超参	伪计数、伪观测

复杂模型（深网）通常无共轭 → 用 05 VI 或 06 MCMC。

---

2. Beta–Binomial（D3）

似然：$k$ 次成功 / $n$ 次试验，$\theta$ 为成功概率

$$
k \mid \theta \sim \mathrm{Binomial}(n, \theta)
$$

先验：$\theta \sim \mathrm{Beta}(\alpha, \beta)$

后验：

$$
\theta \mid k, n \sim \mathrm{Beta}(\alpha + k,\ \beta + n - k)
$$

后验均值：$\mathbb{E}[\theta \mid D] = \dfrac{\alpha + k}{\alpha + \beta + n}$

$\alpha + \beta$ 可视为伪样本量；$k/n$ 为 MLE，后验均值是 MLE 与先验均值的加权平均。

---

3. 其他常见共轭对（D3–D4）

似然	共轭先验	后验	Math-00 链接
Binomial / Bernoulli	Beta	Beta	25 Beta
Poisson	Gamma	Gamma	24 Gamma
Normal（已知 $\sigma^2$）	Normal	Normal	20 正态
Normal（未知 $\sigma^2$）	Normal-Inverse-Gamma	NIG	—
Multinomial	Dirichlet	Dirichlet	—
Exponential	Gamma	Gamma	22 指数

Normal–Normal（均值 $\mu$ 未知，$\sigma^2$ 已知）：

$$
\mu \mid \bar{x}, n \sim \mathcal{N}!\left(\frac{\tau^{-2}\mu_0 + n\sigma^{-2}\bar{x}}{\tau^{-2} + n\sigma^{-2}},\ \frac{1}{\tau^{-2} + n\sigma^{-2}}\right)
$$

$\tau$ 为先验标准差，$n$ 增大 → 后验向样本均值收缩。

---

4. 跨领域应用（D7）

领域	模型	共轭用法
A/B 测试	Beta–Binomial	两版转化率后验比较
点击率预估	Beta 先验 + 二项点击	小流量广告位平滑 CTR
医学 epidemiology	Gamma–Poisson	发病率估计
质量控制	Beta–Binomial	批次不良率监控
主题模型 LDA	Dirichlet–Multinomial	文档-词分布（变分扩展）
可靠性工程	Gamma–Exponential	设备故障率
体育 analytics	Beta–Binomial	球员罚球命中率区间

---

5. 局限（D8）

局限	说明
族选择受限	真实先验信念未必在共轭族内
高维	Dirichlet 维数高时先验难设
多参数相关	独立共轭先验忽略相关结构
深网	无实用共轭，需近似

---

6. 代码示例（D12）

from scipy import stats
import numpy as np

# A/B: A 版 45/100, B 版 52/100, 先验 Beta(1,1)
a_post = stats.beta(1 + 45, 1 + 55)
b_post = stats.beta(1 + 52, 1 + 48)
samples_a = a_post.rvs(10000)
samples_b = b_post.rvs(10000)
p_b_better = (samples_b > samples_a).mean()
print(f"P(B > A) = {p_b_better:.3f}")
print(f"A 95% CI: {a_post.interval(0.95)}")

---

7. 小结

共轭先验给出闭式后验，是序贯推断与 A/B 的利器。下一篇：04 贝叶斯更新与序贯。

系列导航：02 MLE/MAP | 04 序贯