可以完成所有习题并通俗易懂地讲解核心思路，突出动机和本质，确保本科生能完全理解所有解题思路和关键内容...

当然可以。下面我把你上传的《统计推断的理论与方法（2025秋）Homework 4》全部习题逐题做完，并用本科生能直接消化的方式讲清楚每一步的动机、关键想法与本质。题号与表述对应你给的作业PDF。(HW_4.pdf)

---

1. 反向 I-投影（Reverse I-projection）

记相对熵（KL）为 $D(p\|q)=\sum_y p(y)\log\frac{p(y)}{q(y)}$。下文所有对数底数保持一致即可（不影响结论）。

(a) Pythagoras 定理（反向形式）

要证：若 $q^\star=\arg\min_{q\in\mathcal Q}D(p\|q)$，且 $\mathcal Q$ 非空、闭、对数凸（log-convex），则

$$D(p\|q)\ \ge\ D(p\|q^\star)+D(q^\star\|q),\quad \forall\,q\in\mathcal Q.$$

动机与几何直觉

• 反向 I-投影是在**第二个自变量（模型）**上投影；对数凸意味着“在对数域做线性插值，再归一化”仍留在 $\mathcal Q$ 里。
• 把 $\mathcal Q$ 看成“可选模型的族”，最优 $q^\star$ 在这族中使 $D(p\|\cdot)$ 最小。Pythagoras 式不等式表明：从任意 $q$ 到 $p$ 的“误差”至少等于“最佳误差”再加上“从 $q$ 到 $q^\star$ 的额外误差”。

证明要点（沿对数几何路径求单边导数）
取任意 $q\in\mathcal Q$，对数凸给出几何平均路径

$$q_\lambda(y)=\frac{q^\star(y)^\lambda\,q(y)^{1-\lambda}}{\sum_{z}q^\star(z)^\lambda\,q(z)^{1-\lambda}},\quad \lambda\in[0,1],$$

且 $q_\lambda\in\mathcal Q$。令 $\phi(\lambda)=D(p\|q_\lambda)$。由于 $q^\star$ 是 $\mathcal Q$ 上的极小点，$\phi(1)\le \phi(\lambda)$，于是左导数 $\phi'(1^-)\le 0$。

计算 $\phi'(1^-)$ 可得（标准推导）

$$\phi'(1^-)=\sum_y\bigl(p(y)-q^\star(y)\bigr)\log\frac{q(y)}{q^\star(y)}\ \le\ 0.$$

把它移项即

$$\sum_y\bigl(p-q^\star\bigr)\log\frac{q^\star}{q}\ \ge\ 0.$$

而

$$D(p\|q)-D(p\|q^\star)-D(q^\star\|q)=\sum_y\bigl(p-q^\star\bigr)\log\frac{q^\star}{q},$$

从而得到所需不等式。□

本质：在对数域的“直线”是反向投影的“测地线”。极小性的“一侧导数非负/非正”给出 KL 的“三角恒等式”。

---

(b)（练习）$q^\star$ 是 $p$ 对指数族 $\mathcal E_t(q^\star)$ 的反向 I-投影 当且仅当 $p\in\mathcal L_t(q^\star)$。

关键事实
指数族：$q_\theta(y)=\dfrac{q_0(y)\exp\{\theta^\top t(y)\}}{Z(\theta)}$。
在线性族 $\mathcal L_t(c)$ 中：分布满足 $\mathbb E_p[t(Y)]=c$。

结论与推理

• 令 $q^\star\in\mathcal E_t(q_0)$。求 $\min_\theta D(p\|q_\theta)$ 的一阶条件： $$\frac{\partial}{\partial\theta}D(p\|q_\theta)= -\mathbb E_p[t(Y)]+\mathbb E_{q_\theta}[t(Y)]=0.$$ 最优点满足 $\mathbb E_p[t]=\mathbb E_{q^\star}[t]$，即 $p\in\mathcal L_t\bigl(\mathbb E_{q^\star}[t]\bigr)$。
• 反之，若 $p$ 与某个 $q^\star$ 匹配充分统计量的期望，则上式为零且 $D(p\|q_\theta)$ 在 $\theta$ 上凸，故 $q^\star$ 为唯一极小点，即反向 I-投影。□

本质：反向投影到指数族 ⇔ “矩匹配”。这正是信息几何里 $E$-坐标与 $m$-坐标（指数族与线性约束）的对偶。

---

(c) 另一种 Pythagoras 型判别条件（凸集版本）

要证：对任意分布 $p'$ 与任意 $q'\in\mathcal Q$（$\mathcal Q$ 非空、闭、凸），

$$q^\star=\arg\min_{q\in\mathcal Q}D(p\|q) \quad\Longleftrightarrow\quad D(p'\|q')+D(p'\|p)\ \ge\ D(p'\|q^\star).$$

“⇐” 方向：令 $p'=p$，$q'=q\in\mathcal Q$。则

$$D(p\|q)+D(p\|p)\ge D(p\|q^\star)\quad\Rightarrow\quad D(p\|q)\ge D(p\|q^\star),$$

故 $q^\star$ 为极小点。

“⇒” 方向的核心不等式
定义 $Z=\sum_y p(y)\,\frac{q'(y)}{q^\star(y)}$。因为 $\mathcal Q$ 凸、$q_t=(1-t)q^\star+t q'\in\mathcal Q$，极小性给出沿直线的右导数

$$\left.\frac{d}{dt}D(p\|q_t)\right|_{t=0^+}=-\sum_y p(y)\frac{q'(y)-q^\star(y)}{q^\star(y)}=1-Z\ \ \ge 0,$$

故 $Z\le 1$。

再看待证不等式的等价形式

$$D(p'\|q^\star)-D(p'\|q')=\sum_y p'(y)\log\frac{q'(y)}{q^\star(y)}\ \le\ D(p'\|p).$$

把左边写成

$$\sum_y p'(y)\log\frac{p(y)q'(y)}{q^\star(y)p'(y)} = -D\!\left(p'\middle\|\frac{p\,q'}{q^\star Z}\right)+\log Z\ \le\ \log Z\ \le\ 0,$$

于是结论成立。□

本质：在凸集上做“线性插值”时，极小点的变分不等式（右导数 $\ge0$）与一次 KL 分解（引入临时分布 $\propto p\,q'/q^\star$）合起来，就是这个“三点式”判别条件。

---

2. 建模题（3 选项的先验，2 值观测）

给定 $x\in\{0,1,2\}$ 与 $y\in\{0,1\}$：

$$p_y(y;0)=\epsilon^y(1-\epsilon)^{1-y},\quad p_y(y;1)=(1-\epsilon)^y\epsilon^{1-y},\quad p_y(y;2)=\tfrac12,$$

其中 $0<\epsilon<\tfrac12$。记先验 $p_x$。模型容量 $C=\max_{p_x}I(X;Y)=I_{p_x^\star}(X;Y)$；达到容量的 $p_x^\star$ 称“最不确定先验”（又称“等距先验/最不利先验”）。(HW_4.pdf)

(a)(i) 把 $I_{p_x}(X;Y)$ 化成指定形式

思路：互信息 $I=H(Y)-H(Y|X)$。对二元 $Y$，$H(Y)=H_B(p_Y(1))$。

• 设 $p_x(0)=p_0,\ p_x(1)=p_1,\ p_x(2)=p_2$，令 $s=p_1-p_0$。
• 边际 $p_Y(1)=m=p_0\epsilon+p_1(1-\epsilon)+p_2\tfrac12$。
• 用 $p_0+p_1=1-p_2$ 消去得到 $$m=\tfrac12+\tfrac{1-2\epsilon}{2}\,s.$$
• 条件熵 $H(Y|X)= (1-p_2)H_B(\epsilon)+p_2 H_B(\tfrac12)$。

于是

$$I_{p_x}(X;Y)=H_B\!\Big(\tfrac12+\underbrace{\tfrac{1-2\epsilon}{2}}_{f(\epsilon)}(p_x(1)-p_x(0))\Big) -\underbrace{\big(H_B(\tfrac12)-H_B(\epsilon)\big)}_{g(\epsilon)}\,p_x(2)-H_B(\epsilon).$$

答案：$f(\epsilon)=\dfrac{1-2\epsilon}{2}$，$g(\epsilon)=H_B(\tfrac12)-H_B(\epsilon)$。

---

(a)(ii) 求容量与 $p_x^\star$，并写成 $\alpha H_B(\tfrac12)+\beta H_B(\epsilon)$

动机：最大化 $I$ 等价于

• 让输出熵 $H(Y)$ 尽量大（二值最大为 $H_B(1/2)$），
• 同时让平均条件熵 $H(Y|X)$ 尽量小。

从 (i) 可见：

• $H_B(\cdot)$ 对称、在 $1/2$ 取最大 ⇒ 令 $s=p_1-p_0=0$（即 $p_1=p_0$）使 $H(Y)=H_B(1/2)$；
• 系数 $g(\epsilon)>0$，因此取 $p_2=0$ 以免扣分。

于是

$$p_x^\star(0)=p_x^\star(1)=\tfrac12,\quad p_x^\star(2)=0,$$

容量

$$C=H_B(\tfrac12)-H_B(\epsilon).$$

故 $\alpha=1,\ \beta=-1$。

---

(a)(iii) 用 $p_x^\star$ 形成的混合边际 $p_y^\star$

$$p_y^\star(y)=\tfrac12\,p_y(y;0)+\tfrac12\,p_y(y;1),$$

从而 $p_y^\star(1)=\tfrac12(\epsilon+1-\epsilon)=\tfrac12$。
答案：$p_y^\star=\text{Bernoulli}(1/2)$。

本质：容量达到时，输出被“居中”为均匀分布；且对所有使用到的输入 $x$，有等距性质 $D\big(p_y(\cdot;x)\big\|p_y^\star\big)=C$。

---

(b) 取均匀先验 $p_x(x)=1/3$

(i) 混合边际 $p_Y$

$$p_Y(1)=\tfrac13\big(\epsilon+(1-\epsilon)+\tfrac12\big)=\tfrac12.$$

故 $p_Y=\text{Bernoulli}(1/2)$。

(ii) 差额 $C-I_{p_x}$ 的系数 $\gamma,\delta$
此时

$$H(Y|X)=\tfrac23 H_B(\epsilon)+\tfrac13 H_B(\tfrac12),$$ $$I_{p_x}(X;Y)=H_B(\tfrac12)-H(Y|X)=\tfrac23\big(H_B(\tfrac12)-H_B(\epsilon)\big).$$

所以

$$C-I_{p_x}= \big(H_B(\tfrac12)-H_B(\epsilon)\big) -\tfrac23\big(H_B(\tfrac12)-H_B(\epsilon)\big) =\tfrac13 H_B(\tfrac12)-\tfrac13 H_B(\epsilon).$$

答案：$\gamma=\tfrac13,\ \delta=-\tfrac13$。

直觉：均匀先验“浪费”了 $x=2$ 这个完全无信息的选项三分之一的权重，导致互信息按比例缩水。

---

(c) 一般模型下把损失写成一个 KL

设一般似然 $p_{Y|X}(\cdot|x)=p_y(\cdot;x)$，
$p_x^\star$ 为容量达到的先验，$p_y^\star=\sum_x p_x^\star(x)\,p_y(\cdot;x)$。
对任意先验 $q_x$，令对应输出边际 $q_Y=\sum_x q_x(x)\,p_y(\cdot;x)$。

等距性质（当 $p_x^\star(x)>0$ 对所有 $x$ 成立）给出
$D\!\big(p_y(\cdot;x)\,\|\,p_y^\star\big)=C,\ \forall x$。

于是

$$\begin{aligned} C-I_{q_x}(X;Y) &=\sum_x q_x(x)\Big[D\!\big(p_y(\cdot;x)\big\|p_y^\star\big)-D\!\big(p_y(\cdot;x)\big\|q_Y\big)\Big]\\ &=\sum_y q_Y(y)\log\frac{q_Y(y)}{p_y^\star(y)} = D\!\big(q_Y\big\|p_y^\star\big). \end{aligned}$$

答案：$q_1(\cdot)=q_Y(\cdot)$，$q_2(\cdot)=p_y^\star(\cdot)$。

本质：容量点把每个被使用的条件分布都“等距”推到同一中心 $p_y^\star$。任何别的先验只是在改变输出边际 $q_Y$ 与这个中心的 KL 距离。

---

(d) 若存在 $x$ 使 $p_x^\star(x)=0$

这时仍有扩展的等距性质：
$D\big(p_y(\cdot;x)\|p_y^\star\big)\le C$（等号仅对 $p_x^\star(x)>0$ 的 $x$ 成立）。

照 (c) 的分解，

$$C-I_{q_x}= \underbrace{D\!\big(q_Y\big\|p_y^\star\big)}_{\text{(A)}}\ +\ \underbrace{\Big(C-\sum_x q_x(x)\,D\big(p_y(\cdot;x)\|p_y^\star\big)\Big)}_{\text{(B)}\ \ge 0}.$$

因此

$$C-I_{q_x}\ \ge\ D\!\big(q_Y\big\|p_y^\star\big).$$

结论：选择 B。即

$$\boxed{\,C-I_{q_x}(X;Y)\ \ge\ D\big(q_1(\cdot)\big\|q_2(\cdot)\big)\, }.$$

---

3. 典型序列（Typical Sequences）

设 $Y_1,\dots,Y_N$ i.i.d.，$Y_i\sim\operatorname{Bern}(\alpha)$，记总体分布为 $p$。本题明确：对数以 2 为底。(HW_4.pdf)

弱典型集（常用定义）：

$$\mathcal T_\varepsilon(p;N)=\Bigl\{y^N:\ \Bigl|\,-\tfrac1N\log p(y^N)-H(p)\Bigr|\le \varepsilon\Bigr\},$$

其中 $H(p)=H_B(\alpha)= -\alpha\log_2\alpha-(1-\alpha)\log_2(1-\alpha)$。

对伯努利序列，若序列中 1 的个数为 $k$，则
$-\tfrac1N\log p(y^N)= -\tfrac{k}{N}\log_2\alpha-\bigl(1-\tfrac{k}{N}\bigr)\log_2(1-\alpha)$。

---

(a) $\alpha=\tfrac12$

此时每个长度为 $N$ 的二进制序列的概率都相等：$p(y^N)=2^{-N}$。于是

$$-\tfrac1N\log_2 p(y^N)=1=H_B\!\Big(\tfrac12\Big),$$

对任意序列恒成立。因此

$$\mathcal T_\varepsilon(p;N)=\{0,1\}^N,\qquad |\mathcal T_\varepsilon|=2^N.$$

直觉：均匀抛硬币时，“每个序列都同样典型”，因为没有哪个序列更“意外”。

---

(b) $\alpha=\tfrac13$

典型集的刻画

• 把序列按类型（1 的比例 $\hat\alpha=k/N$）分组。
• 典型条件等价于 $\hat\alpha$ 落在 $\alpha$ 的一个小邻域（由 $\varepsilon$ 决定）： $$\mathcal T_\varepsilon(p;N)=\Bigl\{y^N:\ \bigl|-\hat\alpha\log_2\tfrac13-(1-\hat\alpha)\log_2\tfrac23 - H_B(\tfrac13)\bigr|\le\varepsilon\Bigr\}.$$

规模的指数级增长率（方法：types 计数或 AEP）

• 具有类型 $\hat\alpha$ 的序列数 $\binom{N}{k}$，其数量级 $\approx 2^{N H_B(\hat\alpha)}$。
• 典型集把 $\hat\alpha$ 限定在 $\tfrac13$ 附近，主导项来自 $\hat\alpha=\tfrac13$。
• 因此 $$|\mathcal T_\varepsilon(p;N)|\ \doteq\ 2^{\,N\,H_B(1/3)}\quad(N\ \text{充分大}),$$ 其中“$\doteq$”表示指数级等价。

答案：典型集为上述满足弱典型条件的所有序列；其规模的指数增长率为

$$\boxed{\ \lim_{N\to\infty}\tfrac1N\log_2|\mathcal T_\varepsilon(p;N)|=H_B(1/3)\ }.$$

本质：AEP 告诉我们长度 $N$ 的“高概率”序列数约为 $2^{N H(p)}$。$\alpha=1/2$ 时即 $2^N$；$\alpha=1/3$ 时为 $2^{N H_B(1/3)}$。

---

小结与复习要点

• 反向 I-投影：在“模型空间”里最小化 $D(p\|\cdot)$；对数凸 ⇒ 走“几何平均路径”看单边导数；指数族 ⇔ 矩匹配。
• 容量与等距性质：容量达到时输出边际均匀（本题二元时），且所有被使用的条件分布到该边际的 KL 相等为 $C$。任意先验的损失正好是两个输出边际的 KL。
• 典型集：弱典型的核心是“每个典型序列的自信息率 $\approx H(p)$”，规模指数级 $\approx 2^{N H(p)}$。

如需，我可以把关键推导（如 (1a) 的导数计算、(2c) 的 KL 分解、(3b) 的类型上界）再展开成板书式细节。