下面是一份中英文双语、侧重动机与本质、且配有完整推导的讲解讲稿，涵盖你给出的整份作业所有小题（作业：Theory and Methods for Statistical Inference — Homework 4, Fall 2025）。为便于对照，我在每题标题处标注了题号来源。(HW_4.pdf)

---

1. Reverse I-projection 反向 I 投影（题 1） (HW_4.pdf)

Core idea (动机)：
KL 散度 $D(p\|q)$ 是“以 $p$ 为真，相对 $q$ 的代价”。正向 I 投影最小化 $D(\cdot\|q)$；反向 I 投影最小化 $D(p\|\cdot)$。几何上，二者分别对应在“概率单纯形”的两套坐标（期望坐标与自然坐标）上的投影。反向 I 投影的“勾股”型不等式反映了：在合适的（对数）凸结构上，最优点 $q^\*$ 将总误差分解为“到最优点的误差 + 最优点到任意可行点的误差”。

(a) Pythagoras’ Theorem for reverse I-projection

Claim（结论）：若 $Q$ 非空、闭且对数凸（log-convex），并且

$$q^\*=\arg\min_{q\in Q} D(p\|q),$$

则对任意 $q\in Q$，

$$\boxed{D(p\|q)\ \ge\ D(p\|q^\*)\ +\ D(q^\*\|q).}$$

Proof idea（证明思路）：
利用 $Q$ 的对数凸性，将 $q$ 与 $q^\*$ 连接的“对数线段”

$$q_\lambda(\cdot)\ \propto\ q^\*(\cdot)^{\lambda}\,q(\cdot)^{1-\lambda},\quad \lambda\in[0,1]$$

仍在 $Q$ 中。定义 $\phi(\lambda)=D(p\|q_\lambda)$。用

$$\log q_\lambda=\lambda\log q^\*+(1-\lambda)\log q-\log Z(\lambda),$$

可得

$$\phi'(\lambda)=\mathbb{E}_{q_\lambda}\!\left[\log\frac{q^\*}{q}\right]-\mathbb{E}_{p}\!\left[\log\frac{q^\*}{q}\right],\qquad \phi''(\lambda)=\mathrm{Var}_{q_\lambda}\!\left(\log\frac{q^\*}{q}\right)\ge 0,$$

故 $\phi$ 在 $[0,1]$ 上凸。因为 $q^\*$ 为可行域端点 $\lambda=1$ 的极小点，左导数 $\phi'(1^{-})\le 0$，即

$$\mathbb{E}_{q^\*}\!\left[\log\frac{q^\*}{q}\right]\ \le\ \mathbb{E}_{p}\!\left[\log\frac{q^\*}{q}\right].$$

注意
$\mathbb{E}_{q^\*}[\log(q^\*/q)]=D(q^\*\|q)$，
$\mathbb{E}_{p}[\log(q^\*/q)]=D(p\|q)-D(p\|q^\*)$，
代回即得

$$D(q^\*\|q)\ \le\ D(p\|q)-D(p\|q^\*)\ \Rightarrow\ D(p\|q)\ \ge\ D(p\|q^\*)+D(q^\*\|q).$$

Q.E.D.

中文要点回顾：关键是沿“对数线段”看 $D(p\|q_\lambda)$ 的一阶条件与凸性；极小点的一侧导数给出不等式，化为 KL 形式即得结论。

---

(b) Practice：反向投影到指数族的刻画

Claim（结论）：给定某个分布 $q^\*$。令以充分统计量 $t(\cdot)$ 与基分布 $q^\*$ 构造的指数族

$$\mathcal{E}_t(q^\*)=\Big\{q_\theta(y)=\exp(\theta^\top t(y)-\psi(\theta))\,q^\*(y)\Big\},$$

以及对应的线性族（矩约束族）

$$\mathcal{L}_t(q^\*)=\Big\{p:\ \mathbb{E}_p[t(Y)]=\mathbb{E}_{q^\*}[t(Y)]\Big\}.$$

则

$$\boxed{\ q^\* \text{ 是 } p \text{ 到 } \mathcal{E}_t(q^\*) \text{ 的反向 I 投影 }\ \Longleftrightarrow\ p\in \mathcal{L}_t(q^\*)\ }.$$

Why（本质）：
对任意 $\theta$，

$$D(p\|q_\theta)=\text{const}-\theta^\top \mathbb{E}_p[t(Y)]+\psi(\theta),\quad \nabla_\theta D(p\|q_\theta)=-\mathbb{E}_p[t]+\nabla\psi(\theta).$$

指数族的梯度恒等式给出 $\nabla\psi(\theta)=\mathbb{E}_{q_\theta}[t]$。
极小化在 $\theta$ 处的必要充分条件是 $\mathbb{E}_{q_\theta}[t]=\mathbb{E}_p[t]$。当 $\theta=0$ 时 $q_\theta=q^\*$。因此 $q^\*$ 成为极小点当且仅当 $\mathbb{E}_p[t]=\mathbb{E}_{q^\*}[t]$，即 $p\in\mathcal{L}_t(q^\*)$。

直观解释（中文）：反向投影到指数族等价于“匹配矩”（match the moments）。若 $p$ 的矩与 $q^\*$ 一致，那不用动参数（$\theta=0$）已是最优。

---

(c) 三点不等式的等价刻画（凸集合情形）

Claim（结论）：设 $Q$ 非空、闭、凸。则

$$\boxed{\ q^\*=\arg\min_{q\in Q}D(p\|q)\ \Longleftrightarrow\ D(p'\|q')+D(p'\|p)\ \ge\ D(p'\|q^\*),\ \forall\,p',\ \forall\,q'\in Q.}$$

($\Rightarrow$) Proof sketch（要点）：
令 $F(q)=D(p\|q)=\text{const}-\sum_y p(y)\log q(y)$，在凸集 $Q$ 上最小化的一阶最优性条件给出对任意 $q'\in Q$，

$$\sum_y \frac{p(y)}{q^\*(y)}\big(q'(y)-q^\*(y)\big)\ \le\ 0\ \Longleftrightarrow\ \sum_y p(y)\frac{q'(y)}{q^\*(y)}\ \le\ 1. \tag{★}$$

对任意 $p'$，考虑

$$\Delta\ \triangleq\ D(p'\|q')+D(p'\|p)-D(p'\|q^\*)\ =\ \mathbb{E}_{p'}\!\left[\log\frac{p' q^\*}{p\,q'}\right].$$

定义
$c\triangleq \sum_y p(y)\,q'(y)/q^\*(y)\ \le 1$（由 (★)），
以及概率分布 $r(y)=\frac{p(y)q'(y)/q^\*(y)}{c}$。
则

$$\Delta=\underbrace{D(p'\|r)}_{\ge 0}-\log c\ \ge\ -\log c\ \ge\ 0.$$

故 $\Delta\ge 0$ 成立。

($\Leftarrow$)：令 $p'=p$ 即得 $D(p\|q')\ge D(p\|q^\*)$ 对所有 $q'\in Q$ 成立，故 $q^\*$ 为极小化解。

中文本质：这是 KL 作为负熵的 Bregman 散度时的“三点性质”。（★）是最优点的方向导数非负；把它代入到对数—凸性不等式中即可推出全体 $p'$ 的比较式。

---

2. Modeling 建模（题 2） (HW_4.pdf)

Setup（设定）：$x\in\{0,1,2\}$；$y\in\{0,1\}$。条件分布

$$p_y(y;0)=\epsilon^y(1-\epsilon)^{1-y},\quad p_y(y;1)=(1-\epsilon)^y\epsilon^{1-y},\quad p_y(y;2)=\tfrac12,\quad 0<\epsilon<\tfrac12.$$

记先验 $p_x$ 的权重为 $w_i=p_x(i)$，互信息 $I_{p_x}(x;y)=H(Y)-H(Y|X)$。

(a)(i) Find $f(\epsilon),g(\epsilon)$

先算混合边缘：

$$\begin{aligned} p_Y(1)&=w_0\,\epsilon+w_1(1-\epsilon)+\tfrac{w_2}{2} \ =\ \tfrac12+\big(\tfrac12-\epsilon\big)\,(w_1-w_0),\\ p_Y(0)&=1-p_Y(1). \end{aligned}$$

于是

$$I_{p_x}(x;y) = H_B\!\Big(\tfrac12+\underbrace{(\tfrac12-\epsilon)}_{f(\epsilon)}(w_1-w_0)\Big) -\underbrace{\big(H_B(\tfrac12)-H_B(\epsilon)\big)}_{g(\epsilon)}\,w_2 - H_B(\epsilon).$$

Answer：$\boxed{f(\epsilon)=\tfrac12-\epsilon,\quad g(\epsilon)=H_B(\tfrac12)-H_B(\epsilon)=1-H_B(\epsilon).}$

Intuition（直觉）：$x=0$ 与 $x=1$ 分别把 $y$ 的成功率推到 $\epsilon$ 与 $1-\epsilon$；它们对边缘 $p_Y(1)$ 的净效应只取决于“权重差” $w_1-w_0$；而 $x=2$ 是纯噪声，带来条件熵的线性惩罚 $g(\epsilon)w_2$。

---

(a)(ii) Capacity and optimal prior $p_x^\*$

为最大化 $I$，让二元熵的自变量等于 $1/2$（使 $H(Y)$ 取极大 1 bit），同时避免惩罚项：

• 由上式需 $w_1-w_0=0\Rightarrow w_1=w_0$；
• $g(\epsilon)>0$（因 $0<\epsilon<1/2\Rightarrow H_B(\epsilon)<1$），故令 $w_2=0$。

因此

$$\boxed{p_x^\*(0)=p_x^\*(1)=\tfrac12,\quad p_x^\*(2)=0,}$$

容量

$$\boxed{C=H_B(\tfrac12)-H_B(\epsilon)=1-H_B(\epsilon).}$$

写成 $C=\alpha H_B(1/2)+\beta H_B(\epsilon)$ 的形式：$\boxed{\alpha=1,\ \beta=-1}$。

---

(a)(iii) Mixture $p_y^\*$ under $p_x^\*$

$$p_Y^\*(1)=\tfrac12 \epsilon+\tfrac12(1-\epsilon)=\tfrac12,\quad \Rightarrow\quad \boxed{p_y^\*(\cdot)=\text{Bernoulli}(1/2)}.$$

---

(b) Uniform prior $p_x(x)=1/3$

(i) Mixture：

$$p_Y(1)=\tfrac13\epsilon+\tfrac13(1-\epsilon)+\tfrac13\cdot\tfrac12=\tfrac12,$$

故 $\boxed{p_Y(\cdot)=\text{Bernoulli}(1/2)}$。

(ii) Loss to capacity（容量损失）：

$$H(Y)=1,\quad H(Y|X)=\tfrac23 H_B(\epsilon)+\tfrac13 H_B(1/2) =\tfrac23 H_B(\epsilon)+\tfrac13.$$ $$I_{p_x}(x;y)=1-\Big(\tfrac23 H_B(\epsilon)+\tfrac13\Big) =\tfrac23\big(1-H_B(\epsilon)\big)=\tfrac23\,C.$$

因此

$$\boxed{C-I_{p_x}(x;y)=\tfrac13\big(H_B(1/2)-H_B(\epsilon)\big),}$$

即 $\boxed{\gamma=\tfrac13,\ \delta=-\tfrac13}$。

Message（要点）：平均化引入的“噪声模式” $x=2$ 使得互信息仅达容量的 $2/3$。

---

(c) General model & divergence identity（一般模型与散度恒等式）

设一般模型 $p_{Y|X}(\cdot|x)$，容量对应先验 $p_x^\*$ 与边缘 $p_y^\*$。令任意先验 $q_x$，其对应边缘为 $p_Y^{(q)}=\sum_x q_x(x)\,p_{Y|X}(\cdot|x)$。

Equidistance Property（等距性质）（题目提示）：若 $p_x^\*(x)>0\ \forall x$，则

$$D\!\big(p_{Y|X}(\cdot|x)\,\big\|\,p_y^\*\big)=C,\quad \forall x.$$

另一方面，互信息可写为

$$I_{q_x}(x;y)=\mathbb{E}_{q_x}\,D\!\big(p_{Y|X}(\cdot|x)\,\big\|\,p_Y^{(q)}\big).$$

KL 的“混合恒等式”（把若干分布对同一目标的平均 KL 分解）给出

$$\mathbb{E}_{q_x}\,D\!\big(p_{Y|X}(\cdot|x)\,\big\|\,p_y^\*\big) =\mathbb{E}_{q_x}\,D\!\big(p_{Y|X}(\cdot|x)\,\big\|\,p_Y^{(q)}\big) \,+\,D\!\big(p_Y^{(q)}\big\|p_y^\*\big).$$

在 $p_x^\*$ 全支撑的假设下，左边等于 $C$。于是

$$\boxed{C-I_{q_x}(x;y)=D\!\big(p_Y^{(q)}\big\|p_y^\*\big)}.$$

Answer：取 $\boxed{q_1(\cdot)=p_Y^{(q)}(\cdot),\ q_2(\cdot)=p_y^\*(\cdot)}$。

---

(d) When some $p_x^\*(x)=0$（有点不在最优先验的支撑上）

这时仅在支撑内有等距：对支撑外的 $x$ 有
$D(p_{Y|X}(\cdot|x)\|p_y^\*)\le C$。
仍有上面的分解式，但左侧变为
$\mathbb{E}_{q_x}D(p_{Y|X}(\cdot|x)\|p_y^\*)\le C$。
因此

$$I_{q_x}(x;y)+D(p_Y^{(q)}\|p_y^\*)\ \le\ C \ \Rightarrow\ \boxed{C-I_{q_x}(x;y)\ \ge\ D(p_Y^{(q)}\|p_y^\*)}.$$

Answer：选择 $(c)$ 中的 $q_1,q_2$ 后，选项 B 为真：

$$\boxed{\text{B:}\ C-I_{q_x}(x;y)\ \ge\ D(q_1\|q_2).}$$

Takeaway（要点）：一旦容量先验在某些 $x$ 上取 0，任何把质量放在这些点上的次优先验都会使“等距和等式”松弛为“不等式”。

---

3. Typical Sequences 典型序列（题 3） (HW_4.pdf)

Definition（常用定义）：对 i.i.d. $Y_1,\dots,Y_N\sim \text{Bern}(\alpha)$，令 $p$ 为单次分布。以二进制对数（base 2），标准典型集定义为

$$\mathcal{T}_\varepsilon(p;N)=\big\{y^N:\ 2^{-N(H(p)+\varepsilon)}\le p(y^N)\le 2^{-N(H(p)-\varepsilon)}\big\},$$

其中 $H(p)=H_B(\alpha)$ 为二元熵，且 $p(y^N)=\alpha^{k}(1-\alpha)^{N-k}$（$k$ 是序列中 1 的个数）。

(a) $\alpha=\tfrac12$

此时任意序列概率 $p(y^N)=2^{-N}$（每一位独立等概）。因此对任何 $\varepsilon>0$，

$$2^{-N(1+\varepsilon)}\ \le\ 2^{-N}\ \le\ 2^{-N(1-\varepsilon)}.$$

结论：

$$\boxed{\ \mathcal{T}_\varepsilon(p;N)=\{0,1\}^N,\ \ |\mathcal{T}_\varepsilon(p;N)|=2^N\ }.$$

直观说明：硬币完全公平，所有序列同等“典型”。

---

(b) $\alpha=\tfrac13$

记样本 1 的频率为 $\lambda=\tfrac{k}{N}$。典型条件等价于

$$\Big|-\lambda\log\alpha-(1-\lambda)\log(1-\alpha)-H_B(\alpha)\Big|\ \le\ \varepsilon.$$

这给出一段围绕 $\lambda=\alpha=\tfrac13$ 的区间（$\varepsilon$ 越小，区间越窄）。于是

$$\boxed{\ \mathcal{T}_\varepsilon(p;N)=\bigcup_{\lambda\in \Lambda_\varepsilon}\mathcal{T}(\lambda),\ }$$

其中 $\mathcal{T}(\lambda)$ 是类型为 $\lambda$ 的序列类，$\Lambda_\varepsilon$ 为满足上式的频率集合。

Size exponent（规模指数）：
类型类大小 $|\mathcal{T}(\lambda)|\approx 2^{N H_B(\lambda)}$。当 $\varepsilon$ 足够小、$N$ 足够大时，主导贡献来自 $\lambda$ 近 $\tfrac13$，故

$$\boxed{\ |\mathcal{T}_\varepsilon(p;N)|\ =\ 2^{\,N H_B(1/3)+o(N)}\ },$$

即增长指数（每符号比特数）为 $\boxed{H_B(1/3)}$。

Rule of thumb（经验法则）：对 i.i.d. 源，典型序列数量 $\approx 2^{NH}$，每个典型序列的概率 $\approx 2^{-NH}$，因此典型集总体概率 $\approx 1$。

---

Quick recap / 速记

• 1(a)：对数凸集合上的反向投影满足
  $D(p\|q)\ge D(p\|q^\*)+D(q^\*\|q)$。
• 1(b)：反向投影到指数族 $\iff$ $p$ 与 $q^\*$ 矩匹配（在线性族里）。
• 1(c)：三点不等式与“是极小化解”互为充要。
• 2(a)：$f(\epsilon)=\tfrac12-\epsilon$，$g(\epsilon)=1-H_B(\epsilon)$。
• 2(a)(ii,iii)：$p_x^\*(0)=p_x^\*(1)=\tfrac12,\,p_x^\*(2)=0$，容量 $C=1-H_B(\epsilon)$，且 $p_y^\*$ 为均匀。
• 2(b)：均匀先验时 $I=\tfrac23 C$，损失 $=\tfrac13\big(H_B(1/2)-H_B(\epsilon)\big)$。
• 2(c,d)：若 $p_x^\*$ 全支撑，$C-I_{q_x}=D(p_Y^{(q)}\|p_y^\*)$；否则仅有
  $C-I_{q_x}\ge D(p_Y^{(q)}\|p_y^\*)$（选 B）。
• 3(a)：$\alpha=1/2$ 时所有序列皆典型，大小 $2^N$。
• 3(b)：$\alpha=1/3$ 时典型集规模指数为 $H_B(1/3)$。

---

如果你希望，我可以把以上推导整理成一份排版良好的 PDF 讲义或配套板书草稿（含图示与要点框），以便课堂讲解或自学复习。