可以，而且你的算法其实非常适合加一章“理论性质与收敛性分析”。但要把几种不同性质分开证明，否则很容易出现“证明了树数收敛，却写成算法 Bayes 一致性”的逻辑跨越。

我建议你把证明体系分成 5 个核心定理 + 2 个辅助命题。其中最值得作为主定理的是：

定理 1：固定联邦训练数据时，当森林树数 $M\to\infty$，你的协同联邦双重随机森林类别投票分数几乎必然收敛，并且在不存在极限投票平局时，分类结果与泛化误差也收敛。

这个证明最完整、最稳健，也最符合经典随机森林理论。Breiman 对随机森林的经典结果也是从“树数趋于无穷时，利用强大数定律证明森林泛化误差趋于极限”出发。(Department of Statistics)

---

一、你的论文可以加入哪些理论证明

我建议最终形成下面这一套。

理论部分	能证明什么	推荐程度
WH 变换的自由度校准性质	不同自由度卡方统计量可以在统一尺度比较	★★★★★
WH 节点特征选择一致性	大样本下有信息特征压过无信息特征	★★★★★
客户端随机排列公平性	每个客户端处于各生长位置的概率渐近相等	★★★★★
双重 Bootstrap 性质	二次抽样不改变经验分布的一阶期望，同时增加随机扰动	★★★★☆
森林树数 $M\to\infty$ 收敛	森林投票、预测以及风险稳定	★★★★★
有限树数的收敛速度	用 Hoeffding 给出指数型误差界	★★★★★
联邦叶节点共识一致性	各客户端样本量增加时叶节点标签趋于稳定	★★★★★
$n_i\to\infty$ Bayes 一致性	在较强正则条件下趋于 Bayes 分类器	★★★★☆
强度—相关性分析	解释双 Bootstrap 为什么可能降低过拟合	★★★★☆
隐私证明	当前算法只能证明“不传原始数据”，不能证明 DP	★★★☆☆
通信复杂度	分析服务器与客户端模型传输量	★★★☆☆

其中我最推荐你在论文正文放 前 7 个，而把严格 Bayes 一致性写成“在一定正则条件下的进一步结果”。

---

二、先把你的算法数学化

设有 $K$ 个客户端，

$$\mathcal C=\{C_1,\ldots,C_K\},$$

第 $i$ 个客户端拥有

$$D_i=\{(X_{ir},Y_{ir})\}_{r=1}^{n_i}, \qquad (X_{ir},Y_{ir})\sim P_i.$$

类别数为 $C$。

森林包含 $M$ 棵树。

对于第 $m$ 棵树，把所有随机性统一记为

$$\Theta_m.$$

这里 $\Theta_m$ 包括：

• 客户端随机序列；
• 第一次 Bootstrap；
• 节点第二次 Bootstrap；
• 可能存在的随机平局处理；
• 其他随机操作。

在给定联邦数据

$$\mathcal D=(D_1,\ldots,D_K)$$

后，第 $m$ 棵树的结构完全由 $\Theta_m$ 决定。

给一个测试样本 $x$，它在第 $m$ 棵树中到达叶节点

$$A_m(x).$$

经过你的树调节阶段，客户端 $i$ 给这个叶节点一个标签

$$\ell_{m,i}(x)\in\{1,\ldots,C\}.$$

于是定义第 $m$ 棵树对类别 $c$ 的“联邦投票比例”

$$Z_{m,c}(x) = \frac1K\sum_{i=1}^{K} I\{\ell_{m,i}(x)=c\}.$$

注意：

$$0\le Z_{m,c}(x)\le1.$$

你的最终森林实际上计算的是

$$F_{M,c}(x) = \frac1M\sum_{m=1}^{M}Z_{m,c}(x) = \frac1{MK} \sum_{m=1}^{M}\sum_{i=1}^{K} I\{\ell_{m,i}(x)=c\}.$$

最终分类器为

$$\hat g_M(x) = \arg\max_{c}F_{M,c}(x).$$

这就是后面所有证明的起点。

---

三、最重要的定理：森林树数 $M\to\infty$ 的收敛证明

这是我最建议你放进论文的主定理。

定理 1：协同联邦双重随机森林的投票收敛性

假设：

A1. 在给定联邦数据集 $\mathcal D$ 的条件下，不同树的随机变量

$$\Theta_1,\Theta_2,\ldots$$

相互独立且服从相同分布。

也就是说不同树使用独立的客户端排列和 Bootstrap 随机数。

A2. 客户端数量 $K$ 和类别数 $C$ 有限。

定义无限森林的类别得分

$$\mu_c(x) = E_{\Theta} [Z_{\Theta,c}(x)\mid\mathcal D].$$

那么对于任意固定测试样本 $x$ 和类别 $c$，

$$F_{M,c}(x) \xrightarrow[M\to\infty]{a.s.} \mu_c(x).$$

---

完整证明

由于

$$Z_{m,c}(x) = \frac1K \sum_{i=1}^{K} I\{\ell_{m,i}(x)=c\},$$

显然

$$0\le Z_{m,c}(x)\le1.$$

所以

$$E|Z_{m,c}(x)|<\infty.$$

根据假设 A1，在给定 $\mathcal D$ 后，

$$Z_{1,c}(x),Z_{2,c}(x),\ldots$$

为独立同分布随机变量。

因此根据强大数定律，

$$\frac1M \sum_{m=1}^{M}Z_{m,c}(x) \xrightarrow{a.s.} E_\Theta[Z_{\Theta,c}(x)\mid\mathcal D].$$

即

$$F_{M,c}(x) \xrightarrow{a.s.} \mu_c(x).$$

证毕。

---

四、继续证明最终分类结果也收敛

仅仅证明 $F_{M,c}$ 收敛还不够，我们继续证明 $\hat g_M(x)$ 收敛。

定义无限森林预测：

$$g_\infty(x) = \arg\max_c\mu_c(x).$$

假设最大值唯一。

令

$$c^*=g_\infty(x),$$

定义无限森林的投票间隔

$$\Delta(x) = \mu_{c^*}(x) - \max_{c\ne c^*}\mu_c(x).$$

假设

$$\Delta(x)>0.$$

因为对于所有 $c$，

$$F_{M,c}(x)\to\mu_c(x),$$

取

$$\varepsilon=\frac{\Delta(x)}{3}.$$

当 $M$ 足够大时，对于所有类别 $c$，都有

$$|F_{M,c}(x)-\mu_c(x)|<\varepsilon.$$

于是

$$F_{M,c^*}(x) > \mu_{c^*}(x)-\varepsilon,$$

而任意 $c\ne c^*$，

$$F_{M,c}(x) < \mu_c(x)+\varepsilon.$$

因此

$$F_{M,c^*}(x)-F_{M,c}(x) > \Delta(x)-2\varepsilon = \frac{\Delta(x)}3>0.$$

所以最终一定有

$$\hat g_M(x)=c^*$$

当 $M$ 足够大时成立。

因此

$$\boxed{ \hat g_M(x) \xrightarrow[M\to\infty]{a.s.} g_\infty(x) }$$

只要极限分类不存在平局。

---

五、进一步证明泛化误差收敛

定义测试分布 $P_0$，泛化风险为

$$R_M = P_{(X,Y)\sim P_0} \left( \hat g_M(X)\ne Y \right).$$

无限森林风险：

$$R_\infty = P \left( g_\infty(X)\ne Y \right).$$

如果对于 $P_X$-几乎所有 $x$，

$$\Delta(x)>0,$$

那么上面已经证明

$$\hat g_M(X)\to g_\infty(X)$$

几乎处处成立。

因此

$$I\{\hat g_M(X)\ne Y\} \to I\{g_\infty(X)\ne Y\}.$$

而指标函数始终满足

$$0\le I\{\hat g_M(X)\ne Y\}\le1.$$

根据控制收敛定理，

$$\boxed{ R_M\rightarrow R_\infty. }$$

这就是你的随机森林树数收敛定理。

它与 Breiman 随机森林经典证明中的思想是一致的：把每棵树看成独立随机分类器，用强大数定律证明无限森林投票稳定。Breiman 进一步指出森林误差与单树强度、树间相关性有关。(Department of Statistics)

---

六、你甚至可以进一步给出“收敛速度”

这个会明显增强论文理论部分。

因为

$$0\le Z_{m,c}(x)\le1,$$

由 Hoeffding 不等式，

$$P \left( |F_{M,c}(x)-\mu_c(x)|\ge\varepsilon \mid\mathcal D \right) \le 2e^{-2M\varepsilon^2}.$$

由于一共有 $C$ 个类别，利用并集界：

$$\boxed{ P \left( \max_c |F_{M,c}(x)-\mu_c(x)| \ge\varepsilon \right) \le 2C e^{-2M\varepsilon^2}. }$$

现在令

$$\varepsilon=\frac{\Delta(x)}2.$$

只要所有类别得分误差都小于 $\Delta(x)/2$，有限森林就与无限森林给出相同预测。

因此

$$\boxed{ P\{ \hat g_M(x)\ne g_\infty(x) \} \le 2C \exp \left( -\frac{M\Delta^2(x)}{2} \right). }$$

这个结论特别好。

它告诉你：

当无限森林的类别投票存在正间隔 $\Delta(x)$ 时，有限森林与无限森林预测不一致的概率随树数 $M$ 指数衰减。

这比单纯说“随机森林会收敛”更有理论含量。

---

七、这部分证明到底意味着什么？

它不是在证明

$$R_M\to R^*$$

其中 $R^*$ 是 Bayes 风险。

它证明的是：

$$\boxed{ R_M\to R_\infty. }$$

也就是：

增加树的数量不会让模型无限震荡；你的协同联邦森林最终趋向一个稳定的无限森林分类器。

这是“森林规模收敛”。

而所谓“统计一致性”要求证明

$$R_{\infty,n}\to R^* \qquad n\to\infty.$$

这是另一个更难的问题。

所以你的总收敛框架最好写成：

$$\boxed{ R_{M,n} \overset{M\to\infty}{\longrightarrow} R_{\infty,n} \overset{n\to\infty}{\longrightarrow} R^*. }$$

第一步你现在可以严格证明。

第二步需要额外条件。

---

八、第二个非常值得证明的内容：客户端随机序列公平性

你的初始化中有一个很好的理论点：

$$P_m=(C_{m1},\ldots,C_{mK})$$

是客户端随机排列。

假设每棵树都独立地从所有 $K!$ 个排列中均匀选择一个。

对于客户端 $i$，定义

$$I_{m,i,h} = I\{\text{第 }m\text{ 棵树第 }h \text{ 个生长客户端为 }i\}.$$

显然

$$P(I_{m,i,h}=1)=\frac1K.$$

设在 $M$ 棵树中客户端 $i$ 位于第 $h$ 个位置的次数为

$$N_{i,h}^{(M)} = \sum_{m=1}^{M}I_{m,i,h}.$$

那么

$$N_{i,h}^{(M)} \sim \operatorname{Binomial} \left( M,\frac1K \right).$$

因此

$$E[N_{i,h}^{(M)}] = \frac{M}{K}.$$

由强大数定律，

$$\boxed{ \frac{N_{i,h}^{(M)}}{M} \xrightarrow{a.s.} \frac1K. }$$

还可以用 Hoeffding：

$$P \left( \left| \frac{N_{i,h}^{(M)}}M-\frac1K \right|>\epsilon \right) \le 2e^{-2M\epsilon^2}.$$

---

这个证明可以怎么解释？

决策树高层节点通常比深层节点影响更多样本。

如果永远按照

$$C_1\to C_2\to\cdots\to C_K$$

训练，就可能导致某些客户端长期控制更靠近根节点的位置。

而随机客户端排列保证：

$$P(C_i\text{ 处于第 }h\text{ 位}) = \frac1K.$$

因此随着森林规模增加，各客户端在不同树深位置上的参与比例趋于一致。

所以你的论文可以写：

随机客户端序列并不能保证任意 non-IID 场景下预测误差一定降低，但它能够从概率意义上消除固定客户端迭代顺序造成的系统性位置偏差。

这个表述非常稳。

---

九、第三个重要证明：Wilson–Hilferty 为什么能解决自由度偏差

你现在的公式其实非常适合推导。

设特征 $X$ 的 Pearson 卡方统计量为

$$T_X=\chi_\nu^2.$$

Wilson–Hilferty 变换指出：

$$Z_\nu = \frac{ \left(\frac{T_X}{\nu}\right)^{1/3} - \left(1-\frac{2}{9\nu}\right) } { \sqrt{\frac{2}{9\nu}} }$$

近似服从标准正态分布：

$$Z_\nu\approx N(0,1).$$

这是 Wilson 和 Hilferty 1931 年提出的经典立方根近似。(USGS Water Resources)

对于一个自由度的卡方变量 $Q\sim\chi_1^2$，反过来有

$$Q^{1/3} \approx 1-\frac29+ \sqrt{\frac29}Z.$$

因此

$$Q \approx \left[ \frac79+ \sqrt{\frac29}Z \right]^3.$$

将 $Z_\nu$ 代入：

$$Q \approx \left[ \frac79 + \sqrt{\nu} \left\{ \left( \frac{T_X}{\nu} \right)^{1/3} -1 +\frac{2}{9\nu} \right\} \right]^3.$$

于是得到你的公式：

$$\boxed{ WM(X) = \max\left\{ 0, \left[ \frac79+ \sqrt\nu \left( \left(\frac{\chi_\nu^2}{\nu}\right)^{1/3} -1+\frac{2}{9\nu} \right) \right]^3 \right\}. }$$

这正是“双重 Wilson–Hilferty 转化”的来源。分类树文献中确实有使用双重 WH 变换把不同自由度卡方统计量转换到统一的一自由度尺度，再进行变量选择的做法。(UW Computer Sciences)

---

十、这里论文里的“无偏”建议稍微修改

你现在写：

“无偏卡方值 $WM(X)$”

我建议改成：

“经自由度校准后的近似一自由度卡方得分”

或者：

“Wilson–Hilferty 自由度校准得分”

因为 WH 本质上是近似变换。

严格意义上不能证明：

$$WM(X)\sim\chi_1^2$$

完全精确成立。

比较安全的是：

$$WM(X)\overset{approx}{\sim}\chi_1^2.$$

GUIDE 相关方法的目标也是降低或使变量选择偏差变得很小，而不是说有限样本下数学意义上绝对零偏差。(UW Computer Sciences)

还有一个算法细节建议你补上：

$$WM(X)= \begin{cases} 0,&\nu=0,\\ \chi_1^2,&\nu=1,\\ \text{你的 WH 公式},&\nu>1. \end{cases}$$

否则审稿人可能会问 $\nu=1$ 怎么处理。

---

十一、还能进一步证明：WH 特征选择的一致性

这个很适合支撑你的创新点。

假设节点中有 $p$ 个候选变量。

先考虑无关变量 $X_j$。

如果

$$H_0:X_j\perp Y,$$

则在标准卡方检验条件成立时，

$$T_j \xrightarrow{d} \chi_{\nu_j}^2.$$

因此

$$T_j=O_p(1),$$

相应地

$$WM(X_j)=O_p(1).$$

---

如果特征 $X_s$ 和类别存在真正关联，定义总体 Pearson 距离

$$D_s = \sum_{a,b} \frac{ (P(X_s=a,Y=b) - P(X_s=a)P(Y=b))^2 }{ P(X_s=a)P(Y=b) }.$$

如果

$$D_s>0,$$

则根据经验频率的大数定律，

$$\frac{T_s}{n_t} \overset{p}{\longrightarrow} D_s.$$

所以

$$T_s\to\infty.$$

而 WH 转换关于 $T_s$ 是单调非减的，并且

$$T_s\to\infty \quad\Rightarrow\quad WM(X_s)\to\infty.$$

另一方面，无关特征满足

$$WM(X_j)=O_p(1).$$

于是，如果候选特征数量有限：

$$P \left[ WM(X_s)> \max_{j\in\mathcal N}WM(X_j) \right] \to1.$$

因此：

$$\boxed{ P( \text{节点最终选择一个有关特征} ) \to1. }$$

---

这个结论是什么意思？

它证明的是：

当节点样本量充分大、真正相关特征产生非零类别关联时，WH 得分对有效变量不断增大，而无效变量保持随机的 $O_p(1)$ 水平，所以错误地选取纯噪声变量的概率趋于零。

这比简单写“WH 可以降低特征选择偏差”更强。

---

连续变量怎么办？

你的连续变量先离散化。

那么增加两个条件即可：

$$\bar X\to E[X], \qquad s\to\sigma_X.$$

因此你的三个或四个区间边界也收敛到总体边界。

只要离散化以后仍然存在

$$X_{\text{bin}}\not\perp Y,$$

就可以重复上面的证明。

不过这里必须加一句：

如果某个连续特征虽然与 $Y$ 有关系，但三/四区间离散化恰好完全消除了这种关系，那么上述一致性结论不一定成立。

这是理论上严谨的写法。

---

十二、第四个证明：双重 Bootstrap 到底能证明什么

这一块要特别小心。

不要证明：

“第二次 Bootstrap 增加了样本数量/独立信息。”

这是不成立的。

你可以证明的是：

二次 Bootstrap 在经验分布意义下不产生一阶系统性偏移，同时增加了一个独立随机扰动源。

设节点数据

$$D_t=\{Z_1,\ldots,Z_{n_t}\}.$$

从其中再次有放回抽取 $n_t$ 个样本：

$$Z_1^*,\ldots,Z_{n_t}^*.$$

对于任意函数 $\phi$，定义

$$\hat\mu_t = \frac1{n_t} \sum_{r=1}^{n_t}\phi(Z_r),$$

以及二次 Bootstrap 后

$$\hat\mu_t^* = \frac1{n_t} \sum_{r=1}^{n_t}\phi(Z_r^*).$$

条件于原节点数据 $D_t$：

$$E[ \phi(Z_r^*)\mid D_t ] = \hat\mu_t.$$

因此

$$\boxed{ E[ \hat\mu_t^*\mid D_t ] = \hat\mu_t. }$$

同时

$$\boxed{ \operatorname{Var} ( \hat\mu_t^*\mid D_t ) = \frac1{n_t} \left[ \frac1{n_t}\sum_r\phi^2(Z_r) -\hat\mu_t^2 \right]. }$$

所以：

• 二次 Bootstrap 的经验统计量中心仍然在原节点统计量附近；
• 但增加了额外条件方差；
• 不同树得到不同的节点扰动样本 $D_t^*$。

这正好可以用来解释你为什么要做第二层随机化。

---

十三、它与“降低过拟合”怎样联系？

可以结合随机森林经典的“树强度—相关性”观点。

假设单棵树某个预测得分 $S_m$ 有

$$\operatorname{Var}(S_m)=\sigma^2$$

且任意两棵树相关系数近似为 $\rho$。

森林平均得分为

$$\bar S_M = \frac1M\sum_{m=1}^{M}S_m.$$

那么

$$\operatorname{Var}(\bar S_M) = \frac{\sigma^2}{M} [ 1+(M-1)\rho ].$$

等价于

$$\operatorname{Var}(\bar S_M) = \frac{\sigma^2}{M} + \frac{M-1}{M}\rho\sigma^2.$$

当

$$M\to\infty,$$

有

$$\operatorname{Var}(\bar S_M) \to \rho\sigma^2.$$

所以即使树非常多，如果

$$\rho$$

很高，森林方差仍然不会很小。

Breiman 的理论同样把森林性能与单树强度以及树间相关性联系起来。(Department of Statistics)

于是你的逻辑应该写成：

$$\text{二次 Bootstrap} \Rightarrow \text{增加节点级随机扰动} \Rightarrow \text{有潜力降低树间相关性} \Rightarrow \text{降低集成方差}.$$

注意“有潜力”。

不能直接数学证明：

$$\rho_{\text{double bootstrap}} < \rho_{\text{single bootstrap}}$$

对任意数据分布都成立。

这个最好通过实验验证，例如统计不同树预测向量间平均 Pearson correlation。

这样就形成：

理论：增加独立随机扰动；
实验：观察到树间相关性下降；
经典 RF 理论：相关性下降有利于集成方差。

逻辑会非常完整。

---

十四、第五个证明：你的树调节阶段可以证明“联邦叶节点共识一致性”

这其实是你算法非常有特色的一块。

固定一个叶节点区域 $A$。

客户端 $i$ 的总体类别概率定义为

$$p_{i,c}(A) = P_i(Y=c\mid X\in A).$$

客户端使用本地数据计算

$$\hat p_{i,c}(A) = \frac{ \sum_{r=1}^{n_i} I(X_{ir}\in A,Y_{ir}=c) }{ \sum_{r=1}^{n_i} I(X_{ir}\in A) }.$$

假设该叶节点内的样本数量

$$N_i(A)\to\infty.$$

根据大数定律，

$$\hat p_{i,c}(A) \xrightarrow{a.s.} p_{i,c}(A).$$

假设客户端 $i$ 在这个叶节点存在唯一多数类别

$$c_i^*(A) = \arg\max_c p_{i,c}(A).$$

并且类别间隔为

$$\gamma_i(A) = p_{i,c_i^*}(A) - \max_{c\ne c_i^*}p_{i,c}(A) >0.$$

由于经验频率收敛，所以最终

$$\ell_i(A) = \arg\max_c\hat p_{i,c}(A)$$

将与总体多数类一致：

$$\boxed{ \ell_i(A) \xrightarrow{a.s.} c_i^*(A). }$$

服务器得到

$$L(A) = \{\ell_1(A),\ldots,\ell_K(A)\}.$$

于是最终服务器类别投票比例趋于

$$q_c(A) = \frac1K \sum_{i=1}^K I\{c_i^*(A)=c\}.$$

因此服务器叶节点预测收敛到

$$\boxed{ g_{\mathrm{cons}}(A) = \arg\max_c \sum_{i=1}^{K} I\{c_i^*(A)=c\}. }$$

这个可以称为：

客户端多数类共识一致性（client-majority consensus consistency）

非常适合你的 non-IID 场景。

---

十五、这里有一个非常重要的理论区别

你的最终规则收敛的不是：

$$\arg\max_c P_{\text{global}}(Y=c\mid X\in A),$$

而是：

$$\arg\max_c \sum_i I \left\{ c= \arg\max_j P_i(Y=j\mid X\in A) \right\}.$$

也就是：

“客户端多数类的多数”

这和：

“所有客户端数据合在一起后的多数类”

不是同一个东西。

因此你的算法理论上最准确的定位不是“等价于集中式随机森林”，而是：

建立面向异构客户端的决策级共识分类器。

这个其实更符合你的创新点。

---

十六、这里我建议你给算法补一个小细节

如果某个客户端在叶节点 $A$ 中：

$$N_i(A)=0,$$

那么你现在算法中的“多数类别标签”实际上没有定义。

建议明确规定：

$$\ell_i(A)=\varnothing \quad\text{if }N_i(A)=0.$$

服务器聚合时忽略 $\varnothing$。

于是改为：

$$q_c(A) = \frac{ \sum_iI\{\ell_i(A)=c\} }{ \sum_iI\{\ell_i(A)\ne\varnothing\} }.$$

这在 non-IID 情况尤其重要，因为一个客户端完全可能没有样本进入某些树叶。

把这个细节补上以后，算法和理论都会严谨很多。

---

十七、你这个叶节点标签列表还有一个很漂亮的方差证明

定义一个虚拟随机客户端

$$I\sim\operatorname{Uniform}\{1,\ldots,K\}.$$

假设某棵树只随机选择一个客户端的叶标签，则类别 $c$ 的随机投票为

$$U_c = I\{\ell_I(A)=c\}.$$

而你的算法不是随机挑一个客户端，而是使用全部客户端：

$$Z_c = \frac1K \sum_iI\{\ell_i(A)=c\}.$$

注意：

$$Z_c = E[U_c\mid \text{当前树结构及客户端标签}].$$

根据全方差公式或者 Rao–Blackwell 原理，

$$\boxed{ \operatorname{Var}(Z_c) \le \operatorname{Var}(U_c). }$$

也就是说：

与每棵树随机采用单客户端叶节点标签相比，你的“保存所有客户端多数标签列表”的方式，在不改变平均客户端投票含义的情况下，可以降低客户端选择造成的额外随机方差。

这个证明我很推荐。

因为它是专门针对你的树调节阶段设计出来的理论结论，不是直接套随机森林经典定理。

---

十八、接下来就是你最关心的：怎样证明随机森林的“统计一致性”

这部分要进入

$$n_i\to\infty.$$

经典随机森林一致性理论里，一个很常见的路线是证明：

$$\operatorname{diam}(A_n(X))\to0$$

以及

$$N_n(A_n(X))\to\infty.$$

直观上：

• 叶节点区域越来越小；
• 但每个叶节点又拥有越来越多样本。

这样局部类别比例才能逼近真实条件概率。Biau、Devroye 和 Lugosi 的随机森林一致性研究明确使用了这样的分割分类器条件；后续随机森林理论也大量沿用类似思想。(ResearchGate) Scornet、Biau 与 Vert 后来还对更接近 Breiman 随机森林的模型证明了统计一致性，但需要额外模型和正则条件。(Project Euclid)

---

十九、你可以这样建立自己的 Bayes 一致性定理

设

$$\eta_{i,c}(x) = P_i(Y=c\mid X=x).$$

为了允许 non-IID，不要求

$$P_i(X)=P_j(X).$$

甚至可以允许条件概率不同。

但是先加入一个相对合理的条件：

条件 B1：客户端具有共同最优决策

对于几乎所有 $x$，存在唯一类别 $g^*(x)$，使得所有有效客户端都满足

$$g^*(x) = \arg\max_c\eta_{i,c}(x).$$

也就是说，不同客户端可以：

$$P_i(X)\ne P_j(X),$$

甚至

$$P_i(Y|X)\ne P_j(Y|X),$$

但它们在分类边界上保持一致。

这是比完全 IID 弱很多的条件。

---

条件 B2：叶节点直径收缩

设测试点 $x$ 所在终端节点为

$$A_n(x,\Theta).$$

要求

$$\boxed{ \operatorname{diam} A_n(X,\Theta) \xrightarrow{p}0. }$$

---

条件 B3：叶节点样本数发散

对于参与这个区域投票的客户端，

$$\boxed{ N_{i,n} ( A_n(X,\Theta) ) \xrightarrow{p}\infty. }$$

---

条件 B4：条件类别概率具有局部连续性

比如

$$\eta_{i,c}(x)$$

连续。

---

条件 B5：Bayes 分类不存在平局

定义

$$\delta_i(x) = \eta_{i,g^*(x)}(x) - \max_{c\ne g^*(x)} \eta_{i,c}(x).$$

要求

$$\delta_i(x)>0$$

几乎处处成立。

---

二十、Bayes 一致性的完整证明路线

首先由于

$$\operatorname{diam}(A_n(x))\to0,$$

叶节点 $A_n(x)$ 中所有点逐渐靠近 $x$。

根据 $\eta_{i,c}(x)$ 的连续性，

$$P_i ( Y=c\mid X\in A_n(x) ) \to \eta_{i,c}(x).$$

记

$$p_{i,c,n}(x) = P_i ( Y=c\mid X\in A_n(x) ).$$

于是

$$p_{i,c,n}(x)\to\eta_{i,c}(x).$$

另一方面，由

$$N_{i,n}(A_n(x))\to\infty$$

以及大数定律，

$$\hat p_{i,c,n}(x) - p_{i,c,n}(x) \to0.$$

因此

$$\boxed{ \hat p_{i,c,n}(x) \to \eta_{i,c}(x). }$$

由 Bayes 类别间隔

$$\delta_i(x)>0,$$

最终客户端叶节点多数标签满足

$$\ell_{i,n}(x)=g^*(x)$$

概率趋于 1。

即

$$P( \ell_{i,n}(x)\ne g^*(x) ) \to0.$$

因为 $K$ 有限，所以

$$P ( \exists i: \ell_{i,n}(x)\ne g^*(x) ) \le \sum_{i=1}^{K} P( \ell_{i,n}(x)\ne g^*(x) ) \to0.$$

因此所有客户端的叶节点投票最终都会集中在

$$g^*(x).$$

于是单棵协同树：

$$g_{n,\Theta}(x) \to g^*(x).$$

进而无限森林：

$$g_{\infty,n}(x) \to g^*(x).$$

最后：

$$P( g_{\infty,n}(X)\ne Y ) \to P( g^*(X)\ne Y ).$$

因此

$$\boxed{ R_{\infty,n}\to R^*. }$$

这就是 Bayes 一致性。

---

二十一、于是你的总收敛定理可以写得非常漂亮

最终形成两层极限：

$$\boxed{ R_{M,n} \overset{M\to\infty}{\longrightarrow} R_{\infty,n} \overset{n_{\min}\to\infty}{\longrightarrow} R^*. }$$

其中

$$n_{\min} = \min_i n_i.$$

也就是说：

第一层：森林规模收敛

$$M\to\infty$$

利用强大数定律：

$$R_{M,n}\to R_{\infty,n}.$$

第二层：统计一致性

$$n_{\min}\to\infty$$

利用

$$\operatorname{diam}(A_n(X))\to0,$$

和

$$N_i(A_n(X))\to\infty,$$

证明

$$R_{\infty,n}\to R^*.$$

这个结构非常适合作为你整篇论文理论部分的核心图景。

---

二十二、但是你的当前算法要直接证明 Bayes 一致性，还缺一个关键东西

你现在没有明确写停止生长规则。

如果树无限分裂到每个叶子只有 1 个样本，那么

$$N_i(A_n(X))\to\infty$$

就无法成立。

所以建议算法增加类似：

$$k_n = \text{最小叶节点样本量},$$

并要求理论上：

$$\boxed{ k_n\to\infty, \qquad \frac{k_n}{n}\to0. }$$

直观解释：

• $k_n\to\infty$：叶节点中始终有越来越多样本，控制估计方差；
• $k_n/n\to0$：叶节点占总体比例越来越小，允许分区越来越精细。

这正是很多树分类器一致性证明中非常典型的“叶节点越来越小但样本越来越多”的平衡思想。相关随机森林一致性结果也采用类似条件。(ResearchGate)

---

二十三、第二个困难：你还必须处理“叶节点直径趋于 0”

也就是必须证明

$$\operatorname{diam} A_n(X) \to0.$$

这个对你的 WH 选变量并不是天然成立的。

因为如果 WH 总喜欢选择 $X_1$，树可能一直：

$$X_1\to X_1\to X_1\to X_1$$

分裂，却从来不处理其他相关方向。

所以如果你真的想做严格 universal consistency，证明会很困难。

有两个办法。

方案 A：论文最推荐

把它写成一个正则条件：

假设 WH-CART 分裂机制所生成的随机分割满足终端节点直径趋于零和终端节点样本数量趋于无穷。

然后证明：

$$\text{这些条件} \Rightarrow \text{算法 Bayes 一致}.$$

这是完全正常的理论写法。

---

方案 B：轻微修改算法，证明更强

增加一个很小的随机探索概率 $\varepsilon>0$。

例如：

$$X_t= \begin{cases} \arg\max_X WM(X),&\text{概率 }1-\varepsilon,\\ \text{随机候选变量},&\text{概率 }\varepsilon. \end{cases}$$

这样每个变量都有正概率被不断选择：

$$P(X_t=X_j)\ge\frac{\varepsilon}{p}>0.$$

就更容易证明各维度不断被切分，从而：

$$\operatorname{diam}(A_n(X))\to0.$$

近年来也有随机森林理论通过“概率充分不纯度下降”等条件证明更一般随机树算法的一致性，思路就是给各种分裂方式留出足够的概率性下降条件。(arXiv)

不过这个会改变你的算法，所以如果你不想改，采用方案 A 就好。

---

二十四、如果客户端是真正强 non-IID，Bayes 一致性应该怎么写？

假设：

$$\arg\max_c\eta_{1,c}(x) \ne \arg\max_c\eta_{2,c}(x),$$

即不同客户端在同一个 $x$ 上连最优类别都不同。

那么不存在一个天然的“所有客户端共同 Bayes 分类器”。

这时候不要硬证明

$$R\to R^*.$$

你应该定义：

$$g_i^*(x) = \arg\max_c \eta_{i,c}(x).$$

然后定义联邦共识目标：

$$\boxed{ g_{\mathrm{cons}}(x) = \arg\max_c \sum_{i=1}^{K} I\{g_i^*(x)=c\}. }$$

再证明：

$$\boxed{ \hat g_n(x) \xrightarrow{p} g_{\mathrm{cons}}(x). }$$

这个反而非常符合你的算法。

然后给一个推论：

如果所有客户端具有共同 Bayes 最优类别，即

$$g_1^*(x)=\cdots=g_K^*(x)=g^*(x),$$

则

$$g_{\mathrm{cons}}(x)=g^*(x),$$

从而得到 Bayes 一致性。

这样逻辑非常干净：

$$\boxed{ \text{任意异质性} \Rightarrow \text{联邦共识一致性} }$$

然后

$$\boxed{ \text{共同决策边界条件} \Rightarrow \text{Bayes 一致性}. }$$

---

二十五、从“联邦”角度，你最值得加入哪些证明？

我按推荐顺序给你排：

1. 客户端随机排列公平性

证明

$$\frac{N_{i,h}^{(M)}}M\to\frac1K.$$

解释协同生长不会长期偏向某个客户端的高层节点。

---

2. 联邦叶节点共识一致性

证明

$$\ell_i(A)\to c_i^*(A)$$

进一步：

$$\hat g(A)\to g_{\mathrm{cons}}(A).$$

这直接对应 non-IID。

---

3. 全客户端叶标签聚合的方差降低

证明

$$\operatorname{Var} \left( \frac1K \sum_i I\{\ell_i=c\} \right) \le \operatorname{Var} ( I\{\ell_I=c\} ).$$

这能说明为什么你不是只选择一个客户端标签。

---

4. 通信隐私性质

你当前算法可以严格写：

原始训练记录

$$(X_{ir},Y_{ir})$$

从不被传输至中央服务器。

服务器获得的是：

• 树结构；
• 分裂信息；
• 叶节点多数类别标签。

但这里要特别注意：

$$\boxed{\text{不传原始数据}\ne\text{数学意义上的隐私保证}}$$

你现在不能证明 differential privacy。

因为一个客户端改变一条记录，可能导致叶节点多数标签从 0 变为 1，因此服务器仍可能从模型输出来推断一定信息。

类似的协同联邦随机森林工作也采用“只传叶节点多数类别标签、原始数据保留在本地”的设计来减少数据暴露。(ScienceDirect) 但如果你论文中要写“严格保障隐私”，则需要 DP、安全聚合或安全多方计算。

所以建议把：

“在保障数据隐私的前提下”

改为更严谨的：

“在无需交换客户端原始数据的联邦学习框架下”

除非你后面加入 DP。

---

二十六、从“随机森林”角度，可以加入哪些证明？

我最推荐下面五个：

第一：树数收敛

$$F_{M,c}(x)\to\mu_c(x).$$

这是主定理。

第二：有限森林误差界

$$P( \hat g_M(x)\ne g_\infty(x) ) \le 2C e^{-M\Delta^2(x)/2}.$$

理论含量很高。

第三：双 Bootstrap 一阶无偏扰动

$$E[ \hat\mu_t^*\mid D_t ] = \hat\mu_t.$$

解释第二重随机化。

第四：树间相关性—森林方差关系

$$\operatorname{Var}(\bar S_M) = \frac{\sigma^2}{M} [ 1+(M-1)\rho ].$$

解释为什么需要增加随机性。

第五：统计一致性

在

$$\operatorname{diam}(A_n(X))\to0, \qquad N(A_n(X))\to\infty$$

等条件下证明

$$R_{\infty,n}\to R^*.$$

经典 RF 理论从 Breiman 的森林规模收敛，逐渐发展到各种随机森林模型的一致性分析；最近的综述也把一致性及其收敛速度作为 RF 理论的重要主线。(Annual Reviews)

---

二十七、我最建议你最终把论文改成这样的结构

你目前是：

3.1 初始化阶段
3.2 树生长阶段
3.3 树调节阶段
3.4 预测阶段

后面直接增加：

3.5 算法理论性质分析

3.5.1 Wilson–Hilferty 得分的自由度校准性质

定理 1：

$$WM(X)\overset{approx}{\sim}\chi_1^2$$

并推导你的公式。

---

3.5.2 WH 特征选择的一致性

证明：

$$X_j\perp Y \Rightarrow WM(X_j)=O_p(1),$$

而

$$X_s\not\perp Y \Rightarrow WM(X_s)\to\infty.$$

所以

$$P(\text{选择有效特征})\to1.$$

---

3.5.3 双重 Bootstrap 的随机化性质

证明：

$$E[ \hat\mu_t^*|D_t ] = \hat\mu_t.$$

再结合树相关性公式进行解释。

---

3.5.4 随机客户端序列的渐近均衡性

证明：

$$N_{i,h}^{(M)}/M\to1/K.$$

---

3.5.5 协同联邦森林的收敛性

这是正文主定理：

$$F_{M,c}(x)\to\mu_c(x)$$

以及

$$R_M\to R_\infty.$$

再给有限树数界：

$$P( \hat g_M\ne g_\infty ) \le 2C e^{-M\Delta^2/2}.$$

---

3.5.6 联邦叶节点共识一致性

证明：

$$\ell_{i,n}(A)\to c_i^*(A)$$

以及

$$\hat g_n(A)\to g_{\mathrm{cons}}(A).$$

---

3.5.7 算法统计一致性

最后写成条件定理：

如果

$$\operatorname{diam}A_n(X)\to0,$$ $$N_i(A_n(X))\to\infty,$$

并且不同客户端具有共同 Bayes 最优类别，则

$$R_{\infty,n}\to R^*.$$

于是最终：

$$\boxed{ R_{M,n} \xrightarrow[M\to\infty]{} R_{\infty,n} \xrightarrow[n_{\min}\to\infty]{} R^*. }$$

---

二十八、如果篇幅有限，我建议你最少放这四个证明

如果是硕士论文或篇幅有限，不必全证明。

优先放：

1. WH 自由度校准定理；
2. 客户端随机顺序渐近均衡定理；
3. 森林 $M\to\infty$ 收敛定理 + Hoeffding 收敛速度；
4. 联邦叶节点共识一致性定理。

然后把 Bayes 一致性写成一个“推论”：

在叶节点直径收缩、叶样本数发散以及客户端具有共同最优分类决策的条件下，该算法进一步具有 Bayes 一致性。

这是风险最低、理论完整度最高的组合。

另外，你现在如果真的准备加入“随机森林收敛性证明”，一定把“$M\to\infty$ 的森林收敛”和“$n\to\infty$ 的统计一致性”分开写。这是整部分最关键的理论区分。Breiman 的经典结果首先解决的是前者；更完整的统计一致性需要额外的分区正则条件。(Department of Statistics)

如果按你的算法创新程度来排序，**“WH 特征选择一致性 + 客户端顺序公平性 + 联邦投票 $M$ 收敛 + 客户端共识一致性”**这四个定理最能体现这是“你的算法的证明”，而不是简单把传统随机森林定理搬过来。

可以。按照你现在的 Algorithm 1–4，我建议先做几个符号上的统一，然后再给出 7 个理论结果。下面这套基本可以直接改写成论文中的“算法理论性质分析”。

先说明：你当前的算法中，Wilson–Hilferty 部分与 GUIDE 分类树中的做法是一致的，即先把不同自由度的 Pearson 卡方统计量经 WH 近似转换到标准正态尺度，再反变换到 1 自由度卡方尺度，从而进行变量比较。(UW Computer Sciences) 随机森林的 $M\to\infty$ 收敛则可以沿 Breiman 的强大数定律框架证明。(Department of Statistics)

不过正式写证明前，你的伪代码建议先修正 4 个地方：

• 第 27 行应为 $$\frac{2}{9\nu},$$ 而不是 $\frac{9}{2\nu}$。GUIDE 对应公式也是 $2/(9\nu)$。(UW Computer Sciences)
• 第 46 行应当是 if best_feat ≠ None，否则没有选出特征时反而进入“寻找最优分裂值”，逻辑相反。
• 你已经使用 $C=\{C_1,\dots,C_K\}$ 表示客户端，因此类别数最好统一使用 $J$，预测频率写为 $$F=[f_1,\ldots,f_J].$$
• 树调节阶段某一棵树、某一个叶节点对应的是 $K$ 个客户端标签，因此叶节点列表应写成 $$L=\{l_1,\ldots,l_K\},$$ 而不是 $\{l_1,\ldots,l_M\}$。$M$ 是树的数量。

---

一、统一你论文后面证明所使用的符号

你伪代码中的符号尽量保持不变。

共有 $K$ 个客户端：

$$C=\{C_1,C_2,\ldots,C_K\}.$$

为了证明时区分客户端，把客户端 $C_i$ 的数据记为

$$D_i=\{(x_{ir},y_{ir})\}_{r=1}^{n_i}.$$

如果你的实验中所有客户端样本量统一写为 $n$，则可以令

$$n_i=n.$$

森林为

$$E=\{t_1,t_2,\ldots,t_M\}.$$

对于树 $t_j$，服务器产生一个随机客户端排列：

$$P_j=(C_{j,1},C_{j,2},\ldots,C_{j,K}).$$

在客户端 $C_i$ 当前节点 $t$ 上：

$$D_t=\text{到达节点 }t\text{ 的本地样本集合},$$ $$n_t=|D_t|.$$

当

$$n_t>0.1n$$

时：

$$D_t^*\leftarrow Bootstrap(D_t).$$

否则：

$$D_t^*=D_t.$$

从 $p$ 个特征中随机无放回选择

$$m\approx\sqrt p$$

个候选特征，记为

$$V_t\subseteq\{X_1,\ldots,X_p\}, \qquad |V_t|=m.$$

总类别数记为 $J$，当前节点存在的类别数为 $J_t$。

下面所有证明都按照这些符号进行。

---

二、定理 1：WH 变换的自由度校准性质

2.1 定理陈述

定理 1（Wilson–Hilferty 自由度校准性质）

设当前节点 $t$ 中候选特征 $X\in V_t$，其 Pearson 独立性检验统计量为

$$T_X=\chi_\nu^2,$$

其中 $\nu$ 为删除零观测行列后的自由度。

当零假设

$$H_0:X\perp Y$$

成立时，对于 $\nu>1$，定义

$$WM(X)= \max \left\{ 0, \left[ \frac79+ \sqrt{\nu} \left( \left(\frac{T_X}{\nu}\right)^{1/3} -1+ \frac{2}{9\nu} \right) \right]^3 \right\}.$$

则在 Wilson–Hilferty 近似下，

$$\boxed{ WM(X)\overset{\mathrm{approx}}{\sim}\chi_1^2. }$$

因此，对于具有不同自由度

$$\nu_1,\nu_2,\ldots$$

的候选特征，经过 WH 转换以后，其零假设统计量均近似位于统一的

$$\chi_1^2$$

尺度上。

---

2.2 完整证明

若

$$T_X\sim\chi_\nu^2,$$

Wilson–Hilferty 立方根变换给出

$$\left(\frac{T_X}{\nu}\right)^{1/3} \approx N \left( 1-\frac{2}{9\nu}, \frac{2}{9\nu} \right).$$

原始 Wilson–Hilferty 结果就是利用卡方变量立方根近似正态分布。(USGS Water Resources)

因此定义标准化变量

$$Z_X= \frac{ \left(\dfrac{T_X}{\nu}\right)^{1/3} - \left(1-\dfrac{2}{9\nu}\right) }{ \sqrt{\dfrac{2}{9\nu}} },$$

则

$$Z_X\overset{\mathrm{approx}}{\sim}N(0,1).$$

另一方面，若

$$Q\sim\chi_1^2,$$

再次应用 Wilson–Hilferty 变换：

$$Q^{1/3} \approx \frac79+ \sqrt{\frac29}Z,$$

其中

$$Z\sim N(0,1).$$

因此，

$$Q \approx \left( \frac79+ \sqrt{\frac29}Z \right)^3.$$

现在将 $Z=Z_X$ 代入：

$$Q \approx \left[ \frac79+ \sqrt{\frac29} \frac{ \left(\dfrac{T_X}{\nu}\right)^{1/3} -1+\dfrac{2}{9\nu} }{ \sqrt{\dfrac{2}{9\nu}} } \right]^3.$$

注意：

$$\frac{ \sqrt{2/9} }{ \sqrt{2/(9\nu)} } = \sqrt{\nu},$$

因此

$$Q \approx \left[ \frac79+ \sqrt{\nu} \left( \left(\frac{T_X}{\nu}\right)^{1/3} -1+ \frac{2}{9\nu} \right) \right]^3.$$

即

$$WM(X)\overset{\mathrm{approx}}{\sim}\chi_1^2.$$

由于 WH 近似在极小统计量区域可能产生小于 0 的近似值，所以算法取

$$\max\{0,\cdot\}.$$

因此定理成立。证毕。

GUIDE 分类树正是使用“两次 Wilson–Hilferty 变换”，把自由度大于 1 的 Pearson 卡方统计量转换成 1 自由度卡方值后进行变量比较。(UW Computer Sciences)

---

2.3 这个证明说明了什么？

假设两个特征：

$$X_1:\nu_1=2, \qquad X_2:\nu_2=10.$$

直接比较

$$\chi_2^2 \quad\text{和}\quad \chi_{10}^2$$

并不公平，因为在零假设下

$$E(\chi_\nu^2)=\nu.$$

自由度越大的变量，其原始卡方值天然倾向于更大。

WH 变换之后：

$$WM(X_1)\approx\chi_1^2,$$ $$WM(X_2)\approx\chi_1^2.$$

于是两者被放在统一尺度比较。

因此论文里建议不要说：

得到了“严格无偏卡方值”。

而写：

通过 Wilson–Hilferty 转换将不同自由度的 Pearson 卡方统计量近似映射到统一的一自由度卡方尺度，从而削弱由变量取值数和自由度差异导致的特征选择偏差。

因为 WH 是近似，而不是严格等分布。

---

三、定理 2：WH 节点特征选择一致性

这是最能体现你 WH 创新的理论之一。

3.1 定义节点中的信息特征

在当前节点 $t$ 上，将候选特征分成两类。

有关特征集合：

$$\mathcal S_t = \{X:X\not\perp Y\mid t\}.$$

无关特征集合：

$$\mathcal N_t = \{X:X\perp Y\mid t\}.$$

由于 Algorithm 1 第 19 行只随机选择 $m$ 个变量，所以实际参与比较的是

$$V_t.$$

因此严格定理必须写成：

$$V_t\cap\mathcal S_t\neq\varnothing.$$

即候选子集 $V_t$ 中至少包含一个真正有信息的变量。

---

3.2 定理陈述

定理 2（WH 节点特征选择的一致性）

假设当前节点样本数量满足

$$|D_t^*|\rightarrow\infty,$$

候选变量数量 $m$ 固定，并满足标准 Pearson 卡方渐近条件。

进一步假设：

$$V_t\cap\mathcal S_t\neq\varnothing.$$

对于连续变量，假定 Algorithm 2 第 32–38 行离散化以后仍保持与类别 $Y$ 的非零关联。

则有

$$\boxed{ P \left( best\_feat\in\mathcal S_t \mid V_t\cap\mathcal S_t\neq\varnothing \right) \longrightarrow1. }$$

即大样本条件下，只要随机候选特征集合中存在至少一个有效变量，WH 选择无信息变量的概率趋于 0。

---

3.3 第一步：证明无信息特征的 WH 得分有界

对于

$$X\in\mathcal N_t,$$

有

$$X\perp Y.$$

因此 Pearson 卡方统计量满足：

$$T_X \xrightarrow{d} \chi_{\nu_X}^2.$$

所以

$$T_X=O_p(1).$$

由于 WH 变换为连续函数，因此

$$WM(X)=O_p(1).$$

因此所有无关特征得分不会随着

$$|D_t^*|$$

增加而无限增长。

若候选无关特征数量有限，则

$$\max_{X\in V_t\cap\mathcal N_t}WM(X) = O_p(1).$$

---

3.4 第二步：证明信息特征得分趋于无穷

设

$$X\in\mathcal S_t.$$

对于离散后的列联表，记总体联合概率为

$$p_{ab} = P(X=a,Y=b\mid t).$$

边缘概率：

$$p_{a+} = \sum_b p_{ab},$$ $$p_{+b} = \sum_a p_{ab}.$$

定义 Pearson 关联距离：

$$\Delta_X = \sum_{a,b} \frac{ (p_{ab}-p_{a+}p_{+b})^2 }{ p_{a+}p_{+b} }.$$

由于

$$X\not\perp Y,$$

所以存在至少一个 $(a,b)$ 使得

$$p_{ab}\neq p_{a+}p_{+b},$$

因此

$$\Delta_X>0.$$

由大数定律，

$$\frac{T_X}{|D_t^*|} \xrightarrow{p} \Delta_X.$$

所以

$$T_X = |D_t^*|\Delta_X + o_p(|D_t^*|).$$

因此

$$T_X\xrightarrow{p}\infty.$$

再看 WH 公式：

$$WM(X) = \left[ \frac79+ \sqrt{\nu_X} \left( \left(\frac{T_X}{\nu_X}\right)^{1/3} -1+ \frac{2}{9\nu_X} \right) \right]^3.$$

当

$$T_X\rightarrow\infty$$

时，其主导项为

$$\left[ \sqrt{\nu_X} \left(\frac{T_X}{\nu_X}\right)^{1/3} \right]^3.$$

于是

$$WM(X) \sim \sqrt{\nu_X}T_X.$$

因此：

$$\boxed{ WM(X)\xrightarrow{p}\infty. }$$

---

3.5 第三步：比较两类变量

对于无信息特征：

$$WM(X)=O_p(1).$$

对于信息特征：

$$WM(X)\rightarrow\infty.$$

因此

$$P \left[ \max_{X\in V_t\cap\mathcal S_t}WM(X) > \max_{X\in V_t\cap\mathcal N_t}WM(X) \right] \rightarrow1.$$

而你的 Algorithm 2 第 41–43 行执行

$$best\_feat = \arg\max_{X\in V_t}WM(X).$$

因此：

$$\boxed{ P(best\_feat\in\mathcal S_t) \rightarrow1 }$$

条件是

$$V_t\cap\mathcal S_t\neq\varnothing.$$

证毕。

---

3.6 这里有一个非常重要的随机森林细节

你不能直接写：

$$P(best\_feat\in\mathcal S_t)\to1$$

无条件成立。

为什么？

因为你 Algorithm 1 第 19 行有

$$m\approx\sqrt p$$

随机特征抽样。

假设总共有 $s$ 个有效特征，那么一个有效特征都没有进入 $V_t$ 的概率为

$$\frac{\binom{p-s}{m}}{\binom pm}.$$

因此

$$P (V_t\cap\mathcal S_t\neq\varnothing) = 1- \frac{\binom{p-s}{m}}{\binom pm}.$$

所以严格而言：

$$P(best\_feat\in\mathcal S_t) \rightarrow 1- \frac{\binom{p-s}{m}}{\binom pm}.$$

因此你的论文应该写：

条件于候选特征集合 $V_t$ 至少包含一个与类别相关的特征，随着节点有效样本量增加，WH 选择规则选择无关变量的概率趋于零。

这比无条件“趋于 1”严谨得多。

---

四、定理 3：客户端随机排列公平性

这对应 Algorithm 1 第 1–3 行。

4.1 定理陈述

假设对于每棵树

$$t_j,\qquad j=1,\ldots,M,$$

服务器从 $K!$ 个客户端排列中均匀、独立地产生随机序列

$$P_j.$$

则对任意客户端 $C_i$ 及任意生长位置

$$h\in\{1,\ldots,K\},$$

客户端 $C_i$ 出现在位置 $h$ 的频率满足

$$\boxed{ \frac{N_{i,h}^{(M)}}{M} \xrightarrow{a.s.} \frac1K. }$$

---

4.2 完整证明

定义指示变量：

$$I_{j,i,h} = I \{ C_i \text{ 在 }P_j\text{ 中位于第 }h\text{ 位} \}.$$

因为 $P_j$ 是 $K$ 个客户端的均匀随机排列，所以：

$$P(I_{j,i,h}=1)=\frac1K.$$

且

$$E[I_{j,i,h}] = \frac1K.$$

在 $M$ 棵树中，客户端 $C_i$ 位于位置 $h$ 的总次数为

$$N_{i,h}^{(M)} = \sum_{j=1}^{M} I_{j,i,h}.$$

因此：

$$N_{i,h}^{(M)} \sim Binomial \left( M,\frac1K \right).$$

所以

$$E[N_{i,h}^{(M)}] = \frac{M}{K}.$$

因为不同树的随机排列相互独立，所以根据强大数定律：

$$\frac1M \sum_{j=1}^{M}I_{j,i,h} \xrightarrow{a.s.} E[I_{j,i,h}] = \frac1K.$$

即：

$$\boxed{ \frac{N_{i,h}^{(M)}}M \xrightarrow{a.s.} \frac1K. }$$

证毕。

---

4.3 解释

例如有 4 个客户端：

$$C_1,C_2,C_3,C_4.$$

如果永远按照

$$C_1\to C_2\to C_3\to C_4$$

生长，那么：

• $C_1$ 永远处于第一轮；
• $C_4$ 永远处于最后一轮。

而树靠近根部的分裂通常对更多样本产生影响，因此固定顺序可能带来“位置偏差”。

你的随机排列保证：

$$P(C_i\text{ 位于第1位}) = \cdots = P(C_i\text{ 位于第}K\text{位}) = \frac1K.$$

并且：

$$M\rightarrow\infty$$

后，各位置实际频率也趋于

$$1/K.$$

因此论文中可以写：

随机客户端排列在概率意义上消除了固定迭代顺序造成的系统性客户端位置偏差，使各客户端获得渐近相等的不同树生长位置参与机会。

注意它证明的是参与位置公平性，不是直接证明“所有客户端预测贡献完全相等”。

---

五、定理 4：双重 Bootstrap 的一阶保持性质与随机扰动性质

这对应 Algorithm 1 第 9–18 行。

---

5.1 定理陈述

当

$$n_t>0.1n$$

时，对当前节点样本

$$D_t = \{z_1,\ldots,z_{n_t}\}$$

执行第二次 Bootstrap：

$$D_t^* \leftarrow Bootstrap(D_t).$$

其中

$$z_r=(x_r,y_r).$$

则：

性质一

第二次 Bootstrap 不改变当前节点经验分布的一阶条件期望：

$$\boxed{ E[ \widehat P_t^* \mid D_t ] = \widehat P_t. }$$

性质二

除非节点中所有样本在所考察统计量上完全相同，否则：

$$\boxed{ Var( \widehat\mu_t^* \mid D_t )>0, }$$

因此第二次 Bootstrap 引入了额外的节点级随机扰动。

---

5.2 完整证明

节点 $D_t$ 的经验分布为

$$\widehat P_t = \frac1{n_t} \sum_{r=1}^{n_t} \delta_{z_r}.$$

Bootstrap 相当于从这些样本中有放回抽取 $n_t$ 次。

设原样本 $z_r$ 被抽中的次数为

$$B_r.$$

则：

$$(B_1,\ldots,B_{n_t}) \sim Multinomial \left( n_t; \frac1{n_t}, \ldots, \frac1{n_t} \right).$$

第二次 Bootstrap 的经验分布：

$$\widehat P_t^* = \frac1{n_t} \sum_{r=1}^{n_t} B_r\delta_{z_r}.$$

因为：

$$E[B_r\mid D_t] = n_t\frac1{n_t} = 1,$$

所以：

$$E[ \widehat P_t^* \mid D_t ] = \frac1{n_t} \sum_{r=1}^{n_t} E[B_r]\delta_{z_r}.$$

于是：

$$E[ \widehat P_t^* \mid D_t ] = \frac1{n_t} \sum_{r=1}^{n_t} \delta_{z_r}.$$

因此：

$$\boxed{ E[ \widehat P_t^* \mid D_t ] = \widehat P_t. }$$

性质一得证。

---

5.3 对任意节点统计量进一步证明

设考察任意函数

$$\phi(z).$$

节点原经验均值：

$$\widehat\mu_t = \frac1{n_t} \sum_{r=1}^{n_t} \phi(z_r).$$

Bootstrap 后：

$$\widehat\mu_t^* = \frac1{n_t} \sum_{s=1}^{n_t} \phi(z_s^*).$$

那么：

$$E[ \widehat\mu_t^* \mid D_t ] = \widehat\mu_t.$$

且

$$Var ( \widehat\mu_t^* \mid D_t ) = \frac1{n_t} \left[ \frac1{n_t} \sum_{r=1}^{n_t} \phi^2(z_r) - \widehat\mu_t^2 \right].$$

若

$$\phi(z_r)$$

并非对所有样本都相同，则：

$$Var ( \widehat\mu_t^* \mid D_t )>0.$$

所以：

$$D_t^*$$

以

$$D_t$$

为中心，同时产生新的随机波动。

---

5.4 对你的算法意味着什么？

你的机制为：

$$D_t \rightarrow D_t^* \rightarrow WM(X) \rightarrow best\_feat \rightarrow best\ split.$$

因此不同树即使来到相似节点，由于：

$$D_t^*$$

不同，也可能获得：

$$WM_j(X)\neq WM_{j'}(X),$$

进而产生不同：

$$best\_feat$$

或不同分裂阈值。

所以可以写：

第二重 Bootstrap 在条件期望意义上保持当前节点经验分布的一阶中心不变，同时为 WH 特征评估及 CART 分裂值搜索引入额外随机扰动，从而增强不同决策树之间的结构多样性。

但不要写：

“二次 Bootstrap 一定降低树间相关性。”

你目前只能严格证明：

$$\text{增加了额外随机性}.$$

要证明树间相关性确实下降，应当实验比较：

$$\rho_{\text{single}} \quad\text{与}\quad \rho_{\text{double}}.$$

Breiman 的随机森林分析指出，森林性能与单树强度和树间依赖/相关性密切相关。(Department of Statistics)

---

六、定理 5：森林树数 $M\to\infty$ 的收敛性

这是我认为你论文中最重要的主定理。

首先需要把 Algorithm 4 的投票数学化。

---

6.1 定义单棵树的联邦投票

对于测试样本 $x$，它在树

$$t_j$$

中到达某个叶节点，记为

$$A_j(x).$$

客户端 $C_i$ 在树调节阶段为这个叶节点产生多数类标签：

$$l_{j,i}(x).$$

于是对类别

$$c\in\{1,\ldots,J\},$$

定义第 $j$ 棵树的联邦类别投票比例：

$$Z_{j,c}(x) = \frac1K \sum_{i=1}^{K} I \{ l_{j,i}(x)=c \}.$$

因此：

$$0\le Z_{j,c}(x)\le1.$$

整个 $M$ 棵森林的归一化类别频率：

$$\overline F_{M,c}(x) = \frac1M \sum_{j=1}^{M} Z_{j,c}(x).$$

等价地：

$$\overline F_{M,c}(x) = \frac1{MK} \sum_{j=1}^{M} \sum_{i=1}^{K} I \{ l_{j,i}(x)=c \}.$$

你的 Algorithm 4 中原来的频数 $F[c]$ 与这里仅相差常数 $MK$，因此：

$$\arg\max_cF[c] = \arg\max_c\overline F_{M,c}(x).$$

---

6.2 定义每棵树的全部随机性

将树 $t_j$ 中的随机因素统一写为：

$$\Theta_j.$$

包括：

$$\Theta_j= \{ P_j, Bootstrap, D_t^*, V_t, \text{平局随机处理等} \}.$$

假设在给定所有客户端训练数据

$$\mathcal D=(D_1,\ldots,D_K)$$

之后：

$$\Theta_1,\ldots,\Theta_M$$

相互独立且同分布。

这一假设与经典随机森林理论中“每棵树由独立同分布随机向量 $\Theta_j$ 驱动”的框架一致。(Department of Statistics)

---

6.3 定理陈述

定义无限森林类别得分：

$$\mu_c(x) = E_\Theta [ Z_{\Theta,c}(x) \mid\mathcal D ].$$

则：

$$\boxed{ \overline F_{M,c}(x) \xrightarrow[M\to\infty]{a.s.} \mu_c(x). }$$

---

6.4 完整证明

因为：

$$0\le Z_{j,c}(x)\le1,$$

所以：

$$E[ |Z_{j,c}(x)| ] <\infty.$$

在给定

$$\mathcal D$$

条件下，由于不同树的随机机制独立同分布，因此：

$$Z_{1,c}(x), Z_{2,c}(x), \ldots$$

为独立同分布有界随机变量。

根据强大数定律：

$$\frac1M \sum_{j=1}^{M} Z_{j,c}(x) \xrightarrow{a.s.} E_\Theta[ Z_{\Theta,c}(x) \mid\mathcal D ].$$

即：

$$\boxed{ \overline F_{M,c}(x) \rightarrow \mu_c(x) \quad a.s. }$$

证毕。

这与 Breiman 随机森林的核心收敛思路相同：独立随机树数量趋于无穷时，类别投票比例由强大数定律趋于稳定极限。(Department of Statistics)

---

七、继续证明：最终预测结果也收敛

定义无限森林的最终分类类别：

$$c^*(x) = \arg\max_{c=1,\ldots,J} \mu_c(x).$$

假定其唯一。

定义无限森林类别间隔：

$$\Delta(x) = \mu_{c^*}(x) - \max_{c\neq c^*} \mu_c(x).$$

假设：

$$\Delta(x)>0.$$

前面已经证明对所有有限类别 $c$：

$$\overline F_{M,c}(x) \to \mu_c(x).$$

因此存在充分大的 $M$，使得：

$$\max_c | \overline F_{M,c}(x) -\mu_c(x) | < \frac{\Delta(x)}3.$$

此时：

$$\overline F_{M,c^*}(x) > \mu_{c^*}(x) - \frac{\Delta(x)}3,$$

对任意

$$c\neq c^*$$

有：

$$\overline F_{M,c}(x) < \mu_c(x) + \frac{\Delta(x)}3.$$

所以：

$$\overline F_{M,c^*}(x) - \overline F_{M,c}(x) > \Delta(x) -\frac{2\Delta(x)}3.$$

即：

$$\overline F_{M,c^*}(x) - \overline F_{M,c}(x) > \frac{\Delta(x)}3>0.$$

于是当 $M$ 足够大：

$$\hat y_M(x)=c^*(x).$$

所以：

$$\boxed{ \hat y_M(x) \xrightarrow{a.s.} c^*(x). }$$

---

八、进一步证明森林泛化风险稳定

定义测试分布下风险：

$$R_M = P ( \hat y_M(X)\neq Y ).$$

无限森林风险：

$$R_\infty = P ( c^*(X)\neq Y ).$$

若对于 $P_X$-几乎所有 $x$：

$$\Delta(x)>0,$$

则：

$$I \{ \hat y_M(X)\neq Y \} \to I \{ c^*(X)\neq Y \}.$$

且：

$$0 \le I \{ \hat y_M(X)\neq Y \} \le1.$$

因此根据控制收敛定理：

$$\boxed{ R_M\rightarrow R_\infty. }$$

这就是你 Algorithm 1–4 的森林规模收敛性。

Breiman 原始随机森林理论也证明了随着树数增加，泛化误差趋于一个稳定极限。(Department of Statistics)

---

九、这个定理究竟证明了什么？

它证明的是：

$$\boxed{ M\to\infty \Rightarrow \text{投票稳定} \Rightarrow \text{预测稳定} \Rightarrow \text{风险趋于稳定极限}. }$$

也就是：

$$R_M\to R_\infty.$$

但是它没有证明

$$R_\infty=R^*,$$

其中 $R^*$ 为 Bayes 风险。

所以论文中一定要称：

森林规模收敛性

而不能直接称：

“Bayes 一致性”。

随机森林的统计一致性是另外一个更强的问题；相关理论文献专门研究了什么随机森林结构能够达到一致性。(Journal of Machine Learning Research)

---

十、定理 6：有限树数 $M$ 的指数收敛速度

这个定理我非常建议加，因为它使上一节从“极限结果”变成了“有限样本定量结果”。

---

10.1 类别得分的 Hoeffding 界

由于：

$$Z_{j,c}(x)\in[0,1],$$

并且在给定训练数据后不同树独立，所以由 Hoeffding 不等式：

$$P \left[ \left| \overline F_{M,c}(x) - \mu_c(x) \right| \ge\varepsilon \mid\mathcal D \right] \le 2\exp(-2M\varepsilon^2).$$

一共有 $J$ 个类别，根据并集界：

$$\boxed{ P \left[ \max_{1\le c\le J} | \overline F_{M,c}(x)-\mu_c(x) | \ge\varepsilon \right] \le 2J e^{-2M\varepsilon^2}. }$$

因此：

$$M$$

增加时，有限森林类别频率偏离无限森林类别频率的概率呈指数下降。

---

十一、进一步直接证明“有限森林预测错于无限森林”的概率

令无限森林预测类别为：

$$c^* = \arg\max_c\mu_c(x).$$

对于任意竞争类别

$$c\neq c^*,$$

定义：

$$W_{j,c}(x) = Z_{j,c^*}(x) - Z_{j,c}(x).$$

由于：

$$Z_{j,c}\in[0,1],$$

所以：

$$-1\le W_{j,c}\le1.$$

定义其期望：

$$\delta_c(x) = E[W_{j,c}(x)] = \mu_{c^*}(x)-\mu_c(x).$$

并且：

$$\delta_c(x)\ge\Delta(x)>0.$$

如果有限森林错误地让类别 $c$ 战胜 $c^*$，则：

$$\frac1M \sum_{j=1}^{M} W_{j,c}(x) \le0.$$

因此：

$$P \left( c \text{ 战胜 }c^* \right)$$ $$\le P \left[ \frac1M \sum_j W_{j,c} - \delta_c \le -\delta_c \right].$$

Hoeffding 不等式给出：

$$P \left( c \text{ 战胜 }c^* \right) \le \exp \left( -\frac{M\delta_c^2}{2} \right).$$

由于：

$$\delta_c\ge\Delta,$$

有：

$$P \left( c \text{ 战胜 }c^* \right) \le \exp \left( -\frac{M\Delta^2}{2} \right).$$

一共有 $J-1$ 个竞争类别，所以：

$$\boxed{ P \{ \hat y_M(x)\neq c^*(x) \} \le (J-1) \exp \left( -\frac{M\Delta^2(x)}2 \right). }$$

这就是非常漂亮的有限森林指数收敛界。

---

十二、这个公式还能直接告诉你需要多少棵树

如果你希望：

$$P \{ \hat y_M(x)\neq c^*(x) \} \le\delta,$$

只需要：

$$(J-1) e^{-M\Delta^2/2} \le\delta.$$

取对数：

$$M \ge \frac{2}{\Delta^2} \log \frac{J-1}{\delta}.$$

因此：

$$\boxed{ M \ge \frac{2}{\Delta^2(x)} \log \frac{J-1}{\delta} }$$

即可保证有限森林与无限森林预测不一致的概率至多为 $\delta$。

---

12.1 如何解释？

这个定理意味着两个因素决定有限森林需要多少棵树：

第一，树数 $M$

越大：

$$e^{-M\Delta^2/2}$$

越小。

第二，类别投票间隔 $\Delta(x)$

如果：

$$\Delta(x)$$

很大，说明无限森林非常确定，所以少量树就可以稳定。

如果：

$$\Delta(x)\approx0,$$

说明样本本身就在困难区域/决策边界附近，需要更多树。

因此你可以写：

在无限森林具有正投票间隔的条件下，有限协同联邦森林偏离无限森林预测结果的概率随森林规模 $M$ 指数衰减。

这个结论比简单说“随着树增加模型会稳定”更强。

---

十三、定理 7：联邦叶节点共识一致性

这是最具有“联邦”特色的证明。

对应 Algorithm 4。

---

13.1 正确表示一个叶节点的客户端标签列表

固定某棵树：

$$t_j.$$

固定其中某个叶节点：

$$A.$$

客户端：

$$C_i$$

利用自己的全部本地数据遍历树。

到达叶节点 $A$ 的样本数：

$$N_i(A) = \sum_{r=1}^{n_i} I \{ x_{ir}\in A \}.$$

类别 $c$ 的样本数：

$$N_{i,c}(A) = \sum_{r=1}^{n_i} I \{ x_{ir}\in A, y_{ir}=c \}.$$

于是客户端估计叶节点类别比例：

$$\widehat\pi_{i,c}(A) = \frac{ N_{i,c}(A) }{ N_i(A) }.$$

客户端产生多数类标签：

$$l_i(A) = \arg\max_c \widehat\pi_{i,c}(A).$$

服务器收到：

$$L(A) = \{ l_1(A), l_2(A), \ldots, l_K(A) \}.$$

---

13.2 定义客户端的总体叶节点类别分布

定义：

$$\pi_{i,c}(A) = P_i ( Y=c \mid X\in A ).$$

定义客户端 $C_i$ 在叶节点 $A$ 的真实多数类别：

$$c_i^*(A) = \arg\max_c \pi_{i,c}(A).$$

假设这个最大类别唯一。

定义类别间隔：

$$\gamma_i(A) = \pi_{i,c_i^*}(A) - \max_{c\neq c_i^*} \pi_{i,c}(A).$$

要求：

$$\gamma_i(A)>0.$$

---

13.3 定理陈述

假设：

$$P_i(X\in A)>0,$$

并且：

$$n_i\rightarrow\infty.$$

则：

$$\boxed{ l_i(A) \xrightarrow{a.s.} c_i^*(A). }$$

进一步，如果服务器端客户端多数标签存在唯一多数类别，则服务器叶节点共识标签也几乎必然趋于该总体客户端共识类别。

---

13.4 第一步：证明叶节点样本数趋于无穷

因为：

$$P_i(X\in A)>0,$$

根据大数定律：

$$\frac{N_i(A)}{n_i} \xrightarrow{a.s.} P_i(X\in A)>0.$$

因此：

$$N_i(A)\xrightarrow{a.s.}\infty.$$

---

13.5 第二步：证明经验类别比例收敛

根据大数定律：

$$\frac{N_{i,c}(A)}{n_i} \xrightarrow{a.s.} P_i ( X\in A,Y=c ).$$

同时：

$$\frac{N_i(A)}{n_i} \xrightarrow{a.s.} P_i(X\in A).$$

因此：

$$\widehat\pi_{i,c}(A) = \frac{ N_{i,c}(A)/n_i }{ N_i(A)/n_i }.$$

由连续映射定理：

$$\widehat\pi_{i,c}(A) \xrightarrow{a.s.} \frac{ P_i(X\in A,Y=c) }{ P_i(X\in A) }.$$

即：

$$\boxed{ \widehat\pi_{i,c}(A) \xrightarrow{a.s.} \pi_{i,c}(A). }$$

---

13.6 第三步：证明客户端叶节点多数类稳定

真实多数类为：

$$c_i^*.$$

其类别间隔：

$$\gamma_i(A)>0.$$

因为所有：

$$\widehat\pi_{i,c}(A) \to \pi_{i,c}(A),$$

所以当 $n_i$ 足够大时：

$$\left| \widehat\pi_{i,c} - \pi_{i,c} \right| < \frac{\gamma_i(A)}3$$

对所有类别同时成立。

于是：

$$\widehat\pi_{i,c_i^*} > \pi_{i,c_i^*} -\frac{\gamma_i}3,$$

而：

$$\widehat\pi_{i,c} < \pi_{i,c} +\frac{\gamma_i}3.$$

因此：

$$\widehat\pi_{i,c_i^*} - \widehat\pi_{i,c} > \gamma_i -\frac{2\gamma_i}3 = \frac{\gamma_i}3 >0.$$

于是：

$$l_i(A)=c_i^*(A)$$

最终几乎必然成立。

所以：

$$\boxed{ l_i(A) \xrightarrow{a.s.} c_i^*(A). }$$

---

十四、第四步：证明服务器联邦共识稳定

定义总体客户端多数投票数：

$$Q_c^*(A) = \sum_{i=1}^{K} I \{ c_i^*(A)=c \}.$$

定义服务器目标共识类别：

$$c_{\mathrm{Fed}}^*(A) = \arg\max_c Q_c^*(A).$$

假设最大值唯一。

因为：

$$K$$

有限，且对于每个客户端都有：

$$l_i(A)\to c_i^*(A),$$

所以最终所有客户端标签同时稳定。

服务器实际票数：

$$\widehat Q_c(A) = \sum_{i=1}^{K} I \{ l_i(A)=c \}$$

最终满足：

$$\widehat Q_c(A)=Q_c^*(A).$$

因此：

$$\boxed{ \hat c_{\mathrm{Fed}}(A) \xrightarrow{a.s.} c_{\mathrm{Fed}}^*(A). }$$

证毕。

---

十五、这个证明非常重要的含义

你的算法最终叶节点学习的不是“把所有客户端样本放在一起以后最大的类别”。

它学习的是：

$$\boxed{ \text{各客户端自身多数类的多数} }$$

数学上：

$$c_{\mathrm{Fed}}^*(A) = \arg\max_c \sum_{i=1}^{K} I \left[ c= \arg\max_r P_i(Y=r\mid X\in A) \right].$$

而集中式 pooled-data 分类器通常是：

$$\arg\max_c \sum_i w_i P_i(Y=c\mid X\in A).$$

两者并不相同。

这实际上很好地体现了你的 non-IID 思路：

每一个客户端首先形成自己的局部决策，再由服务器进行决策级共识，而不是直接让大样本客户端在样本数量上压倒小样本客户端。

所以你可以把这一性质称为：

联邦叶节点客户端共识一致性

或者英文：

Client-level Consensus Consistency of Federated Leaf Nodes

---

十六、non-IID 场景下一个必须补的算法细节

如果某客户端 $C_i$ 在叶节点 $A$ 中：

$$N_i(A)=0,$$

那么：

$$l_i(A)$$

不存在。

在 non-IID 情况下这是完全可能出现的。

所以建议 Algorithm 4 明确增加：

$$l_i(A)=\varnothing, \qquad \text{if }N_i(A)=0.$$

服务器聚合时忽略：

$$\varnothing.$$

定义活动客户端集合：

$$\mathcal I(A) = \{ i:N_i(A)>0 \}.$$

则：

$$L(A) = \{ l_i(A): i\in\mathcal I(A) \}.$$

预测票数改为：

$$F_c(A) = \sum_{i\in\mathcal I(A)} I \{ l_i(A)=c \}.$$

这样你的算法和证明都会完整很多。

---

十七、七个证明之间实际上形成了一条完整逻辑链

你的七个理论结果不是彼此孤立的，可以组织成下面这样：

$$\boxed{ \text{WH 自由度校准} }$$

↓

不同类别数、不同特征取值数造成的自由度差异被校准。

然后：

$$\boxed{ \text{WH 特征选择一致性} }$$

↓

如果候选集合中包含有效变量，大样本下有效变量压过纯噪声变量。

与此同时：

$$\boxed{ \text{客户端随机排列公平性} }$$

↓

不同客户端在不同树生长位置上的参与比例渐近达到：

$$1/K.$$

同时：

$$\boxed{ \text{双重 Bootstrap} }$$

↓

保持节点经验分布的一阶中心，同时增加节点级随机扰动。

因此形成具有多重随机性的单棵协同树。

之后：

$$\boxed{ M\to\infty }$$

↓

由强大数定律：

$$\overline F_{M,c}(x) \to \mu_c(x).$$

进一步：

$$\boxed{ \hat y_M(x)\to c^*(x) }$$

以及：

$$\boxed{ R_M\to R_\infty. }$$

同时 Hoeffding 给出：

$$\boxed{ P( \hat y_M(x)\neq c^*(x) ) \le (J-1)e^{-M\Delta^2(x)/2}. }$$

最后树调节阶段满足：

$$\boxed{ l_i(A)\to c_i^*(A) }$$

进而：

$$\boxed{ \hat c_{\mathrm{Fed}}(A) \to c_{\mathrm{Fed}}^*(A). }$$

这七个证明正好分别对应你的三类创新。

---

十八、可以把七个定理这样分到论文三个创新点下面

你的算法创新	对应理论证明
WH 特征选择	定理 1：WH 自由度校准
WH 特征选择	定理 2：节点特征选择一致性
协同联邦生长	定理 3：客户端随机排列公平性
双重随机森林	定理 4：Double Bootstrap 一阶保持与随机扰动
双重随机森林	定理 5：$M\to\infty$ 森林收敛
双重随机森林	定理 6：有限 $M$ 的 Hoeffding 指数界
联邦树调节	定理 7：联邦叶节点共识一致性

这样你的理论部分就不是简单套用传统 RF，而是每一个算法模块都有对应的理论解释。

---

十九、论文中建议直接建立“3.5 理论性质分析”

你可以直接写成：

3.5 算法理论性质分析

3.5.1 WH 统计量的自由度校准性质

定理 1.
若 $X$ 与类别标签 $Y$ 在节点 $t$ 内独立，则经过式（1）的两阶段 Wilson–Hilferty 转换后：

$$WM(X) \overset{\mathrm{approx}}{\sim} \chi_1^2.$$

因此不同自由度的候选特征能够在统一统计尺度下比较。

---

3.5.2 WH 节点变量选择一致性

定理 2.
若随机候选集合 $V_t$ 至少包含一个与 $Y$ 有关的变量，并且：

$$|D_t^*|\to\infty,$$

则：

$$P \left( best\_feat\in\mathcal S_t \mid V_t\cap\mathcal S_t\neq\emptyset \right) \to1.$$

---

3.5.3 客户端随机排列的渐近均衡性

定理 3.

$$\frac{N_{i,h}^{(M)}}M \xrightarrow{a.s.} \frac1K.$$

---

3.5.4 双重 Bootstrap 的条件期望保持性

定理 4.

$$E[ \widehat P_t^* \mid D_t ] = \widehat P_t,$$

同时：

$$Var( \widehat\mu_t^* \mid D_t )>0.$$

---

3.5.5 协同联邦森林的森林规模收敛性

定理 5.

$$\overline F_{M,c}(x) \xrightarrow{a.s.} \mu_c(x),$$

且在唯一最大投票类别条件下：

$$\hat y_M(x) \xrightarrow{a.s.} c^*(x),$$

以及：

$$R_M\to R_\infty.$$

---

3.5.6 有限森林的指数收敛界

定理 6.

$$P \{ \hat y_M(x)\neq c^*(x) \} \le (J-1) \exp \left( -\frac{M\Delta^2(x)}2 \right).$$

---

3.5.7 联邦叶节点客户端共识一致性

定理 7.

$$l_i(A) \xrightarrow{a.s.} c_i^*(A),$$

以及：

$$\hat c_{\mathrm{Fed}}(A) \xrightarrow{a.s.} c_{\mathrm{Fed}}^*(A).$$

---

二十、还有一个很重要的问题：这七个证明中哪些最“硬”？

从理论严谨性排序，我会这样评价：

定理 3 客户端排列公平性
最严格，基本没有争议。

定理 4 Bootstrap 一阶性质
严格成立。

定理 5 $M\to\infty$
在树随机性条件独立同分布下严格成立，而且与经典 RF 理论高度一致。Breiman 正是用强大数定律证明随机森林随树数增加趋于稳定。(Department of Statistics)

定理 6 Hoeffding 收敛速度
非常严格，而且很适合论文。

定理 7 联邦叶共识一致性
在叶节点区域固定、有效客户端叶节点样本量趋于无穷、无类别平局条件下严格成立。

定理 1 WH 自由度校准
属于近似统计性质，因为 Wilson–Hilferty 本身是渐近近似。GUIDE 也把它明确作为 approximation 使用。(UW Computer Sciences)

定理 2 WH 特征选择一致性
可以成立，但要明确写“候选集合包含有效变量”和“离散化后仍保持关联”等正则条件；不要写成无条件 universal consistency。

---

最后还有一个对你后续“随机森林收敛性证明”非常关键的区分

你现在这 7 个证明中的定理 5 和定理 6解决的是：

$$\boxed{ M\rightarrow\infty }$$

也就是森林中树数量增加时的收敛性。

而真正意义上的统计一致性要求研究：

$$\boxed{ n_i\rightarrow\infty }$$

并最终证明：

$$R_{M,n} \xrightarrow[M\to\infty]{} R_{\infty,n} \xrightarrow[n_{\min}\to\infty]{} R^*.$$

第二个箭头需要进一步证明“叶节点直径趋于 0、叶节点样本量趋于无穷”等性质。随机森林一致性研究中这属于另一层更强的理论问题；已有文献专门研究随机森林及 averaging classifiers 的一致性，而并非所有随机森林构造天然都具有 universal consistency。(Journal of Machine Learning Research)

所以如果你下一步要把论文理论部分做到比较完整，最自然的第 8 个定理 就是：

$$\boxed{ \text{在适当叶节点正则条件下， 你的算法具有联邦统计一致性/Bayes 一致性。} }$$

而这个第 8 个证明，需要专门结合你 Algorithm 1–4 的停止生长条件、$n_t$、WH 分裂机制、non-IID 假设和叶节点调节机制来推，不能直接照搬普通随机森林定理。