可以把这两篇论文看成沿着同一条研究主线的两次“升级”：

FedSaC（ICML 2024）解决的是“应该和谁合作”；FedTreeLoRA（ICML 2026）进一步解决“应该和谁、在模型哪一层合作到什么程度”。
FedSaC 主要挑战 personalized FL 中“越相似越应该合作”的假设，认为真正有效的伙伴应同时满足相似性 + 互补性；FedTreeLoRA 则挑战 federated LoRA 中的 Flat-Model Assumption，认为客户端异质性不仅存在于客户端之间，也存在于 Transformer 的不同深度。(FedSaC.pdf) (FedTreeLoRA.pdf)

先说明一点：下面的“录用原因”是我根据论文贡献、实验和论证完整性做的reviewer视角推断，不是官方 reviewer comments。

1. 两个算法最核心的区别

维度	FedSaC	FedTreeLoRA	我的判断
核心问题	谁和谁合作？	谁和谁在第几层合作？	FedTreeLoRA 粒度更细
主要异质性	客户端间 statistical heterogeneity	statistical + layer-wise functional heterogeneity	FedTreeLoRA 把问题升维了
对已有工作的批判	“只找最相似客户端”不一定最好	“整个模型统一聚合/统一分组”不合理	都是从挑战一个默认假设入手
合作结构	加权合作图 $W$	层次树 + 不同层的 tree cut	Graph 更灵活；Tree 更有结构先验
相似性依据	模型参数 cosine similarity	LoRA $B$ 参数距离	都用模型作为数据分布 proxy
额外信息	feature complementarity	layer-wise heterogeneity	FedSaC 强调“信息增益”，Tree 强调“功能深度”
个性化粒度	client-level	client × layer-level	Tree 明显更细
聚合方式	每个 client 一套 weighted aggregation	Cluster Expert + External Expert + $\lambda_{l,k}$	Tree 表达能力更强
适用范围	一般 FL、CNN、多模态	Transformer / LLM / LoRA	FedSaC 更通用
结构约束	较弱，连续权重图	强：全局树 + 深度单调性	Tree 稳定但也更受假设限制

2. FedSaC：为什么这个思路成立

FedSaC 最漂亮的地方，不是算法本身复杂，而是它提出了一个很容易让 reviewer 记住的问题：

“最相似的客户端，真的是最好的合作伙伴吗？”

作者把数据分布拆成

p(x,y)=p(x)p(y|x)

然后区分两种异质性： $p(y|x)$ 变化意味着 concept shift，通常会造成合作冲突；而适度的 $p(x)$ 差异即 covariate shift，反而可能意味着客户端拥有互补信息。因此最佳伙伴应该是：

\text{conditional relationship 相似} + \text{feature distribution 适度不同}

也就是“相似但不重复”。论文的 Figure 1 直接展示了：最高 model similarity 并不对应最高合作收益，适度 complementarity 反而达到最佳表现。(FedSaC.pdf)

算法随后非常自然地跟着这个 insight 走：用 local model 参数的 cosine similarity 近似 $p(y|x)$ 的一致性；用 feature matrix 做 SVD、取代表子空间，再用 principal angles 衡量两个客户端 feature space 的互补性。服务器最终学习 $N\times N$ 的合作权重矩阵 $W$ 。(FedSaC.pdf) (FedSaC.pdf)

FedSaC 的优点

它最大的优点是conceptual simplicity。从“similarity 不够”→“需要 complementarity”→“如何隐私友好地估计 complementarity”→“如何优化合作权重”，整条逻辑非常顺畅。

第二个优势是通用性很高。它不是为某一种网络结构设计的，论文既做 CIFAR-10/CIFAR-100，也扩展到了 CUB200 图文多模态场景。CIFAR 的多种异质性设置中，FedSaC 均超过 pFedGraph 等 personalized FL baseline；例如 CIFAR-10 Diri(high) 为 93.14 vs 84.28，CIFAR-100 Diri(high) 为 56.27 vs 51.63。(FedSaC.pdf) 多模态实验同样全面超过 FedAvg、FedIoT 和 pFedGraph。(FedSaC.pdf)

还有一个很好的实验设计是 Figure 3：只用 similarity 时，客户端容易“抱着自己不放”；只用 complementarity 时，又容易过度接受异质信息；两者 balance 后效果最好。这非常直接地对应了论文核心 claim。(FedSaC.pdf)

FedSaC 的短板

第一，similarity 和 complementarity 本质上仍是 proxy。

“模型 cosine similarity ≈ $p(y|x)$ similarity”、“feature subspace principal angle ≈ $p(x)$ complementarity”是合理 heuristic，但不是严格等价关系。模型训练阶段、初始化、representation quality 都可能影响这些 proxy。

第二，SVD feature subspace 是一个额外的隐私暴露面。作者强调不传原始数据，并讨论可以加入 DP/noise，但它不是严格意义上的 formal privacy guarantee。也就是说，从 reviewer 角度这是“privacy compatible”，而不能简单理解为“provably private”。

第三，规模扩展存在天然问题。合作网络是 $N\times N$ ，需要 pairwise similarity / complementarity。论文自己也承认主要实验只有 8–10 clients；扩展到 50/100 client 时采用每轮随机选取一小部分 client 合作来保证效率和稳定性。(FedSaC.pdf)

第四，它对 $\alpha,\beta,\lambda,k$ 等参数的依赖比表面看起来明显。尤其 similarity/complementarity 的权衡实际上和异质性类型有关，因此现实系统不知道数据分布类型时，自动调权重会是一个问题。

3. FedTreeLoRA：相比 FedSaC，它把问题往前推进了一层

FedTreeLoRA 的核心 observation 非常强：

客户端之间的异质性是“横向”的；Transformer 不同层承担不同功能，又构成了“纵向”的异质性。

浅层通常更偏通用 linguistic / representation feature，深层越来越 task/domain-specific。所以“两个 client 是否应该共享参数”不能只有一个全模型级答案，而应该取决于 layer depth。

论文通过 motivational study 给了非常关键的证据：只聚合 shallow layers 明显优于只聚合 deep layers；deep aggregation 在 heterogeneity 较高时甚至可以比 local training 更差。(FedTreeLoRA.pdf)

更重要的是，它又发现：

客户端越相似，可以共享得越深；客户端越异质，安全的 sharing boundary 越应该往浅层移动。

也就是说：

\text{optimal sharing depth} = f(\text{client similarity})

这让横向 heterogeneity 和纵向 heterogeneity 从两个独立 observation 变成了一个coupled problem。(FedTreeLoRA.pdf) (FedTreeLoRA.pdf)

这一步是 FedTreeLoRA 比一般 clustering FL 更有价值的地方。

4. FedTreeLoRA 的算法为什么比较漂亮

它实际上包含三层设计。

首先利用 warm-up 后的 LoRA $B$ matrices 得到 client distance，并用 AHC 建一个全局树 skeleton。这个树不是直接规定每一层怎么聚合，而是约束所有层的 grouping 必须来自同一个 hierarchy，从而避免第 10 层把 $\{1,2\}$ 聚在一起，第 11 层突然变成 $\{1,3\}$ 这种 topology incoherence。(FedTreeLoRA.pdf)

其次，每一个 Transformer layer 单独寻找合适的 cluster count $c_l^*$ ，同时强制

c_l\geq c_{l-1},

即模型越深，只能维持当前共享粒度或者进一步分裂，不能重新变得更“global”。(FedTreeLoRA.pdf)

最后，每个 client 每一层拥有两个来源：

\text{Cluster Expert} \quad+\quad \text{External Expert},

并由可学习的 $\lambda_{l,k}$ 调节。这样不会因为 cluster personalization 完全丢掉外部知识。论文 Figure 3 把整个过程画得非常清楚。(FedTreeLoRA.pdf)

5. FedTreeLoRA 的优缺点

它最大的优点是问题 formulation 本身很新。

以前 personalized FL 通常只有：

\text{global} \rightarrow \text{cluster} \rightarrow \text{local}

FedTreeLoRA 把它变成：

\text{浅层 global} \rightarrow \text{中层 group} \rightarrow \text{深层 personalized}.

因此 personalization 不再是 client-level，而是 client × model-depth 的二维问题。

第二个优势是它的消融实验非常有说服力。论文比较了固定 cluster depth 与 layer-adaptive strategy：固定 $k=1/4/8$ 的平均准确率分别为 87.20 / 91.45 / 90.74，adaptive 达到 92.36。(FedTreeLoRA.pdf) 另外，独立逐层 clustering 会因为 topology inconsistency 降到 89.47，加入 global tree skeleton 后回到 92.36，说明“树”并不是为了包装算法而加的装饰组件。(FedTreeLoRA.pdf)

第三个优势是性能和 efficiency story 同时成立。GLUE 上平均 92.36，高于 FedLEASE 的 91.19；FLAN/LLaMA-2-7B 上平均 63.19，也超过 FedALT、FedLEASE，并且 trainable parameter 占比基本维持标准 LoRA 水平。(FedTreeLoRA.pdf) 作者进一步指出，复杂 router 的 FedLEASE 有额外训练负担，而 FedTreeLoRA 主要增加 layer-wise scalar mixing coefficient。(FedTreeLoRA.pdf)

理论部分也比 FedSaC 完整：论文证明在标准非凸假设下有 $O(1/\sqrt T)$ convergence rate，与 FedAvg/FedSA 同阶。(FedTreeLoRA.pdf)

它的主要短板

最值得质疑的是单调深度假设：

c_l\ge c_{l-1}.

它非常符合“浅层 general、深层 specific”的常见 narrative，也让模型结构很漂亮，但现实 Transformer 不一定严格单调。有些 middle layer 可能任务分化，后面的 layer 又重新出现共享 representation。因此这是有效 inductive bias，但未必是普适规律。

其次，global tree 在 warm-up 后基本被固定。这样计算便宜、结构稳定，但如果训练期间出现 distribution drift、task drift 或 client relationship 显著改变，原来的 hierarchy 可能过时。

第三，同样存在 proxy 问题。它用 LoRA $B$ matrix distance 来代表 client/task relationship；比 full model distance 轻量很多，但究竟多大程度反映 semantic compatibility，本质上仍依赖 representation。

第四，从算法形式看，它也要形成 $N\times N$ distance matrix，再做 hierarchical clustering，因此客户端非常大时依然存在 pairwise scaling 问题。不过相比每轮都建完整合作图，它的 tree topology 是一次性构建，因此更容易摊销。

最后，它的 generality 明显低于 FedSaC：这是专门围绕 Transformer + LoRA + federated LLM fine-tuning 构造的算法。

6. 为什么我认为两篇都容易被 ICML 接受

两篇采用的其实是两种非常经典、但很有效的顶会论文模式。

FedSaC 是“反直觉 insight 型论文”。
它先指出一个大家习惯但未必正确的前提——“相似 client 最适合合作”；然后给一个非常直觉的反例：完全相同的两份信息即使 similarity=1，也没有新增 information gain。接着把 intuition 翻译成 $p(x)$ 和 $p(y|x)$ ，最后再翻译成可实现算法。这种论文的优势是 reviewer 很容易在一句话里复述它的 contribution。论文也确实把这一点作为核心贡献。(FedSaC.pdf)

FedTreeLoRA 是“发现被忽略的维度型论文”。
它不是简单设计一个更复杂的 clustering algorithm，而是说：过去 personalized federated LoRA 的问题定义本身少了一维——只考虑 client heterogeneity，却把整个 LLM 看成一个 flat block。论文随后用 Figure 1/2 的 motivational experiments 证明这个遗漏确实造成负迁移，再自然推出 tree aggregation。(FedTreeLoRA.pdf)

因此如果用 reviewer language 概括：

	FedSaC	FedTreeLoRA
Novelty 来源	重新思考合作标准	重新定义异质性的维度
最强卖点	“similar ≠ useful”	“same client relation ≠ same across layers”
Story	非常简单、直觉强	更复杂但结构完整
实验	广：unimodal + multimodal	深：motivation + NLU/NLG + extensive ablation
理论	distribution insight + optimization formulation	convergence theorem + structural hypothesis
Reviewer 最容易记住	similarity + complementarity	horizontal + vertical heterogeneity

如果只论研究贡献的“厚度”，我会认为 FedTreeLoRA 更强；如果论idea 的简洁、通用和可迁移性，FedSaC 很漂亮。

7. 对你最有价值的启发：这两篇其实可以直接结合

我认为最值得继续做的方向不是简单“FedSaC + FedTreeLoRA 拼起来”，而是提出：

Layer-wise Similarity–Complementarity Cooperation

现在 FedTreeLoRA 的逻辑基本是：

\text{similar client} \Rightarrow \text{share deeper}.

而 FedSaC 告诉我们：

\text{most similar client} \not\Rightarrow \text{most useful client}.

所以真正更完整的问题应该是：

\boxed{ \text{第 }l\text{ 层中，client }i \text{ 应该从哪个 client 获取什么知识？} }

可以定义每层合作 utility：

U_{ij}^{(l)} = \beta_l S_{ij}^{(l)} + \gamma_l C_{ij}^{(l)} - \eta_l R_{ij}^{(l)},

其中 $S$ 是 compatibility/similarity， $C$ 是 complementarity， $R$ 是 negative-transfer risk。

然后让不同深度自动学习不同的 $\beta_l,\gamma_l$ 。

这里有一个非常有意思的 hypothesis：

\textbf{浅层可能更需要 complementarity，深层更需要 similarity。}

浅层是通用 representation，吸收不同 client 的 feature diversity 可能有益；深层是 task semantic/reasoning，错误的 concept information 更容易产生 negative transfer。

这实际上同时统一了两篇文章：

\boxed{ \text{horizontal similarity} + \text{horizontal complementarity} + \text{vertical functionality} }

这比单独再做一个 client clustering 方法，我认为研究空间大得多。

8. 如果真正要在这两篇基础上做“下一篇”，我会怎么改

最有潜力的一版不是继续使用硬约束

c_l\ge c_{l-1},

而是把它改成soft structural consistency：

\sum_l \|W^{(l)}-W^{(l-1)}\|_1,

允许 adjacent layers 的合作图慢慢变化，而不是强制只能分裂。

这样同时解决 FedTreeLoRA 的一个明显限制：真实 LLM 的 functional hierarchy 未必严格单调。

再进一步，可以把 FedSaC 的 complementarity 加进来，但不要直接传完整 feature SVD，而是传 privacy-preserving sketch / random projection。客户端很多时再加 sparse top- $k$ neighbor search，把原来的 $O(N^2)$ pairwise cooperation 压缩成 sparse hierarchical graph。

于是可以形成一条非常完整的新 story：

现有方法要么只考虑“谁相似”，要么只考虑“不同层应共享多少”；但真正的最佳联邦协作同时取决于 compatibility、complementarity 和 model depth。

从“论文味道”来说，这比单纯换 similarity metric 或把 FedSaC 套到 LoRA 上强很多。

一句话总结两篇给出的研究方法论：

FedSaC 教你的，是不要把“相似”误认为“有用”；FedTreeLoRA 教你的，是不要把“模型”误认为一个不可分割的整体。
下一步很自然就是研究：有用的信息究竟来自谁、作用在哪一层、何时应该共享、何时会产生负迁移。

对比分析不同算法的优缺点，录用原因，可启发点

Câu hỏi

Trả lời

Suy nghĩ

Suy nghĩ

Suy nghĩ

Trả lời

Suy nghĩ

Suy nghĩ

Suy nghĩ

Trả lời

1. 两个算法最核心的区别

2. FedSaC：为什么这个思路成立

FedSaC 的优点

FedSaC 的短板

3. FedTreeLoRA：相比 FedSaC，它把问题往前推进了一层

4. FedTreeLoRA 的算法为什么比较漂亮

5. FedTreeLoRA 的优缺点

它的主要短板

6. 为什么我认为两篇都容易被 ICML 接受

7. 对你最有价值的启发：这两篇其实可以直接结合

Layer-wise Similarity–Complementarity Cooperation

8. 如果真正要在这两篇基础上做“下一篇”，我会怎么改

Chia sẻ Q&A này