LocalGlobal 是一种结合局部计算与全局协调的优化策略，常用于分布式系统或机器学习领域。其核心思想是通过在本地节点进行初步处理（保留数据或模型的局部特性），再通过全局机制整合结果，实现高效且准确的整体优化。
LocalGlobal 优化将原先的 Aggregate 分成 Local + Global两阶段聚合，即 MapReduce 模型中的 Combiner + Reduce 处理模式。第一阶段在上游节点本地攒一批数据进行聚合（localAgg），并输出这次微批的增量值（Accumulator）。第二阶段再将收到的 Accumulator 合并（Merge），得到最终的结果（GlobalAgg）。
LocalGlobal 本质上能够靠 LocalAgg 的聚合筛除部分倾斜数据，从而降低 GlobalAgg 的热点，提升性能。结合下图理解 LocalGlobal 如何解决数据倾斜的问题
原理详解
1.局部阶段（Local）
- 每个本地节点（如设备、子进程）独立处理自身数据或子任务。
- 目标：最小化局部损失函数，例如对本地数据拟合模型： $$ \min_{\theta_i} \mathcal{L}_i(\theta_i, D_i) $$ 其中 $\theta_i$ 为本地参数，$D_i$ 为本地数据集。
- 优势：减少通信开销，保护数据隐私。
2.全局阶段（Global）
- 中央节点（或协调器）聚合所有本地结果（如参数、梯度）。
- 目标：协调全局一致性，例如通过加权平均更新全局模型： $$ \theta_{global} = \sum_{i=1}^N w_i \theta_i $$ 其中 $w_i$ 为本地权重（如数据量占比）。
- 关键机制：周期性同步（如联邦学习）、梯度裁剪（控制更新幅度）。
工作流程
flowchart LR A[本地节点1] -->|发送参数| C[全局协调器] B[本地节点2] -->|发送参数| C C -->|更新全局模型| D[全局模型] D -->|分发模型| A D -->|分发模型| B典型应用场景
- 联邦学习（Federated Learning）
- 移动设备本地训练模型 → 服务器聚合模型 → 全局模型更新。
- 分布式优化（如 ADMM）
- 子问题局部求解 → 全局一致性约束迭代。
优势与挑战
| 优势 | 挑战 |
|---|---|
| 减少通信带宽需求 | 局部数据偏差导致全局偏差 |
| 保护用户数据隐私 | 同步频率与收敛速度的平衡 |
| 适应异构硬件环境 | 恶意节点攻击（需安全机制） |
通过平衡局部自主性与全局一致性，LocalGlobal 在效率与精度之间实现了有效权衡。
