分布式学习edit

分布式学习 覆盖数据、计算或优化步骤分散在多个客户端、设备、机构或工作节点上的学习设置。在本 wiki 中，它包括去中心化和联邦式问题，但作为描述性概念使用，并不限定于某一种协议。¹

在本 wiki 中的作用edit

分布式学习是 AI 与网络 的基础页。它解释为什么网络化 AI 与中心化训练具有不同约束：通信可能昂贵，本地数据可能非独立同分布，隐私或所有权也可能限制可共享内容。这些约束使数据选择和剪枝变得更重要，因为传输或训练所有可用数据往往并不现实。

与乔鑫宝工作的关系edit

相同视角出现在合成数据工作中：多个孤岛需要在没有汇总数据集的情况下判断分布漂移。分布式学习因此为乔鑫宝当前 AI 与网络方向提供基础设施背景。

参见edit

• AI 与网络
• 数据选择
• 数据孤岛

Footnotesedit

1. McMahan 等人的 “Communication-Efficient Learning of Deep Networks from Decentralized Data”（AISTATS 2017）是联邦学习与通信高效去中心化优化的标准参考之一。 ↩