为更快地创建人工智能模型而开发的联合学习方法

来自北卡罗来纳州立大学的研究人员开发了一种联合学习的方法吗使他们能够更快、更准确地开发准确的人工智能(AI)模型。这项工作的重点是联邦学习中一个长期存在的问题，当用于训练人工智能的各种数据集存在显著的异质性时，就会出现这个问题。

联邦学习是一种人工智能训练技术，它允许人工智能系统通过在不损害数据隐私的情况下利用多组数据来提高其性能。例如，联邦学习可以用来利用来自多家医院的特权患者数据，以改进诊断人工智能工具，而无需医院访问彼此患者的数据。

联邦学习是一种涉及多个设备(称为客户端)的机器学习形式。客户端和集中式服务器都从一个用于解决特定问题的基本模型开始。然后，每个客户端使用自己的数据训练其本地模型，修改模型以提高其性能。然后，客户端将这些“更新”发送到集中式服务器。集中式服务器利用这些更新来创建混合模型，其目标是使混合模型的性能优于任何单独的客户机。然后，中央服务器将此混合模型发送回每个客户机。这个过程会不断重复，直到系统的性能得到优化或达到一个商定的精度水平。

“然而，有时客户个人数据的性质会导致本地模型的变化，这些变化只适用于客户自己的数据，但不适用于其他数据集，”北卡罗来纳州立大学电子和计算机工程助理教授、一篇关于新技术的论文的通讯作者黄楚伟(Chau-Wai Wong)说。“换句话说，如果客户的数据有足够的异质性，有时客户修改其本地模型的方式实际上会损害混合模型的性能。”

“我们的新方法使我们能够比以前的技术更有效地解决异质性问题，同时仍能保护隐私，”该论文的第一作者、北卡罗来纳州立大学的博士生Kai Yue说。“此外，如果客户数据中存在足够的异质性，那么使用传统的联邦学习方法开发准确的模型实际上是不可能的。但我们的新方法使我们能够开发出一个准确的模型，而不管数据有多不同。”

在这种新方法中，客户端发送到集中式服务器的更新会以一种保留数据隐私的方式重新格式化，但会向中央服务器提供更多关于与模型性能相关的数据特征的信息。具体来说，客户机以雅可比矩阵的形式向服务器发送信息。然后，中央服务器将这些矩阵插入生成改进模型的算法中。然后，中央服务器将新模型分发给客户机。然后重复这个过程，每次迭代都会导致模型更新，从而提高系统性能。

“其中一个核心思想是避免在每个客户端迭代地训练本地模型，而是让服务器直接基于客户端的雅可比矩阵生成改进的混合模型，”该论文的合著者、北卡罗来纳州立大学前研究生瑞安·皮尔格里姆(Ryan Pilgrim)说。“这样一来，该算法不仅避免了多次通信，而且还避免了局部更新的分歧，从而降低了模型的质量。”

研究人员针对用于评估联邦学习性能的行业标准数据集测试了他们的新方法，发现新技术能够匹配或超过联邦平均的准确性——这是联邦学习的基准。更重要的是，新方法能够匹配该标准，同时将服务器和客户机之间的通信轮数减少了一个数量级。

岳说:“例如，在一个测试数据集中，联邦平均需要284轮通信才能达到85%的准确率。”“我们在26发子弹中达到了85%的准确率。”

Wong说:“这是一种新的、可替代的联合学习方法，使这种探索工作成为可能。”“我们正在有效地重新利用分析工具来解决实际问题。我们期待着从私营部门和更广泛的联合学习研究社区获得关于其潜力的反馈。”

-编辑克里斯Vavra，网络内容经理，控制工程、CFE媒体与技术、cvavra@cfemedia.com．

您是否具有本内容中提到的主题的经验和专业知识?您应该考虑为我们的CFE媒体编辑团队做出贡献，并获得您和您的公司应得的认可。点击在这里开始这个过程。