面向资源受限物联网设备的联邦学习研究综述

摘要

联邦学习(FL)是一种分布式机器学习策略，通过从多个分散的边缘客户端学习来生成全局模型。FL支持设备上的训练，保持客户端的本地数据的私有，进一步，基于本地模型更新更新全局模型。虽然FL方法提供了一些优势，包括可伸缩性和数据隐私，但它们假定每个边缘设备/客户机上都有可用的计算资源。然而，物联网(IoT)设备，如机器人、无人机群和低成本计算设备(如树莓派)，可能有有限的处理能力，低带宽和功率，或有限的存储容量。在这篇调查文章中，我们建议回答这个问题:如何训练资源受限的物联网设备的分布式机器学习模型?为此，我们首先探讨了现有的关于FL的研究，以及使用物联网设备进行分布式实现的相关假设，并探讨了它们的缺点。然后，我们讨论了将FL应用于物联网环境时的实施挑战和问题。我们强调了FL的概述，并提供了问题陈述和新挑战的全面调查，特别是在异构物联网环境中应用FL时。最后，我们为有兴趣从事FL与资源受限物联网环境交叉研究的科学家和研究人员指出了未来的研究方向。

索引词：聚合、联邦学习(FL)、全局模型、局部模型、设备上训练、资源受限的物联网(IoT)设备。

引言

在本节中，我们解释了对资源受限的物联网(IoT)设备进行联邦学习(FL)全面调查的动机，随后介绍了最近发表的之前的作品，并区分了我们提出的调查对FL领域的必要性。然后，我们讨论了我们的贡献和开展这项研究的必要性。最后，在本节的最后，我们简要地强调了本文的组织。

动机

在边缘设备上收集/产生的不断增长的数据是数十亿连接物联网设备的结果，每个活跃的物联网客户端提取他们的观察数据，并将这些数据推到边缘。传统的机器学习(ML)方法需要在数据中心或单个机器上对提取的数据元素进行聚合，这种学习方案在不同的基于人工智能的巨头公司中很常见，如Facebook和谷歌。公司将收集到的所有数据存储在他们的数据中心，在那里他们训练各自的ML模型。为了在传统的集中式方法下获得更好的ML模型，用户可能需要牺牲自己的隐私，将私有数据发送到数据中心。这样的模型培训策略是侵犯隐私的，特别是当客户需要处理他们的个人或敏感数据，以实现更好的培训模型。

FL是一种能够训练模型的方法，它利用客户的私人数据，而不与其他实体共享数据。但是，客户端可能缺乏执行设备上计算的资源，并且可能无法在预期时间内达到目标收敛。此外，在通信、计算、隐私、存储、功率和能源利用等方面，我们可能会面临一些传统基于fll的方法无法观察到的独特挑战，如掉队问题、高能耗、处理掉队参与者等。本文揭示了FL设置在这种情况下的挑战，并通过考虑它们的实际约束，描述了在网络中拥有这种资源受限的客户机的影响。为此，我们强调了这一领域的开放性研究问题，并列举了许多未来的方向。

文章组织

本文的其余部分组织如下。在第二节中，我们介绍了FL的概述和分类，并列出了现有研究的全面清单。在第三节中，我们回顾了分布式优化和ML方法。第四节详细分析了在资源有限的设备上应用FL的主要挑战，然后是第五节，我们在那里讨论了这些新挑战的潜在解决方案。之后，在第六节中，我们介绍了现有的FL应用，在第七节中，我们重点介绍了基于FL的物联网领域的未来研究方向。最后，在第八部分，我们结束了我们的文章。

联邦学习模型的现有研究综述

本节包括FL的定义、FL分类的详细描述、现有FL框架的简要重点，以及现有基于FL的研究的比较总结，这些研究从隐私维护、攻击方案、公平性、学习效果和资源利用等方面进行了分类。

联邦学习的定义

FL可以被定义为一种分布式ML方法，在这种方法中，客户机在本地训练自己，而不将它们的直接信息共享给服务器。通过基于对每个客户端模型信息的执行聚合来定期更新共享全局模型，这种方法训练每个设备捕获全局视图[20]。FL流程的高级架构如图1所示。FL过程一般包括三个步骤：

步骤1 (Initiate Training Task and Global Model):在初始阶段，中心服务器决定任务需求和目标应用程序。初始化全局模型(WG0)，服务器将该全局模型广播给被选中的本地客户机，这些客户机被称为参与者。

步骤2(本地模型更新):每个参与者利用他们的本地数据生成一个模型。在收到全局模型Wt G(其中t表示第t次迭代)后，每个客户端k更新自己的模型参数Wit，寻找使局部损失函数Fk(Wkt)最小的最优参数。然后将局部最优模型与FL服务器共享。

步骤3(全局聚合):从参与者接收本地模型后，FL服务器执行聚合并生成一个更新的全局模型(WGt+1)。最新的全球模型再次与所有新的参与者共享。

重复步骤2和步骤3，通过最小化全局损失函数F(WGt)，直到中心服务器达到收敛，其表达式为[21]：

其中N为可用设备总数，Pk(≥0)表示在满足k Pk = 1的情况下，每个设备k的相对影响，Fk(w)为第k个设备的一个样本输入对参数w的预期预测损失。每个设备k拥有nk个样本(其中N = k nk)。因此，各本地设备的相对影响可以表示为Pk = (nk/n)。

基于FL的系统分类

FLS可以按照数据样本、通信、预测模型、规模、隐私和参与动机进行分类(见图2)。在这一部分中，我们将通过适当的例子讨论每个单独的分类实例。

分区样例：在设计FL模型时，我们需要同时利用特征和非重叠实例来分析数据分布记录。我们可以将FL分为：1）水平FL；2）垂直FL；3）基于分布在网络上的数据样本及其特征空间的混合FL。

水平FL：水平FL或基于样本的FL具有不同的数据样本，但它们共享相同的特征空间。在图3中，我们可以看到两个客户端设备都有一个数据样本，这个数据样本是使用一些类似的应用程序生成的，并且每个客户端设备都有一个相同的特征空间。每个客户端利用数据样本生成一个本地模型，并进行FL过程。我们也可以从现实生活场景的角度来考虑水平FL。假设两家当地超市有不同的顾客；因此，用户交集集将是最小的。但是，两家超市的业务结构和政策可能是相似的，即特征空间是一致的。在这种情况下，我们可以应用水平FL来执行学习动作。大多数的模糊推理研究都遵循水平模糊推理策略，即局部参与者通过共享相同的特征空间来训练模型，并生成类似的全局模型架构。下一词预测[22]、唤醒词检测器[23]和推荐系统[24]是水平FL的一些例子。
垂直FL：在垂直或基于特征的FL中，数据集共享不同的样本空间，但样本id相同(见图4)。例如，假设一家银行和一家超市位于同一区域。他们的大部分客户可能是相同的，但他们的业务结构，即特征空间是不同的，因此用户空间的交集相当大。我们可以考虑另一个例子。假设我们想要基于用户信息、信用卡评级和购买历史建立一个产品购买预测模型。在这种情况下，垂直FL可以对这些不同的特征进行聚合，协同构建一个预测模型。SecureBoost[25]和FedBCD[26]是垂直FL的一些例子。
联邦迁移学习：联邦转移学习(FTL)[27]可以被认为是两个水平和垂直的组合分区的数据(参见图5)。当两个水平和垂直FL不会有效客户(A和B)小重叠的数据样本和特征空间，我们需要学习的所有样品标签客户(如客户)FTL。适用于这样的场景中，数据样本和特征空间是不同的两个客户的数据集。也就是说，当客户端的本地数据在数据样本和特征空间上存在差异时，就可以应用FTL。例如，一组研究实验室想要发明一种COVID-19疫苗，但他们的样本(例如，测试样本可能包含不同的冠状病毒类别)和特征空间(即战略计划和测试结果)可能不相同。同样，位于不同国家的两家不同的跨国公司可能会有不同的客户(即样本)，以及可区分的规则和规定(即特征)。由于两家公司地理位置的差异，重叠的数据样本可以忽略不计，而由于业务类型的不同，在特征空间中可能会有非常小的交集。在这种情况下，可以使用超光速处理数据样本和特征空间的方差，同时进行设备上学习。在FTL中，利用小的公共数据样本学习客户端两个特征空间之间的重叠表示，每个客户端利用单侧特征对局部样本进行预测。Liu等[28]设计了一个框架，可以基于常见实例学习多方的特征表示。

机器学习模型（Machine Learning Model）：需要根据训练目标来适应合适的ML模型。例如，如果我们想要从图像中分类物体，我们需要使用卷积神经网络(CNNs)训练FL模型。一些现有的研究建立了FL背景下的ML模型。FL中最常用的ML模型是联邦随机梯度下降(federal - sgd)结合神经网络(NN)，如图像分类[20]和单词预测[22]，[29]。决策树(DT)是另一种非常受欢迎和广泛使用的ML方法，它对训练模型具有很高的效率。在基于树的模糊推理中，生成了用于训练单个或多个DTs的模型。Cheng等人[25]和Li等人[30]设计了梯度提升DTs (GBDTs)，同时考虑了水平和垂直分区数据方案。不同的线性模型(如线性回归与分类、逻辑回归、支持向量机(SVM)[31]、[32])处理方便。这种线性模型比不同的复杂模型(如DTs和神经网络)更容易学习。简而言之，在FedSGD[20]，[21]，[33]，[34]上提出了许多FL应用和框架。SGD基本上是一种常见的优化技术，可以应用在不同的模型中，包括SVM、线性回归和神经网络。为了提高大规模FLS的模型精度，并弥补FLS与最先进的ML模型之间的差距，有必要利用ML体系结构来获得更好的FLS训练。

联邦规模：根据联邦[7]、[12]的规模，FLS可以分为跨竖井和跨设备两类。这种分类是基于客户机的数量及其数据量执行的。

跨设备：在跨设备FL中，客户机的数量可能很大，但每个客户机的数据大小有限。不同的智能手机或物联网设备可以被视为此类系统的客户端，其数量可能为数百万或数十亿。最近，谷歌通过训练用户设备上的模型，在服务器上聚合模型信息，发明了一种基于fl的键盘建议[29]。然而，在这种方式下，由于资源稀缺，客户可能无法在复杂的培训环境中进行自我培训。因此，服务器需要有足够的能力处理所有模型信息，以生成一个全局训练模型。

跨竖井：跨竖井FL拥有相对较少的客户，但它们拥有大量的数据。通常，在跨竖井FL中，客户端是数据中心或不同的组织。例如，Amazon通过使用从数百个数据中心收集的数据训练模型来推荐产品，每个数据中心存储大量数据，并配置了足够的计算资源。

对FL的鼓励：在实际的FL应用中，客户参与培训阶段需要鼓励或动机，可以通过法规或激励机制来实施。例如谷歌FL键盘建议[29]不能强迫用户提供数据，但可以保证对上传数据的用户提供更好的键盘建议。这种激励激励用户共享信息或进行设备上的培训。

现有基于FL的研究综述

由于FL在隐私保护、资源利用和学习方案[35]的整体效率方面都有积极的作用，因此已经有一些关于FL的研究。我们扩展了Li等人[35]提供的分类，并在表III中给出了这些研究的详细总结。

我们根据FL算法(例如，联邦平均(FedAvg)[20])和特征集成(例如，基于区块链的FL[36])两大类对之前的工作进行了分类。我们根据每个作品的数据划分方案对其进行了分类，即，如II-B1节所讨论的，纵向和横向。为了简单起见，我们将不同的模型类型，即NN模型、线性模型和DTs分别简称为NN、LM和DT。我们提供了在某些情况下的模型类型，其中作者为他们提出的方法应用了多种ML策略。例如，Truex等人[37]将差分隐私(DP)与多方计算相结合，以保护他们的系统免受推断威胁，并生成高质量的模型。当[37]使用CNN、SVM和DT验证他们的系统时，我们包括了所有三种模型类型(即“NN”、“LM”和“DT”)。我们还根据现有研究的决策架构进行了分类。
我们意识到，现有方法的主要部分是基于使用可信服务器(例如[38])的以服务器为中心的设计。然而，这种以服务器为中心的决策体系结构可能会面临信任问题，特别是在跨竖井FL设置中。为了处理跨竖井环境，一种方法是替换中央服务器，同时允许每个客户机共享它们的模型参数，并维护一个类似的全局模型。与以服务器为中心的方法相比，这种策略增加了计算成本和通信开销。在表III中，我们在“决策”一栏中探索了“以客户为中心”的研究(例如[39])。我们还考虑了在之前的作品中部署的隐私方法，并将其分为三组:1)密码方法(CMs);2) DP;3)基于哈希的隐私。在CM中，考虑到学习过程中涉及的安全威胁，在通信或数据存储过程中采用一种加密策略对客户端数据进行加密(如树提升模型[25])。DP是另一种隐私保护策略，数据集中的组模式是共享的，同时保留任何个人的原始数据或信息(例如[40])。此外，一些研究(如[30])考虑了一种基于哈希的隐私保护方法，即在数据上应用哈希算法，生成用于验证数据完整性的哈希值。最后，在表III的“备注”栏中，我们强调了现有FL研究的主要研究方向(如有效性、公平、隐私和激励)。

分布式学习和优化算法

在本节中，我们将讨论与分布式学习和优化技术相关的研究领域。尽管这篇文章的主要焦点不在这些领域，但对这些领域的简要介绍可以激励研究人员带来新的或改进版本的分布式学习设置或优化技术。

A.联邦学习算法

正如我们前面所讨论的，在引入了McMahan等人[20]的FL后，提出了几个改进版本的算法，可以在不同的情况下有效。在本节中，我们将介绍一些著名和有效的滤泡性淋巴瘤算法，这些算法将激励研究人员引入一个改进版本的滤泡性淋巴瘤。

联邦平均：FedAvg算法[20]通过中央服务器进行训练操作，中央服务器传播一个共享的全局模型wt，其中t表示通信轮。但是，每个客户端都使用SGD的概念进行局部优化。该算法有五个超参数：1)参与训练回合的客户或参与者C的一小部分；2)本地小批B的尺寸；3)学习率η；4)全局模型E更新前客户端局部历元数；5)学习率衰减λ。算法在算法1中给出。当系统启动时，对全局模型参数wo进行随机初始化(第1行)。在服务器的每一轮通信中，选择一部分客户端(第3行)，随机选择客户端的一个集合进入训练阶段(第4行)。每个客户端发送自己的局部最优模型参数，然后聚合到服务器上(第5-7行)。迭代周期持续到一定的迭代次数，或者如果更新足够小，或者达到收敛。
局部梯度下降（Local Gradient Descent）：通常会构建大规模的模型，由于其在维数和数据规模上具有良好的可伸缩性，因此通常使用一阶技术来解决相关问题。一种流行的选择是使用局部梯度下降(GD)方法，其中优化过程被划分为多个时期。每次迭代开始在N个可用设备上执行平均步骤。另一个时代的其余部分不涉及任何进一步的交流。每个客户机设备独立地并行地使用它们的本地函数实现固定数量的GD步骤（从平均模型声明）[70]。详见算法2。
FedProx：在FL设置中，客户端可能需要执行不均匀数量的任务，这可能会处理系统异构的负面影响。尽管如此，太多的客户端更新可能会导致底层异构数据的结果导致整体方法产生分歧。Li等人[21]提出了一种名为FedProx的算法，该算法特别适用于资源受限的基于fll的物联网环境。它们通过在局部子问题中添加一个近端项来实现来自参与设备的可变局部更新。这个近义词在两个方面很有用。首先，它限制了客户端的本地更新，以解决统计异质性问题。其次，它有助于合并不同数量的客户机以安全工作。我们总结了算法3中的技术。

q-FedAvg：虽然最先进的FedAvg显著加快了收敛速度[20]，但它无法公平地分配客户端资源（执行资源的统一分配）。当我们考虑FL过程中的资源约束设备时，资源分配至关重要。基于这一动机，李等人[63]提出了q-FedAvg算法，该算法可以根据客户的贡献施加公平性。在q-FedAvg算法中，对于给定的成本函数Fk和参数q>0（这是我们希望施加的公平量），FL目标定义为：

式中，Fq+ 1k(·)表示(q +1)为Fk(·)的幂次。这里，q是一个参数，用于调整我们希望施加的公平性。当问比;0，阻止本地SGD的执行。为了解决局部更新方法的问题，特别是在分配资源时的问题，Li等人[63]提出了一种启发式的解决方案，即用在每个本地设备上运行SGD获得的客户端本地更新替换梯度。算法见算法4。

分布式学习

正如在第二节中所讨论的，FL进程的中央服务器通过管理其客户端的贡献来协调学习过程。因此可以认为是单点故障[如图6(b)所示]。尽管大型组织和公司可以放置一个强大、健壮和安全的中央服务器来进行培训过程，但所有类型的部门都不能适应这一点[71]。此外，网络内的一些客户端会使整个进程变慢[72]，[73]。完全分布式分散学习的主要思想是客户端点对点通信，消除了中心服务器[见图6(c)]。相比之下，设备上的培训不需要从服务器或其同行学习[见图6(a)]。在这些图中，通信拓扑看起来像一个连接图，其中每个节点表示一个客户端，两个节点之间的线指定一个通信通道。在分布式学习机制中，每一轮都对应着客户端进行一次本地更新，并与对等体进行信息交换。虽然我们没有标准FL中的任何全局模型或状态，但是我们仍然可以设计流程，使所有客户通过本地模型达到一个全局解决方案。本地模型可以通过设备上的训练和向同行[12]学习进行融合。最近，完全分散的SGD和其他优化算法在大规模系统的可扩展性[74]和网络设备的去中心化[71]，[75]-[82]方面越来越受欢迎。注意，即使在分散的分布式设置中，也可能需要一个中央权威机构来负责设置系统配置、学习任务、超参数、算法选择或解决系统故障。客户之间需要建立一定程度的信任，以取代中央权威。或者，领导者客户也可以通过一个协作共识方案[56]，[59]，[83]来做出这样的决策。

分布式联合优化

分布式优化的早期趋势是相应串行算法的原始分布式变体，通常在通信方面效率低下。第二个趋势是设计通信效率高的算法。其思想是执行大量的本地计算，然后再进行一轮通信。这种技术在实践中很有用，分布近似牛顿(DANE)[84]、CoCoA[85]和DiSCO[86]就是这种分布优化技术的一些例子。在分布式优化中，数据中心以较少的设备拥有大量的数据。随后，引入了联邦优化，以更好地保护隐私。在这个概念中，用户保持其数据的私密性，并提供资源的计算能力。因此，数据点相对较小，设备数量巨大，不同设备上的数据模式也不同。

处理分布式在线优化和分布式学习的方法有很多种，包括随机方差减少梯度(stochastic variance reduced gradient, SVRG)[87]、[88]、专门用于分布式优化的DANE[84]、naive Federated SVRG和Federated SVRG (FSVRG)。在设计不平衡、非独立和同分布(IID)和大规模分布的算法时，理想的属性可以表述为[33]。

一个算法保持在那里，以防它被初始化为最优解。
在单个节点拥有所有数据的情况下，算法在O(1)轮通信中收敛。
如果系统内所有可用的特征都发生在单个节点上，则可以对问题进行分解，假设算法在O(1)轮通信中收敛。
假设每个节点都有一个相同的数据集，则算法在O(1)个通信轮中收敛。

属性1)对于任何优化设置都是有价值的，而属性2)和3)适用于联邦优化系统(例如，不平衡的、非IID的、大规模分布的)。最后，属性4是一种极端的情况，特别是对于分布式优化设置，即每个设备都有大量的IID数据。

在资源受限的设备上学习

在讨论与资源受限设备相关的挑战之前，有必要清楚地理解边缘设备的设备上学习的定义。我们可以将边缘设备定义为具有有限计算能力、存储容量、传输距离和电池的资源受限实体[89]。如果一个对象不能与附加资源集成，即设备资源不能增加或减少，我们就把它看作边缘设备。例如，工作站不能被认为是边缘设备，因为我们可以在该设备中集成额外的资源。然而，一个人造机器人可以被认为是一个边缘设备，因为我们不能直接纳入任何更多的支持机器人的能力。如果我们看看今天的物联网世界，那么我们可以看到资源受限的设备在各个方面的使用，从监测环境到控制人类生活。在这样的物联网环境中，边缘设备被利用，因为它们体积更小，更易于运输。不同种类的机器人、无人机、智能手机可以被认为是拥有有限资源的远程通信的边缘设备。为了从这些物联网组件获得最佳的服务性能，我们需要训练这些边缘设备，以防止它们在学习过程中掉队。这些设备需要在多样化的样本环境中进行训练，以便对各种测试数据进行准确的预测。由于边缘设备的可用资源有限，用大数据集对其进行训练是不可行的。在本节中，我们讨论了在FL环境中考虑这种资源受限的物联网节点时可能面临的潜在挑战(见图7)。

通信开销

通信开销被认为是基于fl的物联网环境的主要挑战之一。通信成本增加的主要原因是在此过程中传递的数据量较大，以及服务器与客户端通信采用迭代、非优化的方式。当客户拥有的资源不足时，这个问题变得不利。例如，如果客户端拥有有限的带宽，那么客户端将无法在模型训练期间有效地与FL服务器通信。类似地，如果客户端具有较弱的处理能力，那么执行分配给该客户端的本地计算任务将是不可行的。此外，网络中可能存在大量数据，这些数据可能产生较大的模型大小，最终，资源受限的客户机将难以处理如此大的模型。为了在大数据网络中进行高效的训练，需要对客户端模型进行压缩，以避免客户端在训练大型模型时浪费额外的资源。如果FL进程的大多数客户端是资源受限的，那么FL进程需要更多的服务器-客户端交互来达到目标收敛，客户端将无法承担如此高的通信成本。虽然频繁的FL服务器-客户端交互可以减少收敛时间，但频繁的通信可能会带来很高的成本。因此，需要设计一种有效的优化技术来处理FL设置的通信开销和资源利用之间的权衡。Ma等人[90]分析了沟通和资源费用的权衡;然而，他们没有解决客户本地模型解决方案的复杂性。

异构硬件

FL的训练阶段可以在多个设备上运行，这些设备可能属于不同的世代产品。这种产品变体创造了一个由计算能力、内存大小或电池寿命不同的异构设备组成的网络。因此，不同客户的培训时间可能会有很大的差异，将所有参与者考虑到相同的规模是不有效的。为了在训练中获得最佳效果，FL需要知道异构硬件配置[7]。在培训阶段，考虑到系统需求，需要选择熟练和可信的客户。在选择合适的客户端后，模型可能会由于连接错误或电池问题而无法发送其本地模型(见图8)。但是，由于系统需求(如内存和带宽)，大多数客户端可能不会发送本地模型
能成为训练的一部分。此外，有可能大多数熟练的客户离开了网络，我们可能会有一些不满足系统需求的客户。因此，在这种情况下进行FL训练过程是具有挑战性的。

有限的内存和能源预算

在第IV-B节中，我们讨论了异构硬件的挑战，在这一节中，我们描述了跨异构FL客户机的内存可用性和能源预算问题。任何FL客户机的内存大小都可能非常有限，或者具有较大内存大小的客户机可能没有空间。此外，FL客户可能有一个预设的能量预算，在培训过程中可能无法满足系统的要求。虽然有限的计算能力需要更多的处理时间，但内存不足会导致设备溢出。这种情况会产生额外的通信开销，并降低系统性能。Hard等人[22]指出了必要的硬件要求，包括在键盘上实现下一个字预测时所需的内存大小和处理能力。他们提到，为了模拟他们的应用程序，设备应该至少有2gb的空闲内存，而许多物联网设备甚至几乎不拥有甚至是mb的空闲内存。考虑到这样的内存限制，Haddadpour等人[91]提出了一种将数据分片分布到FL客户端以快速获得目标模型的方法。在他们的方法中，他们选择了拥有更大内存大小、能源预算、更高带宽和处理能力的熟练客户。然而，他们没有讨论对于有限可用内存的FL客户机的内存管理和数据处理。我们可以通过存储有限大小的数据来管理这种内存限制，在内存不足的情况下，可以采用数据聚合技术来避免内存爆发。Wang等人[67]，Das和Brunschwiler [92]， Jiang等人[93]，Xu等人[94]通过考虑树莓派和其他类型的资源有限的客户端，分析了FL实现中的硬件限制挑战。他们研究了在资源受限的边缘设备上实现FL的可行性，但没有涵盖在FL过程中利用最佳内存需求和量化能量预算的方法。

调度

现有的联邦优化技术可以分为同步训练和异步训练。McMahan等人[20]，Konecnˇy '等人[33]，[42]和Bonawitz等人[73]重点分析了联邦优化，该优化考虑了FL服务器和客户机之间训练期间的同步通信。在每一轮训练中，都会触发一部分客户端来执行一项任务。但是，设备或网络问题可能会导致一些客户端在此过程中没有响应，服务器需要等待，直到从足够多的客户端获得响应。否则，服务器将由于超时而删除该epoch，并继续进行下一个迭代。相反，异步优化使FL的参与者在每一次被同步优化排除在外的本地更新后直接向FL服务器发送梯度。异步训练[95]在最近的一些工作中被应用，因为它在通信延迟相对较高和跨客户端异构的情况下收敛更快。Xie等[96]，Zheng等[97]，Lian等[98]将异步FL训练与联邦优化相结合，分析了具有可证明收敛性的异步FL训练。我们在图9中展示了同步和异步FL行为。

在FL过程中，对参与者的训练阶段进行设置是必不可少的，这就是调度。当网络中存在资源受限的物联网设备时，调度就显得尤为重要，频繁地与服务器交互会消耗更多的资源。优化调度在最小化能源消耗和利用更少带宽方面起着至关重要的作用。调度应该以这样一种方式进行，以便参与方保留更少的旧数据的可能性。一些参与者可能会在跳过新数据的同时重复利用旧数据生成局部模型[73]。这种情况可能会导致资源浪费，而不会对模型带来任何变化或改进。此外，任何参与者都可以通过使用恶意应用程序来收集数据，而识别这些有害的应用程序数据可能是一个挑战，因为它需要额外的资源。此外，不恰当的调度会导致缓慢的学习或掉队问题，这被认为是性能瓶颈的原因之一，特别是在资源受限的基于fll的物联网环境中。所谓掉线客户端，我们指的是当其他客户端成功响应服务器时，物联网设备在指定时间段内无法响应。由于服务器响应慢，需要等待掉线的客户端模型，导致在同步FL时进行模型参数的聚合会有一定的延迟，如果掉线的客户端数量多，则会影响整个模型的收敛[99]，[100]。此外，在传统的FL方法中，掉队客户端被简单地丢弃[101]。然而，如果相当一部分客户端是掉线的，并且我们放弃了所有的客户端，那么模型的质量将会非常低[94]。因此，即使在大部分客户端是掉线的情况下，利用适当的调度和保证模型收敛也是具有挑战性的。

DNN的节能培训

深度神经网络(DNNs)应用于各种人工智能和基于深度学习的应用，其中样本数据集很大。现在很多边缘应用都在使用基于DNN的算法[102]，[103]，越来越多的人关注如何在边缘设备上高效地进行DNN推理[104]，[105]。此外，FL需要边缘设备进行设备上的训练。然而，训练dnn需要高计算能力、大内存和能量可用性，大多数物联网客户端可能缺乏这样的系统配置。Wu等人[106]提出了一种方法，通过在应用的两个阶段都使用较低的位宽整数来降低训练和推断的成本。Jiang等人提出了一种使用修剪模型的高效学习技术，Park等人[107]则提出了一种通过设备上的模型输出、参数和数据聚合来生成高质量ML模型的策略。[23]中讨论了另一种训练具有较少参数的高容量模型的有趣方法。具体来说，在训练数据集的大小和特征非常巨大的情况下，我们需要在资源有限的客户端上设计高效节能的训练，这可能是一个具有挑战性的方法。

对于大型GPU和CPU服务器集群的训练，DNN训练阶段的内存需求一直是研究较多的问题。边缘设备上的训练可以通过采用在服务器环境中很好地处理这个问题的技术而受益，例如高效梯度检查点[108]、张量重新实现[109]和重新计算[110]。Cai等人[111]提出了另一种方法，通过引入可适应新数据的精简剩余模块来减少设备上训练所需的内存。通过只改变这个轻量级模块和保持其他参数不变，他们减少了训练过程的内存需求。

在训练过程中可能消耗额外能量资源的另一个因素是错误标记或未标记的训练数据，特别是在数据集规模很大的情况下。现有的基于fl的应用程序认为所有提取的数据都有适当的标记。然而，如果收集的数据通过安全漏洞被错误标记或由于网络连接错误而未标记，则这一假设可能会被推翻。错误标记的数据会产生一个不稳定的模型，最终影响全局模型的更新。如果我们有未标记的数据，则需要额外的资源来放置标签，这对于资源受限的物联网设置至关重要。Gu等人[112]提出了一个框架来识别通过数据中毒攻击注入的错误标签数据。通过使用基于表示的指纹，它们可以在运行时遇到错误预测时检测恶意或受损参与者的数据标签。Tuor等人[113]提出了一种从FL中寻找和忽略不相关数据(可能是由于误标注)的方法。为了提出未标注数据的解决方案，Lim等人[114]提出了一种策略，通过与邻居客户端应用协作学习对未标注数据进行标注。为资源受限的客户端实现相同的过程将具有挑战性，因为它需要额外的资源。

联邦学习的公平性

FL过程中的公平是指以公平的方式分配客户资源。我们可以将全局模型视为一种资源，它负责为客户机设备提供服务。然而，每个用户接收到的服务需要是公平的，即跨客户端设备的资源分配和准确性分配是不受偏见的。开发了一种minimax优化框架Agnostic FL[38]，该框架可对集中式模型的目标分布进行优化，并由多个参与的客户端分布组成。然而，他们提出的方法仅适用于小范围。Li等人[63]使用α-公平性度量并提出q-Fair FL来确保公平的精度分配。他们提出的策略可以通过考虑期望的公平性来调整资源分配。[115]提出了一个合作的公平FL框架，利用客户声誉，并迫使他们收敛到不同的模型。他们在不降低预测性能的情况下实现了公平。在[116]中，研究了一个基于fll的客户选择过程，以最小化客户的模型交换时间，并在存在刚性系统约束的情况下保证长期灵活的公平。然而，他们无法找到一种方法来量化公平因子对收敛速度和最终目标精度的影响。

此外，在[116]-[121]中发现了一些利用激励机制优化FL过程的资源配置的最新研究。Khan等人[117]通过Stackelberg游戏设计了一个基于激励的FL模型，用于激励客户参与学习过程。Yu等人[116]、[122]提出了一种名为FL Incentivizer (FLI)的收益分享方案，其动机是解决与成本以及客户贡献和接收激励不匹配相关的问题。他们提出的方案可以在数据所有者之间动态分配给定的预算，通过确保集体效用最大化和不平等最小化，并考虑收到的奖励和收到这些奖励的等待时间。[119]设计了一个基于信任和激励的FL模型，他们提出使用区块链共识的概念添加客户的局部计算结果，建立一个公共可审计的分散的FL生态系统。在他们的模型中，诚实的客户可以得到奖励，而恶意的客户则会受到严厉的惩罚。此外，Nishio等人[120]提出了一种估算每个客户在FL过程中的贡献的策略，并据此提供激励措施，减少了通信和计算开销。同样，Cong等人[121]设计了一种基于客户贡献的FL激励方法，但使用了Vickrey-Clarke-Groves (vcg)机制的概念。

在分析上述FL-公平策略后，我们可以得出结论，FL-IoT环境中的任何客户端都可能存在资源稀缺问题。因此，设计一个公平的资源分配方案是必要的，以减少通信开销，减少计算能力，并达到更高的精度。我们需要检查客户的活动、资源状态和对模型收敛的贡献，以确保FL资源分配的公平性。

联邦学习的可扩展性

在现实的基于FL的物联网环境中，我们可能会观察到大量性质各异、资源有限的物联网设备。在这种情况下，可以通过有效的客户选择和资源的优化利用来进行FL培训。Chen等人[123]通过联合学习和建立FL客户端之间的无线通信，开发了一个框架。他们讨论了FL进程可能会因为数据包错误或无线资源不可用(例如，有限的无线带宽)而受到阻碍。考虑到这些因素，他们提出了一个以最小化FL损失函数为目标，同时考虑联合学习、资源块分配和有效用户选择的优化问题。通过考虑无线信道的影响，推导出了FL收敛的封闭表达式。他们提出的框架确保了可扩展性和分散性。Nishio和Yonetani[66]设计了一个客户端选择协议，使用FL边缘服务器。他们提出的模型可以管理FL服务器和客户端之间的通信资源，根据客户端资源状况选择客户端。此外，[124]提出了一种活动和资源感知的FL模型。他们提出了一种检查客户资源的策略，并根据客户对模型收敛的贡献为其分配信任得分。在资源充足和信任得分较高的基础上，他们只从大量可用客户端中选择符合培训轮的一部分客户端。他们提出的模型确保了FL过程的可扩展性、鲁棒性和分散性。Ye等人[125]提出了一种基于选择性客户端模型聚合的车辆边缘计算FL框架。他们利用了一种基于契约理论选择客户的技术，而不是随机选择FL客户。此外，[126]提出了一种三层轻量级FL框架，能够处理大量客户端及其跨网络的巨大数据流。它们通过剪枝机制收缩较大的模型大小，根据资源状态和先前活动选择客户端，处理发散的局部模型更新，也允许变量局部模型更新。他们提出的框架确保了可伸缩性、量化、健壮性和分散性。

隐私问题

在联邦设置中，出于隐私考虑，我们在设备上保留每个客户机的原始数据。但是，在训练过程中，通过共享模型更新，有可能泄露敏感信息[58]，[127]-[129]。例如，Carlini等人[128]提出，可以从基于循环神经网络的用户训练模型中提取敏感模式(如信用卡号码)。在敏感数据集分布在多个数据所有者之间的情况下，可以通过安全多方计算(SMC)或安全功能评估(SFE)来保护隐私。协议结果使多个数据所有者能够协作一致生成一个函数，而不泄漏任何信息[130]-[132]。虽然在[40]、[56]、[58]、[128]和[133]-[138]中对FL有几个隐私定义，但我们可以将它们分为全局隐私和局部隐私。在全局隐私设置中，假定服务器是可信的，并且本地模型更新是私有的。在本地隐私中，单个的本地模型更新在客户端生成，并在服务器上聚合。在表4中，我们展示了一些现有的基于fls的隐私保护方法的关键思想。然而，由于资源受限设备的存在，现有的隐私保护FL算法可能不适合在这些设备上运行。因此，除了确保严格的隐私保障外，还需要设计出通信高效、计算成本低廉、能够处理被丢弃的参与者的新方法。

在资源受限的物联网设备上部署联邦学习算法的新挑战的潜在解决方案

在上一节中，我们探讨了在使用资源稀缺的设备进行设备上训练时FL过程的实现挑战。为这些新出现的挑战提供一个明确的解决方案，将有助于该领域未来的研究。本节描述在FL环境中训练资源有限的设备期间，现有的工作和可能的解决方案。

部署现有算法以减少通信开销

我们探索了一些旨在降低沟通成本的关键方法，可分为三类:1)分散培训;2)模型压缩;3)基于重要性的更新。将这些战略结合起来可能有助于克服这方面的权衡和缺点。Haddadpour等人[91]提出了一种在客户端中注入冗余的方法，以减少沟通回合，带来多样性并达到收敛。Chen等人[123]也考虑了FL场景中无线因素对参与者的影响，设计了一个联合学习框架。其中一些方法采用了模型压缩策略，但这些方法可能会降低模型的精度，并遇到较高的计算成本。这样的权衡是经验的，即我们需要进行几轮局部的训练，在进行沟通之前找到最优的迭代次数。如果我们能应用有效的优化技术，在理论上形式化，并实现和测试经验，FL方法可以更可扩展。除了可以压缩模型的大小，FL方法还可以受到MEC范式及其应用的启发。例如，Liu等人[146]考虑了在设备-云通信期间减少实例的中间模型聚合器。然而，当客户端或边缘服务器数量增加时，他们的模型需要花费更多的时间来收敛。当网络中存在非iid数据时，情况就变得不利了。通过[48]多任务学习，可以处理这样的统计挑战。此外，FL模型可以有效地利用存储和计算能力，促进高效FL。

为了减少通信开销，Imteaj和Amini[147]和Sun等[148]讨论了在客户端数据集中注入冗余以达到通信轮数更少的收敛。在图10中，我们看到一个特定的数据采集点L1被两个客户端D1和D4使用。同样，L2、L3、L4等数据采集点分别被D1和D2、D2和D3、D3和D4利用。这种设置会导致在客户机设备中注入冗余数据样本。

根据[33]和[149]，提出了一种新的方法来共享压缩后的消息大小，并通过减少通信轮数来实现目标模型。出于同样的动机，Caldas等人[150]应用有损压缩和联邦dropout来训练更小的本地客户端子集，减少客户端到服务器的交互和本地计算(见图11)。虽然频繁的沟通可以加速融合，但频繁的互动会带来更多的沟通成本。每次客户机与服务器交互时，它都必须消耗其资源。为了处理有限的客户端资源，需要一种资源优化算法来考虑这种权衡。在这方面，[26]，[90]，[151]-[155]的作者研究了通信成本与有效资源利用之间的关系，但他们没有讨论局部问题解决的复杂性。Wang等[67]提出了一种在给定资源预算下最小化训练损失的分布式控制算法。Wang et al.[11]设计了一个框架，通过协作交换客户端的学习参数，生成更好的局部训练模型。因此，这减少了通信开销，并确保了系统和应用程序级别的改进，从而产生了额外的能源成本。关于FL训练周期与能量需求成本之间的权衡的详细讨论见[114]和[156]-[158]。他们使用迭代算法最小化训练完成周期和能量消耗的加权总和。在延迟敏感情景下，他们调整权重，使FL参与者花费更多的精力来实现时间最小化。

然而，我们讨论的大多数研究都没有考虑到客户资源的异质性。由于这种异质性，一些方法无法适应这样一个资源受限的基于FL的物联网环境。例如，[20]的关键思想是允许在移动端进行更多的计算，例如，在与服务器交互之前进行更多的本地更新。这样的应用程序需要处理能力，这对于具有弱处理单元的物联网客户端可能不可行。最后，资源限制可能会导致离散效应。

异步FL算法的收敛保证

在第IV-D节中，我们强调了同步和异步通信之间的区别。现有的模型聚合方法大多采用同步模型聚合的概念，即全局模型聚合依赖于接收参与者的所有局部模型参数。以前的工作在这种同步FL过程中获得了快速收敛，因为他们假设所有参与者都有足够的资源(如计算、带宽、内存)。因此，即使是最慢的参与者也不会对整体准确率产生太大影响;最终，模型收敛了。另一方面，在异步FL中，只要接收到一个模型，服务器就会执行聚合，并且可能会在训练阶段的中间包含一个参与者。这种方法支持系统内的可伸缩性，并减少了掉线的影响，但不能保证收敛。在表V中，我们指出了不同的基于fll的异步方法的关键思想。Sprague等人[159]分析了确保异步FL收敛的问题，但没有提出克服这些问题的解决方案。Xie等人[96]提出了异步联邦优化，[159]讨论了用于地理空间应用的异步FL，[160] -[162]提出了用于MEC的基于dpp的异步FL策略，[163]提出了用于异步FL的基于区块链的安全数据共享策略。然而，这些工作都不能保证资源受限的客户端在异步FL通信时的收敛。因此，提出一种保证异步FL算法收敛性的方法可以成为一个新的研究方向。

统计异质性的量化

当跨设备的训练数据在训练过程的数据建模和收敛行为上不一致时，FL训练变得复杂。一些ML研究通过元学习[166]，[167]，多任务学习[168]，[169]来设计统计异质性，这些研究进一步扩展到FL设置[24]，[48]，[170]-[173]。例如，优化框架MOCHA[48]允许通过多任务学习实现个性化;但是它考虑凸目标，在扩展到大规模网络时能力有限。Corinzia和Buhmann[171]通过在学习过程中进行变分推断来建模贝叶斯网络。虽然他们提出的方法可以同时处理凸模型和非凸模型，但推广到大型联合网络时代价较高。此外，Eichner等人[172]旨在识别数据样本中的循环模式，而在[170]中详细分析了FL期间的个性化迁移学习策略。虽然在非iid设置下，客户数据在样本数量、数据集结构和格式等方面趋于异构，但所有现有的FL工作在训练阶段开始后都会调整统计异质性。它影响训练质量，缺乏对这种异质性的适当量化会导致较差的训练效果。提出了一种局部差异方法[174]来量化统计样本变化，其中资源量化在训练开始后开始。Li和Wang[175]提出了一种集中处理FL模型训练异质性的方法，但没有考虑对统计异质性的具体支持和分析。Li等人[21]提出了FedAvg[20]算法的重新参数化，该算法可以扩大发散的模型更新，并保证在统计异构网络上学习时收敛。然而，他们没有量化的统计异质性的水平，而选择客户在训练或执行模型聚合。

数据清洗及误注入处理

在真实的基于FL的物联网环境中，物联网客户端根据提取的数据生成模型。在传统的基于fl的物联网方法中，没有精炼传感器数据的中间阶段，这可能会导致错误更新的本地模型被伪造，最终误导全球模型聚合。随着这种虚假数据注入客户端数量的增加，模型的精度在同一阶段降低。随着时间的推移，它降低了达成一致的机会。Bagdasaryan等人[60]提出了一个后门FL来识别联邦聚合期间的恶意攻击。他们开发了一个训练-规模方案，以限制异常探测器在FL任务期间查看客户的模型权重或准确性。Fung等人[176]解释了sybil攻击在FL过程中的脆弱性。他们提出了一种防御机制，可以通过分析模型训练过程中FL客户的多样性来识别中毒sybil。然而，这些研究都没有考虑到物联网客户端上的实时虚假数据注入，这需要进一步研究。

减少能源消耗和设备上的培训

与我们之前的讨论一致，物联网领域的客户端可能拥有弱处理单元。因此，如何通过一种节能的通信方案对设备进行推理、训练，并与服务器进行及时的交互，是一项挑战。然而，设备上的培训会导致两个问题。首先，生成的设备上模型的大小需要足够小，以便它能够适应设备内存，并且仍然能够捕捉到计算有效模型所需的大部分数据复杂性。设备上的推理问题在[177]和[178]中得到了解决，但设备上的训练问题没有得到阐述。其次，该系统对设备上培训的计算和存储可用性的要求比这些物联网客户端所能提供的高。第IV-E节介绍了一些适用于专门的neumorphic或现场可编程门阵列(FPGA)硬件或错过在FL-IoT领域观察到的战斗约束的方法。找出这个双重问题的解决方案是至关重要的。在[179]中可以找到一个潜在的方向。他们提出了一种基于物联网的网络架构，能够创建高容量客户端模型，与此类应用的传统模型相比，参数减少15-38倍。Kumar等人[177]提出了一种基于树的方法来预测2 KB RAM物联网设备，例如Arduino Uno板，该板拥有8位ATmega328P微控制器，没有任何浮点支持，以及32kb大小的只读闪存。他们提出的算法通过构造一个树状模型来达到标准的预测精度，该模型减小了模型的大小，降低了预测成本。他们学习了一棵具有高功率节点的稀疏树，通过在低维空间中稀疏投影数据来进行树的学习过程，并协作学习所有投影参数和树。研究这种架构以使学习能够在资源有限的FL环境中进行是一个尚未探索的领域。

正如我们所讨论的，FL需要设备上的培训；因此，任何能够高效执行ML算法的研究都可以反过来帮助FL。如果我们考虑物联网环境中资源受限的节点，那么延长电池供电寿命是一个挑战。由于与服务器的反复交互，电池的电量可以大大减少。在与服务器交互时，最大限度地减少电池电量的损耗是一项挑战。Kumar等人[177]开发了一种基于树的算法，用于对仅拥有2 kb RAM的资源受限物联网设备(即Arduino)进行预测。然而，他们并没有对资源受限的IoT节点进行培训操作。Gupta等人[180]设计了一种基于knn的算法，该算法工作在资源稀缺的物联网节点(≤32 kb RAM和16 mhz处理器)上，通过监督学习进行预测，但边缘设备没有进行本地训练。因此，设计一个可以处理小计算能力和存储的改进版本的FL算法来训练边缘上的物联网节点是非常必要的，我们如何在训练阶段管理客户端节点的能量消耗也是一个开放的问题。动态计算技术是这一前沿领域的一个激动人心的方向。动态计算技术只对输入激活神经网络的一部分。这可以帮助实现有效的训练和推理，因为每个输入只更新一部分NN。有许多不同的方法可以将动态计算引入到神经网络中。该技术可分为三大类：动态通道剪枝(DCP)、动态层跳过(DLS)、动态空间门控(DSG)、DLS和混合专家(MoE)。DSG技术([181]，[182])识别OFM中被认为重要的空间区域，并只将注意力集中在OFM的那些部分。DCP技术识别OFM中被认为不重要的通道，并跳过这些通道的计算([183]，[184])。DLS技术更特定于ResNet风格的架构，具有跳过连接或基于rnn的模型([185]，[186])。最后，MoE基于的思想是，可以使用多个领域专家来处理输入数据，而不是使用单个大型NN来处理输入数据。根据输入，领域专家的结果可以被赋予更大的权重。到专家的路由是通过预测器网络完成的。通过控制那些对输入不重要的专家，可以实现更快的计算[187]。DCP技术可以被视为该领域中技术的一个特定实例。

除了算法创新之外，在软件和硬件设计领域也出现了大量工作，以高效地执行ML算法。在这里，效率指的是任何或所有减少的能源消耗、更快的运行时和更小的内存占用。这一领域的工作可以分类为在CPU中执行ML的新指令[188]，[189]，专门加速器的设计[190]-[192]，优化的软件库[193]，[194]，新存储技术的开发[195]，以及使用更小的能量预算实现大存储的近数据处理[196]。然而，这些工作的绝大多数集中在ML算法的高效推理。这些优化中的很多都可以进行定制，以实现合适的培训。因此，进一步了解ML的训练算法以及它们在硬件上如何执行的研究可以帮助定制这些解决方案来解决这个问题。上述工作对传统硬件进行了改进，使之适应ML。在传统硬件中，负责处理信息的单元(processing unit)与负责存储数据的单元(memory)是分离的。指令和数据从内存中提取并在处理单元中执行。这就是冯·诺伊曼体系结构。除此之外，在神经形态计算领域[197]，[198]有一个整体的工作，致力于通过开发模仿突触结构的新硬件来复制人类大脑的极端功耗效率。与传统硬件的主要区别在于这些硬件的非冯·诺依曼架构，因为处理和存储元素不是分开的。我们推荐读者参考[197]，以便更好地了解该领域。FL也可以受益于使用这种神经形态硬件构建的边缘单元，可以实现高效的设备上学习。

管理被丢弃的参与者

互联网的可用性和网络连接能力是至关重要的，尤其是在物联网环境中应用FL时。任何FL-IoT参与者都可能在训练中期或与服务器交互期间由于移动性、带宽不足、传输功率不足或电池寿命不足而离开网络。最近的大多数工作都认为所有FL参与者都与服务器保持一个连续的连接，不能在中间断开连接。在现实的FL-IoT环境中，这样的场景是不可行的，任何参与者都可能因为资源不足而下线。如果忽略了很大一部分参与者，将无法生成一个有效的全球模型。很难理解客户端是否因为网络问题或资源短缺而响应缓慢。找出潜在的问题可以帮助我们根据问题场景采取行动。Das和Brunschwiler[92]提出了一种处理落后客户端的解决方案，即在每次本地更新后确认其资源利用率(即计算能力)。他们通过分析客户端的资源利用率，并相应地调整局部计算，形成了一个预测模型。另一种策略是执行异步训练，即当它从任何参与的客户端接收到模型更新时更新全局模型[67]，[165]。此外，最近发明的FL框架FedProx[199]可以处理联邦网络中的异构性。通过对传统FedAvg算法的重新参数化，FedProx允许从每个客户端设备进行部分工作。然而，当网络中的大多数客户端执行少量的局部工作时，他们的方法可能需要更长的时间来达到收敛。Imteaj和Amini[126]提出了活动和资源感知的FL策略，通过检查资源状态，根据客户对模型收敛的贡献为其标记信任值，并接受参与客户的变量工作，来处理散乱问题。但是，在启用客户端变量或部分工作的同时，如何优化超参数还需要进一步的研究。

隐私保护

现有的FL方法旨在通过采用DP和SMC等经典密码协议和算法来提高隐私性。[73]提出了一种基于fl的SMC协议来保护客户端模型更新。通过这种方法，服务器无法看到本地的更新参数，但仍然可以通过观察每轮后的聚合结果提取一些信息。然而，这种方法的通信成本很高，这在资源受限的FL-IoT环境中是不可行的。Geyer等人[40]、McMahan等人[56]和Zhao等人[200]将DP应用于FL以获得全局DP，但这些方法的超参数会影响通信和模型精度。[201]提出了一种自适应梯度裁剪技术来处理这个问题。在[58]中，修改后的本地隐私被设计用来限制对手的力量，这保证了比全球隐私更强大的隐私，并导致更好的模型准确性。另一种基于元学习的DP机制的有趣方法在[136]中提出，可以通过个性化在FL中使用。此外，DP可以与模型压缩策略相结合，减少通信开销，同时获得一个改进版本的隐私[7]，[135]。此外，之前的一些研究[202]-[205]提出了在区块链支持的基于flo的物联网环境中保护隐私的机制。然而，这些方法大多没有考虑到客户机的异构资源。他们没有分析应用一种鲁棒的隐私保护算法的可行性，这种算法可以在不产生掉队效应的情况下进行调整。在资源受限的异构fll型物联网环境中，如何获得最大的隐私效益还有待进一步研究。

联邦学习的应用

FL最适合于需要处理敏感信息的应用程序，因此，设备上的训练比将本地数据传递给服务器更重要。大多数现有的FL应用程序是基于从客户端或用户活动(例如，输入url或键盘，单击按钮)收集的标记数据。在本节中，我们将讨论一些现有的FL应用程序，以便更好地理解FL在现实世界中的影响。

资源充足的联邦学习应用程序

推荐系统：推荐系统可以与信息过滤方案相比较，该方案试图预测用户对一个项目的偏好或评级。在传统的推荐系统中，用户的偏好或评级会与其他用户共享，很多情况下隐私得不到维护。Chen等人[24]提出了一个联邦元学习框架，通过该框架，每个本地客户端共享他/她的算法，而不是他/她的数据或本地模型。特别是，当模型规模较大时，联邦元学习是有用的;因此，共享算法比共享模型更灵活。

next-word预测：一个流行的基于ml的应用程序是next-word预测，其中构建了一个模型，可以预测下一个可能出现的单词是什么。这样的集中式ML应用程序可能会向服务器传输私人用户数据(例如，SMS和url)，并可能泄露用户的任何敏感信息。基于这一动机，Hard等人[22]设计了一个基于设备上分布式ml的框架，其灵感来自FedAvg算法。他们对每个参与者进行了局部训练，并获得了比传统方法更高的回忆。通过这种方式，FL通过学习用户的输入行为来帮助用户进行预测，间接地读取用户的想法。

关键词发现：唤醒词检测器应用现在很流行。例如，亚马逊的“Hey Alexa”唤醒词检测器用于播放不同的歌曲，或执行不同的命令，而谷歌的唤醒词检测器“Hey谷歌”用于不同的目的，包括驾驶，例如在地图上获取方向。然而，这些应用程序中的大多数都基于基于云的系统，并将用户数据传递给服务器。与此不同的是，一种嵌入的语音模型被提出为[23]，其中他们使用一个唤醒词检测器“Hey Snips”来识别用户的声音。他们使用了一个众包数据集，并通过保持用户信息的隐私来应用FL策略。

设备上键盘的相关内容建议：谷歌最近实现了一个名为Gboard的虚拟键盘应用程序，在那里他们应用FL策略来建议[29]的相关内容。它适用于用户点击或忽略存储在训练缓存中的情况，并在建议相关内容时增加值。基于用户点击，信息存储在缓存中，并输入到设备上的培训过程。在这项工作中，推理和训练是在设备上进行的。只有模型更新的参数与服务器共享，而全局训练的模型部署在每个客户机上。

资源受限的联邦学习应用程序

智能机器人：[50]中提出了一个用于移动机器人的终身强化FL框架。他们设计了一种增强移动机器人导航系统的架构，使其能够有效地从先验知识中学习并有效地适应新环境。他们使用了两种类型的迁移学习来快速适应新环境中的移动机器人。他们提出的系统是可扩展的，但缺乏安全性、私密性、健壮性和稀疏性。

智能对象检测：Yu和Liu[213]设计了一种在测量客户端局部模型的权散度时考虑Kullback-Leibler divergence (KLD)优化目标检测的方法。他们采用了异常体重抑制技术来减少不平衡和非iid数据可能导致的体重分歧的影响。

智能医疗保健：在医疗保健服务中，基于fl的物联网概念可以非常有效地保护敏感医疗数据的隐私。物联网设备可用于生成患者状态的数据流，FL可用于利用历史数据进行早期预防或治疗。Yuan等人[214]通过应用FL机制和减少训练过程中物联网设备的计算负荷，开发了一种用于智能医疗的FL框架。他们提出的方法还在FL服务器和物联网设备交互期间减少了通信开销。然而，他们开发的框架不能保证收敛，并且在出现故障或边缘/云服务器故障时无法执行成功的学习过程。

On-Device Ranking: FL的另一个应用是对搜索结果进行排名。例如，如果我们在设备中查询某个内容，就会出现自动搜索结果。这是通过对服务器进行昂贵的调用来实现的。为了降低这种成本，[73]提出了实现on-device training来生成搜索结果的排序，这对于资源受限的设备特别有用。通过观察用户从排名列表中选择的物品，每当用户与排名功能交互时，系统就会放置一个标签。通过这种方式，用户的偏好不向任何人透露，通信开销大大减少。

异常检测：[215]提出了一种自主自学习方案，用于识别物联网网络中的受损设备。他们提出的系统依靠未标记的众包数据和设备类型特定的行为剖面，可以在不需要任何标记数据或人工干预的情况下学习异常检测模型。他们将FL策略应用于聚合行为概要文件，以实现有效的入侵检测。

资源高效的无人机物联网设备训练：[57]中提出了一种基于粒子群的空气质量监测框架。他们提出的系统能够利用航空雾霾图像对无人机进行高效的轻型模型训练，并在保护隐私的同时预测空气质量指数(AQI)。为了感知地面系统，他们提出了一种基于图cnn的长短期记忆(LSTM)模型，以获得准确和实时的AQI推断。此外，Tang等人[216]通过优化电池资源和无线带宽，解决了无人机物联网设备减少延迟和提高能源效率的问题。他们采用深度确定性策略梯度(DDPG)策略来评估他们的系统成本。

在表VI中，我们给出了一些现有FL应用的详细总结。

考虑资源受限物联网设备的联邦学习算法的未来方向

正如我们所讨论的，FL是最近发明的分布式ML技术，可以认为是一个新兴的研究领域。在第四节研究了FL过程在应用于资源受限的物联网设备时的核心挑战，并在第五节分析了那些新兴挑战的一些潜在解决方案后，我们指出了基于FL的物联网环境的潜在未来方向。在本节中，我们将重点介绍该领域的未来发展方向。

在基于FL的物联网环境中，可以体验到一些客户端与底层物联网网络设置中的其他客户端相比拥有更多的数据(例如，由于经常使用特定的应用程序或拥有更大的内存大小)。这种数据样本数量上的差异，特别是由于不同的内存大小和可用性，导致了参与者与参与者之间在训练周期方面的巨大偏差。在生成任何客户数据集的总体分布表示时，不均匀的数据分布提出了问题。在局部训练数据集中处理这种差异需要进一步研究。
在资源受限设备存在的情况下，为了保证异步学习在非iid设置下的收敛性，需要考虑非凸问题的损失函数(即具有多个可行区域的目标函数，每个区域有多个局部最优点)，并提出支持算法。
在FLS中，我们可能需要选择一个负责将聚合的模型参数传递给服务器以提高能源效率的簇头。集群头可以以同步的方式从其区域收集客户端模型参数，而中央服务器可以通过同步或异步的方式接收那些本地聚合的模型。在这里，leader可以充当中间聚合器，并可以避免掉队节点。它可以略微降低功耗，同时最小化FLS的带宽需求，对于资源受限的基于FLS的物联网环境非常有效。但是leader节点需要熟练才能进行快速的操作，并且要可靠，避免错误的数据注入。
以设备为中心的自动唤醒机制可以用于确定与服务器进行交互的最佳周期。这种方法可以减少与服务器的不必要通信，并避免在客户机的本地数据变化不大时发送模型更新。此外，自动唤醒机制可以帮助资源受限的设备储备能量，用于进一步的训练。
客户机移动性可以极大地改变整个系统的行为。在培训开始前，网络可能会有大量的活跃客户端，一段时间后，这些客户端可能会离开网络。因此，一些区域可能拥有大量的客户端，而其他一些区域可能由于缺乏活动客户端而无法生成可行的模型。因此，如何处理物联网设备的移动性问题，确保联邦模型训练的成功是一个潜在的研究方向。
在FL过程中，我们可以观察到客户数据之间的统计异质性。这种异构性迫使客户端与服务器或其邻居节点进行更多的交互。现有的工作在启动训练后对这种统计异质性进行了量化，这可能会花费额外的资源，并可能对资源有限的设备的本地训练产生至关重要的影响。甚至在FL训练初始化之前，就需要进行广泛的研究来量化统计异质性，以避免由于数据样本变化而产生的特殊情况。
有效的激励机制设计对鼓励FL客户分享模型信息至关重要。区块链[217]-[219]中实施了一些激励或法规方案，并针对高质量的联邦数据[220]，[221]提出了一些激励机制。然而，为了提升FL的有效性，激励机制的设计还需要进行更广泛的研究。这类设计的一个例子是如何将博弈论模型应用到FL中，或者除了准确性之外，可以为用户提供什么新的好处来鼓励他们参加FL训练。此外，由于FL的参与者可能是资源有限的，也可能是商业竞争对手，因此必须设计一个分配整体收益的策略，以确保参与者的长期参与。此外，需要更多地关注如何防御试图收集大部分激励的对抗性攻击。
需要为FL-IoT设置设计一个轻量级的区块链框架，在与服务器或邻居客户端交互时，可以确保健壮性并增强隐私和安全性。区块链可以防止模型参数或算法气质，验证模型的更新和交换。[36]和[222]中讨论了设备上培训的一些区块链范式，但他们在设计该框架时没有考虑物联网设备的弱处理单元和有限内存的挑战。在miner选择、区块挖掘、共识算法、链验证、原子性和区块链互操作性等方面需要进行进一步的研究，特别是对于资源受限的物联网客户端的FL。
FL结构使我们考虑整合信任模型来避免培训过程中的敌对客户。仅根据资源可用性选择客户机将导致我们选择恶意客户机。然而，我们可以基于客户端之前在网络中学习和与其他客户端交互的贡献来设计一个基于信任的模型。通常，假设服务器是可信的，我们可以使用服务器通过分析客户机的行为来生成信任模型。基于产生的信任模型可以设计激励机制，这可能为我们打开一个新的研究方向。

结论

本文介绍了FL算法的全面调查，并分析了执行设备上训练时的实现挑战。在考虑资源受限的物联网设备作为FL客户端的同时，我们特别强调了FL过程的问题。首先，我们提出了FL算法的亮点，可以在边缘设备中实现高效和可伸缩的模型训练。然后，我们介绍了FL分类的概述，并分析了现有的论文，以区分我们的贡献与之前的调查。我们讨论了分布式学习和优化技术，并解释了用于决策的分布式算法的各个方面。我们分析了资源有限的设备在设备上学习期间的挑战，并讨论了现有的可行解决方案。在分析了挑战之后，我们描述了在资源受限的物联网设备中实现FL的新挑战，这需要广泛的进一步研究。随后，我们探索了现有的FL应用程序，以便更好地理解FL在真实应用程序中的作用。最后，我们列出了在资源受限的异构物联网环境中部署FL的潜在未来方向。