到2030年,人工智能(AI)有可能使全球工业部门的经济活动增加13万亿美元。6然而,由于缺乏跨公司边界的数据访问或未能有效利用数据,这种潜力在很大程度上仍未得到开发。10人工智能技术受益于大量有代表性的数据——往往比单个公司拥有的数据还要多。在具有意外事件或关键系统状态的工业环境中,实现良好的AI性能尤其具有挑战性。工业上的例子是电力系统故障的早期检测,或预测机器故障和剩余使用寿命,这通常排除了鲁棒推断。
一个解决方案是实现跨公司的AI技术,可以访问来自跨公司的大样本数据。该方法可以有效地编译大规模的具有代表性的数据集,允许健壮的推理。原则上,这可以通过数据共享来实现。然而,出于保密和风险考虑,许多公司仍然不愿意直接分享数据——尽管有潜在的好处。10在某些情况下,数据共享也被隐私法排除在外(例如,涉及个人数据时)。同样,在公司之间共享AI模型的代码还有其他缺点。特别是,它阻止了人工智能从大规模、跨公司的数据中学习,因此,跨公司合作的潜在性能收益将受到限制。
为了克服直接数据共享的局限性,我们讨论了一种潜在的补救方法,即使用带有域适应的联邦学习。这种方法可以在不公开专有数据的情况下实现跨公司边界的推断。早期的工作讨论了AI在组织间环境中的重要性(例如,通过元学习或转移学习)。例如,在Hirt等人的研究中,3.建立了跨不同组织间实体的预测集合,该集合在所有实体解决同一任务时有效。联合学习与领域适应相结合的吸引力在于,当不同公司的操作条件不同时,它的灵活性:它允许训练一个协作模型,该模型为特定的应用程序和公司的特定条件量身定制。
阻碍企业在人工智能项目上合作的两个主要障碍。首先,需要一个隐私保护的解决方案,这样就可以在不公开底层数据的情况下进行推断。10数据的物理共享可能会向竞争对手披露有关运营流程或其他知识产权的专有信息。当公司寻求与供应商、客户或竞争对手进行AI合作时,这尤其成问题。例如,来自制造工厂的数据可以显示参数设置、产品组成、吞吐量率、产量、路由和机器正常运行时间。如果这样的数据被披露,它可能被客户在谈判中滥用,或帮助竞争对手提高他们的生产力或产品。除了知识产权之外,还有其他一些限制因素正在降低企业共享数据的倾向。例如信任、网络安全风险、道德约束和确保用户隐私权的法律。
第二个障碍是合作公司需要考虑到领域转移的可能性。域迁移指的是收集到的具有不同配置或运行条件的系统的数据分布之间的差异。9例如,来自一家公司的机器数据可能不能代表在另一家公司观察到的操作条件。领域的转移给基础推理带来了障碍:一个根据一家公司的数据训练的模型,在部署到另一家具有截然不同的设置或条件的公司时,很可能表现不佳。
人工智能研究的最新进展可以帮助克服这两个障碍。具体来说,我们回顾了如何通过联合学习来解决隐私保护数据共享障碍和域适应来解决域转移障碍,从而实现跨公司AI(见附件)数字).这样的组合通常称为联合迁移学习。4,一个
数字通过联合学习和领域适应,跨公司的人工智能。推理是通过协作模型进行的,同时保持公司专有数据的私密性,并使学习到的表示不受参与公司的特定操作条件的影响。
联邦学习提供分布式机器学习,保护隐私。7,11该算法主要用于分布式边缘设备上的分散通信效率训练。本质上,联邦学习是一种机器学习框架,它允许多个实体协作解决机器学习问题,同时将来自每个实体的数据保留在本地,因此只有模型参数被共享。4最初,实体是移动消费设备,而我们设置中的实体是公司。
在公司协作中,联合学习支持从所有公司的联合数据(例如,来自几个工厂、机车车辆或发电厂的联合数据)进行推断,而不需要直接共享数据。相反,只有模型参数(梯度或权重)在公司之间交换。为了实现这一点,联邦学习将模型训练与对原始训练数据的访问解耦:它首先基于每个公司的数据训练本地模型,然后在接下来的步骤中,将本地模型聚合为一个协作模型,该模型允许总体范围的推断。因此,协作模型结合了所有合作公司的数据(以及来自运营经验的特征),而在这个过程中,没有任何公司可以直接访问其他公司的培训数据。因此,跨公司AI中的联邦学习是“垂直”发生的(见附图)。在文献中,这种联邦学习的特定变体被归入跨筒仓或基于特征的联邦学习。
由于公司之间的运营数据分布通常只有部分重叠,因此需要进行域适应来处理来自不同公司的数据之间的域转移。在跨公司人工智能的背景下,其目标将是使学习到的表示不受合作公司的具体运营条件影响,从而减轻跨公司高度变化的运营条件之间的领域转移。8,9最近的深度域适应方法学习源域和目标域之间变得难以区分的特征,因此边缘分布在特征空间中对齐。2
公司可以结合联邦学习和领域适应,在工业生态系统中实现协同人工智能。一旦部署,它允许合作的公司从协作AI模型中受益,同时保持原始培训数据在本地(因此是隐藏的)。然而,协作模型经过训练,可以很好地概括来自每个公司的数据。然而,专有数据在任何时候都不会跨公司边界共享。相反,只有模型(例如,梯度)在公司之间共享。此外,协作模型通过使学习到的表示对公司的特定运营条件不变来解释公司间的异质性——使每个参与的利益相关者通过其他合作公司的运营经验来扩展自己的运营经验。
对于工业生态系统,我们预见到以分散的方式实现跨公司AI的巨大价值。传统上,联合学习中的训练过程通常由一个中心参与者协调。一方面,由于设置的瓶颈特性,这可能会造成潜在的漏洞。另一方面,在双边合作更为普遍的情况下,这种集中式架构可能不太适合。4因此,引入了完全分散的学习设置。5在去中心化联邦学习中,与中心服务器的通信被点对点通信所取代。对于由应用程序或操作条件的相似性决定的子网络内的跨公司协作,这可能特别有趣。这样的子网络可以根据具体的用例和操作条件的演变动态地形成。为了克服对中央管理机构的需要,在这方面使用分布式账本技术似乎很有前途。最后,这里讨论的方法需要从经验实现中学习,这样公司就可以获得关于是喜欢集中式方法还是分散式方法的指导。
虽然联合学习能够提供显著的隐私改进,并可能因此鼓励跨公司边界的合作,但必须提醒公司,到目前为止,标准联合学习模型还不能提供正式的隐私保障。4从梯度更新和之前的模型中推断出一些信息是可能的。此外,标准的联邦学习技术很容易受到因果攻击,通过这种攻击,一个训练良好的模型可以通过错误的模型更新而被破坏。4对于公司来说,选择能够消除这些问题的实现是很重要的。一种解决方案可能是额外合并隐私保护技术,如差异隐私或密码学。
联合学习和领域适应的结合可以在跨公司设置中释放AI的力量。
对于从业者来说,将跨公司AI引入工业生态系统需要指导实施过程的设计原则。例如,如果两家公司的应用程序之间没有显著的领域转移,则可以应用联合学习,而无需将其与领域适应结合起来。此外,跨公司AI的实现必须满足实践的进一步需求(例如,参见Hirt等人的讨论)。3.).这可能需要进一步的扩展,如持续学习和数据异构的解决方案。例如,对于高度异构的系统,必须选择足够健壮的实现,从而支持可移植性(例如,跨不同的产品类型、不同的传感器集或不同的制造商)。随着时间的推移,进一步的工作应该用于制定一致的标准。
联合学习和领域适应的结合可以在跨公司设置中释放AI的力量。这种跨公司的人工智能可以超越传统的供应链或领域,创建协作组织的大型生态系统。虽然这一愿景可能在不久的将来实现,但公司可以在较小的、可信赖的合作伙伴中开始学习这项新技术。原因之一是,开发公平的价值获取分配模型仍需努力,这需要更好地理解跨公司AI的微观经济影响。
与系统思维保持一致,行业经理应该确定数据合作伙伴,这些合作伙伴可以比他们自己更全面地帮助优化他们的性能。跨公司的人工智能也可以刺激新的商业模式,例如通过第三方公司精心策划的人工智能即服务(见Hirt等人)。3.).特别是中小企业,可以从利用其他公司的数据资源中获益。在这方面,服务系统工程可以帮助制定基于跨公司AI的服务系统网络设计和开发的系统原则。迈向这个方向的第一步是获得跨涉众和资源的价值共创模式的系统理解(参见Böhmann等)。1).
在公司内部利用人工智能将受益于正在进行的研究。目前正在进行一些尝试,以推进联邦学习,提高它的可伸缩性、健壮性和有效性,同时平衡增加的隐私保护和模型性能。当这些问题得到排序后,具有领域适应的联邦学习可以促进跨公司使用AI的指数级增长。
1.Böhmann, T.等。服务的系统工程。商务与信息系统工程(2014), 73 - 79。
2.甘宁,林姆匹茨基。反向传播的无监督域适应。在国际机器学习会议论文集(2015).
3.Hirt, R.等人。面向服务的智能服务系统认知分析:研究议程。在51届会议记录圣夏威夷系统科学国际会议(HICSS)(2018)。
4.卡鲁兹,P.等人。联邦学习的进展与开放问题。arXiv (2019);http://arxiv.org/abs/1912.04977.1912.04977.
5.Lalitha, a等人。完全去中心化联邦学习。在会议记录理查德·道金斯贝叶斯深度学习研讨会。(NeurIPS)(2018)。
6.麦肯锡全球研究所。模拟人工智能对全球经济的影响。(2018);https://mck.co/3kEz9tz
7.McMahan, B.等。深度网络从分散数据的通信高效学习。在人工智能与统计学(AISTATS)(2017)。
8.潘世杰,杨强。迁移学习研究综述。《IEEE知识与数据工程汇刊(2010), 1345 - 1359。
9.王强,王晓燕,王晓燕。基于单侧对齐的失类鲁棒域适应。IEEE工业电子学汇刊(2020), 663 - 671。
10.世界经济论坛。获得的份额:释放制造业的数据价值(2020年);https://bit.ly/3CgQBdv
a.在工业生态系统中,通常会遇到两种类型的迁移学习方法,其中故障被视为标签,而对于安全关键系统来说,这种方法通常很少:标签在源域中可用,但在目标域中不可用(称为无监督域适应);标签在源域中和目标域中都不可用(称为无监督迁移学习)。8
数字图书馆是由计算机协会出版的。版权所有©2022 ACM, Inc.
没有发现记录