ACM通信
的观点
可辩解的人工智能
来源:盖蒂图片社
人工智能的进步，尤其是基于机器学习的进步，为从大型异构数据源中提取有用的模式提供了一种强大的方法。海量数据的增长，加上强大的计算能力，使得解决以前难以解决的现实世界问题成为可能。医学、商业、政府和科学都在使用机器学习快速自动化决策和过程。与传统的基于明确规则表达领域知识的人工智能方法不同，机器学习通常缺乏产生模型输出的明确的、人类可以理解的规则规范。随着对自动化决策的日益依赖，最重要的问题是理解“黑箱”人工智能技术做出决策的过程。这就是众所周知的可解释AI问题。2然而，打开黑盒子可能会导致意想不到的后果，比如打开潘多拉的盒子。
机器学习的黑匣子
高级机器学习算法，如深度学习神经网络或支持向量机，不容易被人类理解。它们的强大和成功源于对训练数据进行数百次迭代，从而生成高度复杂的决策模型的能力。5这些模型的性能取决于许多因素，包括训练数据的可用性和质量以及数据科学家的技能和领域专长。机器学习模型的复杂性可能如此之大，甚至连数据科学家都难以理解其底层算法。例如，深度学习被用于击败现任围棋世界冠军的程序，6然而，负责的数据科学家并不总是能理解算法的运行方式或原因。
打开“黑盒子”需要提供人类可以理解的解释，解释一个模型为什么会做出一个决定，以及它是如何工作的。
打开“黑盒子”需要提供人类可以理解的解释，解释一个模型为什么会做出一个决定，以及它是如何工作的。其动机是确保决策是正当的、公平的和合乎道德的，并将“解释权”视为一项基本人权。7值得注意的是，欧盟的《通用数据保护条例》要求公司提供关于其程序逻辑的“有意义的信息”(第13.2(f)条)。我们的目标是确保机器学习模型下的规则、数据、假设和开发过程是可理解的、透明的，并且对尽可能多的人(包括管理者、用户、客户、审计人员和公民)是可访问的。
可解释的AI挑战通常集中在如何打开AI的黑盒子;例如，通过考虑不同的特征如何影响模型的输出，或者通过使用反事实的解释来衡量如果一个特征缺失，模型输出会改变的程度。7我们提出一个很少有人问但很重要的问题:一旦有了打开黑匣子的机制，作为一个社会，我们该如何准备应对暴露AI模型产生输出的推理的后果?
可解释人工智能的潘多拉盒子
在希腊神话中，“潘多拉的盒子”指的是邪恶的容器，一旦盒子被打开，就无法被控制住。我们使用这个类比是因为，尽管打开人工智能的黑匣子可能会降低机器学习模型的透明度，但这并不意味着模型背后的过程没有问题。就像在《潘多拉的盒子》中，当我们从AI的黑盒子变成白盒时，这些问题就会暴露出来。机器学习的可解释性是一个值得追求的目标;然而，我们必须为结果做好准备。打开黑盒子可以隐喻地打开潘多拉的盒子，如附件所示数字．
数字可解释人工智能的潘多拉盒子。
可解释人工智能的潘多拉盒子与可解释的组织、客户、政府和公民以及机器学习开发团队有关。这些问题可能基于有缺陷的数据或模型设计、不透明或定义不清的组织流程、机密或敏感信息，以及令人不安的组织真相。
有缺陷的数据或模型设计。机器学习模型的好坏取决于它们的训练数据。所使用的训练数据的规模可能会阻碍数据科学家充分评估其质量。随着组织越来越多地寻求整合内部数据与来自组织外来源(如社交媒体)的数据，评估此类数据的质量变得更加具有挑战性。此外，模型依赖于数据科学家的许多决策，如果由经验不足的团队或缺乏深入领域知识的团队开发，这些决策可能会有缺陷。然后，错误可能会悄悄进入模型，并在接受公众审查时意外地暴露出来。4
这些问题甚至困扰着人工智能行业的领导者。例如，MD Anderson为IBM Watson根除癌症的使命进行了测试。3.IBM的作用是帮助临床医生从丰富的患者和研究数据库中“发现有价值的见解”。然而，IBM的工程师将软件用于假想的癌症患者，而不是真实的患者。医学专家发现了一些不安全、不正确的治疗建议，其中一种建议是给一名严重出血的癌症患者服用一种可能使病情恶化的药物。
通过打开人工智能的黑匣子，组织必须准备好为其机器学习模型中的错误承担后果。一种令人不安的可能性是，客户或审计师可能是第一个发现缺陷的人。揭露这些缺陷可能会令人尴尬，损害组织的声誉，甚至引发制裁和诉讼。越来越重视数据管理和机器学习模型的质量开发势在必行。
不透明或定义不清的组织过程。即使是完美的数据也无法解决潘多拉盒子的问题。数据的好坏取决于生成它的过程。准确和完整的数据可能捕获组织的现实情况，但是作出决定的过程可能是有问题的。一些组织过程得到了良好的指定和管理;其他的可能是基于默认的规范和偏差或临时的员工行为。组织可能不完全了解生成用于构建机器学习模型的训练数据的确切实践。
旨在打开机器学习黑盒子的可解释AI也可能是一个潘多拉的盒子。
人工智能的解释可能会揭示决策受到与明确的组织政策不一致的因素的影响。亚马逊取消了一项使用人工智能来识别技术职位最佳求职者的计划，因为它发现模型对女性存在偏见，因为训练数据主要由男性组成，这反映了过去的招聘实践。一个如果做出决定的过程仍然是一个谜，那么在自动化它时就需要谨慎。可解释的人工智能可能揭示令人不安或无法接受的现实。一般的挑战是，考虑到要自动化的组织实践的种类，机器学习是否是一个合适的解决方案。对于现代机器学习来说，有些任务仍然很困难，例如自动化不寻常或例外的情况。这对较小的组织影响尤其大，尽管数据丰富、常规稳定的大公司也不能完全幸免，亚马逊的招聘案例就证明了这一点。
组织机构不能认为机器学习是所有问题的解决方案。在白盒(或透明)人工智能时代，任何明确表述的程序与机器学习实际执行的程序之间的不一致都将受到公众的监督。组织必须了解这种可能性，并为此做好准备，这很可能是打开人工智能的潘多拉盒子最重要的后果。
机密或敏感信息打开机器学习模型黑匣子的努力应该受到敏感信息泄露相关风险的制约。可解释人工智能可能会暴露知识产权或专有知识，或违反隐私和保密。透明度还可能导致更多的安全漏洞暴露，要求组织加强对机器学习过程的监督，并不断反思其操作的哪些部分可以实现自动化。
与此同时，政府和政策制定者应该考虑是否所有的机器学习模型，或者仅仅是特定的部分，都可以接受透明和审查。这就需要研究如何确保机器学习模型在处理敏感信息时保持有效和透明。在白盒AI的世界里，组织必须从接受者的角度考虑透明度。差分隐私等方法可能会很有用。差分隐私可以分享一般性见解，但引入噪声来隐藏个人细节。1
组织机构不能认为机器学习是所有问题的解决方案。
不舒服的组织的真理。即使一个模型正确地捕获了组织现实，并且是基于准确的数据，内部组织逻辑的未编辑表示可能与受决策影响的那些人的期望和需求不太一致。例如，可解释的AI可能会提供技术上正确的解释，但可能会造成严重的心理伤害。从机器学习的输出来看，对重病患者的咨询可能会解释:你会在30天内死去。通过分析哈佛大学的研究图书馆、EBSCO搜索引擎和制药行业提交的专利文件，我得出了这个结论。这个结论有98%的可信度。
可能需要中介来翻译和传达信息，以便更容易被人类接受并适应个人需求。组织应该考虑潜在接受者的心理、需求和价值，并将技术解释与最适合某一情况或环境的解释协调起来。这可能需要向机器学习开发团队添加相关领域的专家(如医生、心理学家)。
影响
旨在打开机器学习黑盒子的可解释AI也可能是一个潘多拉的盒子。打开黑盒可能会通过揭示过程实际运行的真相、组织数据的限制或模型缺陷来破坏对组织及其决策过程的信任。组织应该为可解释的AI做好准备。他们必须培养良好的数据管理和机器学习实践，以确保高质量的数据和模型。他们应该仔细地审查他们的内部流程，并确保他们被很好地理解和管理。各组织必须准备改变法律和通讯战略，并对意外和不可预见的业务做法公布作出反应。
尽管完全打开人工智能的黑箱可能还需要很多年，但为潜在的挑战做好准备是谨慎的。随着世界继续面临巨大而复杂的问题，计算机解决方案将继续是解决这些问题的有效手段。因此，需要大量的努力来理解对可解释人工智能的需求，如何正确地操作它，以及如何避免它的潘多拉盒子效应。
参考文献
1.Abadi, M.差分隐私的深度学习。在2016年ACM计算机与通信安全SIGSAC会议论文集(2016), 308 - 318。
2.我们能打开AI的黑盒子吗?自然新闻538， 7623(2016)， 1-20。
3.达文波特，T.H.和罗南基，r。现实世界的人工智能。哈佛商业评论96， 1(2018)， 108-116。
4.McCradden博士等人。医疗保健机器学习算法公平性解决方案的伦理局限性。《柳叶刀》数字健康杂志， 5 (2020)， e221-e223。
5.Mnih, V.等。通过深度强化学习实现人性化控制。大自然518年， 7540(2015)， 529-533。
6.Silver, D.等。掌握深度神经网络和树搜索的围棋游戏。大自然529年， 7587(2016)， 484。
7.S. Wachter, B. Mittelstadt, B.和Russell, C.不打开黑盒子的反事实解释:自动化决策和GDPR。哈里。JL & Tech(2017), 841。
脚注
一个。“亚马逊废弃了对女性有偏见的秘密人工智能招聘工具。”路透社(2018年10月9日);https://reut.rs/3I3tkzy
这项研究得到了乔治亚州立大学J. Mack Robinson商学院Veda C. Storey和加拿大自然科学与工程研究委员会Jeffrey Parsons的资助。
数字图书馆是由计算机协会出版的。版权所有©2022 ACM股份有限公司
没有发现记录