ACM通信
在AI中寻找公平
瑞士ETH Zürich的Nikola Konstantinov解释说:“人工智能中的公平性是指确保人工智能模型在做出决定时不存在歧视，特别是在种族、性别或原籍国等受保护属性方面。”
资料来源:密歇根大学
随着人工智能(AI)越来越广泛地用于做出影响我们生活的决定，确保它的公平性越来越受到关注。
算法可以包含来自几个来源的偏见，从参与其开发的不同阶段的人到引入或放大不公平的建模选择。亚马逊用来预筛选求职者的机器学习系统被发现对女性有偏见例如，用来分析脑部扫描的人工智能系统在不同种族的人身上表现不一样．
“人工智能的公平性是指确保人工智能模型在做出决定时不存在歧视，特别是在种族、性别或原籍国等受保护属性方面。尼古拉棵他是瑞士ETH Zürich ETH AI中心的博士后。
研究人员通常使用数学工具来衡量机器学习系统的公平性，基于特定的公平性定义。例如，个体公平认为机器学习模型应该以相似的方式对待两个相似的个体。两个资历相当、但性别可能不同的求职者，在求职筛选工具中得到的结果应该是相似的;不公平可以通过计算经验相同的候选人得到不同结果的次数来衡量。然而，公平也可以在人口水平上衡量，群体公平考察一个系统在不同群体(如白人与黑人)之间是否表现相似。
康斯坦丁诺夫说:“如果你现在要衡量不公平，一种方法是检查所有白人申请人获得offer的比例，然后对黑人申请人进行比较。”
然而，衡量公平的一个问题是，结果与所使用的公平定义有明确的联系。根据数学证明，一个模型不可能同时对几个公平概念是公平的。这是因为，一旦你开始根据一个定义计算问题，使一个模型更公平，其他问题就会出现，根据不同的公平概念，这些问题会使它不那么公平。因此，仔细考虑哪种公平定义最适合特定的人工智能系统是很重要的鲍里斯革命联合阵线他是法国巴黎保险巨头安盛集团(AXA)的研究数据科学家。“人工智能公平的目标不是满足某种公平，而是实现最适当和最预期的公平目标。”
解释公平衡量标准也可能是一个挑战。这样的结果通常是对两个群体或个人之间差距的衡量，理想情况下差距为零，因此是一个滑动尺度的结果，而不是公平与否的具体答案。公平分数通常对正在优化人工智能系统的机器学习研究人员很有用，这样他们就可以提高评分并使其尽可能公平。然而，如果要将一个模型投入实际应用，通常需要一种更为离散的衡量它是否公平的方法，即a或B。因此，挑战在于确定什么样的公平阈值是可以接受的，并与一个公平的系统相对应。康斯坦丁诺夫说:“一个模型是否不公平的问题，作为一个a或B问题，本质上是法律问题。”“我们的措施可以作为一种工具，用于定义法律或商定的良好实践确立的人工智能模型的某些要求。”
Ruf说，人工智能公平研究人员经常采用起源于美国劳动法的80%规则来检查差异影响的存在。这是公司使用的一项指导方针，规定他们应该雇用受保护的群体，如少数民族和女性，至少是白人男性的80%。将这一规则应用于人工智能系统意味着任何介于0.8到1.25之间的差异测量都被认为是公平的。
然而，考虑人工智能系统将被采用的环境，可以帮助确定适当的公平阈值。当机器学习模型将被用于做出高风险决策时，例如在医疗保健环境中，更严格的差异测量可能是有利的，而对于开发用于推荐电影或歌曲的人工智能系统，更宽松的标准可能是可以接受的。“最佳选择总是取决于应用程序的上下文，”Ruf说。
然而，使用当前的方法来衡量人工智能系统的公平性可能不足以减少偏见。在开发算法时，不公平可能会在许多不同的阶段出现，潜在的问题可能会被掩盖，因为指标通常是在观察算法的性能。“仅仅使用算法公平(指标)本身可能是危险的，”他说鲁米Chunara他是纽约大学的副教授。
例如，有偏见的数据可能在不知不觉中导致不公平。机器学习系统是在可能由于几个因素而不公平的数据集上进行训练的，例如数据收集的方式(例如，如果某些人群在数据中代表性不足)。在最近的工作丘纳拉和她的同事们发现，在一家医院或一个地区开发的临床护理中使用的死亡风险预测模型不能推广到其他人群。特别是，他们发现不同种族群体的表现存在差异，他们认为这是由所使用的训练数据集造成的。“我们应该真正解决为什么不同人群的数据不同的原因，”丘纳拉说。“在不弄清楚发生了什么情况的情况下，我们不能只是在算法上设置一个公平指标，并要求结果是相同的。”
虽然可以应用一些预处理方法来解释数据中的偏差，但它们只能在一定程度上帮助克服问题。康斯坦丁诺夫说，如果数据被损坏，容易产生噪音和不公平，那么几乎无法让在此基础上训练的人工智能系统变得公平。他补充道:“从本质上讲，这就是机器学习人士所说的‘垃圾输入，垃圾输出’的一个例子。”“不幸的是，现代人工智能算法往往不仅保留，甚至放大了数据中存在的不公平。”
人们正在探索几种途径来提高人工智能系统的公平性。丘纳拉认为，关注数据很重要，例如，更好地检查数据的来源，以及数据是否可复制。提高公众对收集数据重要性的理解也有助于说服更多的人贡献他们的数据，这可能会导致更多样化的来源和更大的数据集。
一些研究人员还采用因果法来解决人工智能领域的歧视问题。机器学习模型从数据中学习模式来做出决定，它们检测到的相关性是否相关和公平并不总是清楚的。例如，通过专注于使模型可解释和透明，决策中涉及的变量更清晰，然后可以判断公平与否。Ruf说:“我对关注算法公平性和因果关系之间交叉性的出版物特别感兴趣。”
然而，今天被认为公平的人工智能系统在长期内是否仍然被视为公平是另一个需要解决的问题。社会的特征随着时间的推移而变化，因此确保模型以一种适应性的方式保持公平是研究人员正在追求的积极方向。康斯坦丁诺夫说:“通过对固定数据集和特定情况的一个定义，可以确保一个模型是完全公平的。”“然而，提供长期的公平保障是一个悬而未决的问题。”
Sandrine Ceurstemont是英国伦敦的自由科学作家
没有找到条目