ACM通信
法律和技术
寻址算法歧视
图片来源:Andrij Borys Associates, Shutterstock
算法能够区别对待，这应该不再是一个意外。犯罪风险评估算法比白人更容易错误地预测黑人被告将来会犯罪。2广告定位算法将工作机会推广给种族和性别失衡的受众，向女性展示秘书和超市的招聘广告远多于男性。1一家医院的资源分配算法对同等医疗需求的白人患者比黑人患者更有利。5这样的例子不胜枚举。当算法歧视影响重大的社会决策时，就尤其令人不安，比如谁能从监狱获释，谁能获得贷款或医疗保健。
就业就是一个很好的例子。雇主越来越依赖算法工具来招聘、筛选和选择求职者，通过预测哪些求职者会成为好员工。一些算法依赖于申请人提供的信息，如résumés或对调查问卷的回应。还有一些人让他们玩电子游戏，利用他们在不同情况下的反应数据来推断他们的性格特征。另一种方法从在线互动中获取信息，比如分析视频采访中的声音模式和面部表情。这些策略旨在帮助雇主找出最有前途的候选人，但也可能会复制或强化现有的对弱势群体(如女性和有色人种)的偏见。
当然，人类决策者也会区别对待。社会科学家已经多次记录了人类判断中明显的种族和性别偏见。机器偏见可能会更糟吗?也许不是，但算法选择工具引起了独特的关注。它们的技术性质可能会传递一种精确的错误感觉，使它们的预测看起来是客观和不可避免的，而不是人类在建立模型时选择的产物。而且，算法的歧视性影响可能比有偏见的人类管理者的影响大得多。无论如何，人类有偏见的事实并不能成为忽视歧视性算法问题的理由。
幸运的是，法律已经解决了这些问题。几十年来，它一直禁止雇主因种族或性别等特征而不雇佣或解雇员工。尽管法院尚未将这些法律应用于算法选择工具，但成熟的法律原则为构建这些工具的数据科学家和部署这些工具的雇主提供了指导。3.
法律明确禁止故意歧视。有时也被称为不同的治疗在美国，这种形式的歧视发生在雇主因受保护的特性而做出不利的决定时，例如，因为某个工人是黑人或女性而拒绝雇用他。考虑到这一禁令，人们可能会认为，避免歧视只是将种族和其他受保护的特征排除在算法的输入和训练数据之外。当然，使用这些信息是违法的为目的建立一个模型来排除特定群体的成员。
然而，仅仅消除受保护的特征并不能保证算法不会产生差别。下不同的影响根据歧视理论，雇主也可以承担责任如果它依赖于具有歧视影响的预测模型。在基本的情况下格里格斯诉杜克电力公司，一个一群黑人工人质疑杜克电力公司的政策，该公司规定，某些技术岗位需要高中文凭和标准化考试的最低分数。这些要求阻碍了更多的黑人工人而非白人工人从事高薪工作，因为该地区长期存在的种族隔离学校剥夺了黑人平等受教育的机会。与此同时，这些要求与执行有关工作所需的技能没有关系;许多被雇佣的白人雇员在他们被实施之前仍然表现令人满意。法院裁定，即使杜克电力公司不打算将黑人排除在技术性工作之外，该公司利用具有排斥性效果的要求进行了歧视，这些要求不能被与相关工作相关的合法商业需求所证明。
就像Griggs，一个有偏见的算法可能产生完全不同的影响，即使没有任何歧视的意图，甚至对敏感特征视而不见。例如，如果一个训练数据集对女性员工的观察很少，或者数据包括受性别偏见影响的工作评级，那么算法可能会系统地、不合理地降低女性求职者的级别。如果结果是，与男性求职者相比，该算法对女性求职者的筛选不成比例，那么根据歧视的差异影响理论，依赖该算法的雇主将面临审查。
人类有偏见的事实并不能成为忽视歧视性算法问题的理由。
出于这个原因，用于招聘和其他人事决策的算法应定期审查其对人口群体分布的影响。如果结果证明一种算法具有不同的影响，雇主应该能够显示它准确地衡量与特定工作相关的技能或属性。换句话说，雇主必须证明实质性的有效性的模型。如果它不能，它应该修复工具，或停止使用它。
这种情况似乎造成了一个不可能的困境:如果雇主继续使用该算法，它将为不同的影响负责;如果它改变了模式，以消除种族或性别偏见，它可能是故意歧视。这种困境是明显的，而不是真实的。事实上，雇主不仅被允许改变那些被发现有不同影响的做法，而且还被要求放弃那些不符合业务需要的做法。
错误地认为存在这样的困境源于对另一个最高法院案件的误读，里奇诉DeStefano。b在那次事件中，纽黑文消防局(NHFD)在了解到成功考生的种族特征后，放弃了升职考试的成绩。如果它接受了这个结果，尽管申请的人是不同的，但推广班级几乎都是白人，而且NHFD担心会造成不同的影响。法院认为，NHFD决定取消考试成绩是对白人申请者的歧视。问题不在于NHFD放弃了一种具有歧视性效果的做法，而在于它确实这么做了后它公开宣布了晋升考试，许多消防员投入了大量的时间和资源来学习和参加考试。
雇主如何确保其遴选算法不会产生不必要的歧视影响?
里奇不禁止雇主从前瞻性他们发现改变招聘方式是有偏见的。例如，假设一个雇主审计了它的招聘算法，发现它不成比例地筛选了黑人员工。里奇这并不妨碍它用一种对所有申请人都更公平的算法来取代那个算法。c未来的求职者没有固定的权利，雇主不会一直遵循相同的招聘流程，更不用说使用相同的算法，因此，如果雇主今后采用不同的模式来选择求职者，没有人会受到法律伤害。这与最高法院一再强调雇主自愿努力消除歧视性做法的重要性，以及它的声明一致，即自愿遵守是实现反歧视法目标的“首选手段”和“必不可少”。d
在算法中，实现群体公平的允许策略和不允许策略之间没有明显的界限。
雇主如何确保其遴选算法不会产生不必要的歧视影响?计算机科学家已经提出了许多方法来减轻偏差，这些策略通常需要在建立模型时考虑敏感特征。这给雇主带来了另一个担忧。如果自己去努力因为考虑到种族和性别等敏感特征而被视为非法歧视?
这种担心是多余的，因为法律并没有明确禁止雇主采取所有有种族或性别意识的行动。4例如，在招聘方面，允许雇主采取积极措施招聘更多的女性和少数族裔，以建立一个广泛和多样化的申请人库。e在设计笔试时，雇主有时会做出特别努力，从人数不足的种族群体中获取数据，以避免无意中产生有偏见的措施，法院对这些努力持积极态度。因此，虽然法律禁止令人反感和有害的歧视形式，但它允许考虑到种族和其他敏感特征，以便设计对所有人都公平的选择程序。
这意味着许多去偏算法的策略在法律上是允许的。例如，努力以一种避免偏见的方式定义目标变量不应该引起任何法律问题。类似地，为了解决数据问题，设计师可以仔细检查训练数据的代表性和准确性，并对代表性不足的群体进行过抽样，或者删除编码人类偏见的特征。虽然这些策略关注种族或性别影响，以确保公平，但它们不会根据申请人的种族或性别来做出决定。
其他的群体公平策略在法律下更加脆弱。例如，法院曾多次批评种族和性别配额。因此，群体公平策略在各个子群体中强加固定比例的结果——例如，无论群体之间是否存在相关差异，确保男性和女性的积极结果比例相同——可能会引发法律审查。
当然，灰色地带仍然存在。在算法中，实现群体公平的允许策略和不允许策略之间没有明显的界限。然而，很明显，仅仅让选择算法忽略种族和性别等特征不足以确保不歧视。同样清楚的是，在模型构建过程中考虑种族或其他受保护的特征也不是绝对禁止的。虽然这些细微差别意味着有关歧视的法律规则不容易简化为代码，但好消息是，法律目前为算法设计师探索各种减少或消除偏见的策略留出了相当大的余地。
参考文献
1.Ali, M.等。通过优化的歧视:Facebook的广告投放如何导致有偏见的结果。在美国计算机学会人机交互学报199(2019)。
2.Angwin, J.等。机器的偏见。ProPublica (2016);https://bit.ly/3c1zXE2
3.金，P.T.数据驱动的职场歧视。威廉和玛丽法律评论(2017), 857。
脚注
c。Maraschiello诉Buffalo市案2 . dd法院,2013年);卡罗尔诉弗农山市案707 F.Supp。2d449 (S.D. N.Y. 2010), aff'd by Carroll v. City of Mount Vernon, 453 F. App'x 99 (2d法院,2011年)。
这项工作得到了美国国家科学基金会亚马逊奖IIS-1939677的支持。
数字图书馆是由计算机协会出版的。版权所有©2022 ACM股份有限公司
没有发现记录