ACM通信

数据分析管道中多个阶段的可靠性

近年来，数据的无所不在导致了自动化的、数据驱动的决策工具的广泛使用。这些工具正在大量应用领域逐渐取代人类，包括决定谁应该获得贷款，^一个招聘新员工,^b学生评分,⁷甚至评估假释罪犯的风险。⁴我们越来越依赖这些工具，特别是在数据驱动的算法决策可能影响人类生活的领域，这引发了对它们可靠性的担忧。事实上，随着数据驱动工具越来越多的使用，我们也看到了大量的情况下，这些工具是有偏见的。例如，COMPAS是一种预测被告再次犯罪可能性的风险评估工具，在美国各地的法庭上被广泛使用ProPublica该公司对COMPAS进行了一项研究，结果显示该软件存在种族歧视。黑人的再犯罪风险比实际高，而白人的再犯罪风险比实际低。⁴进一步分析⁵也暴露了与其他群体的问题。例如，西班牙裔妇女的错误率非常高，因为数据集中没有很多西班牙裔妇女。这不仅是因为西班牙裔人口比黑人和白人少，女性比男性少，而且如果这些属性值独立分布，西班牙裔女性也比预期的要少。

回到顶部

关键的见解

另一个例子，最近发表在《纽约时报》，⁷展示了一个不同的偏见场景。国际学士学位(IB)是一种全球教育测试标准，允许美国高中生获得大学学分。由于新冠肺炎疫情，影响学生成绩的主要因素期末考试被取消。相反，学生们根据预测模型被分配等级。结果，来自贫困学区的优秀学生受到了严重伤害，因为这种模式非常重视学校质量。例如，来自低收入家庭的学生预计不会通过西班牙语考试，即使他们的母语是西班牙语。他们中的许多人都曾为IB学习，希望通过成绩获得大学学分来节省数千美元的学费。

没有发现记录

登录阅读全文