ACM通信
数据科学中的基础率忽视认知偏差
我们询问了98名就读于数据科学或机器学习课程的学生以下问题，题目为the狮子的分类问题：
通过训练机器学习算法来检测狮子的照片。该算法在检测狮子的照片时不会出错，但在其他动物的照片中(没有狮子出现的)，有5%被检测出是狮子的照片。该算法在狮子照片率为1:1000的数据集上执行。如果一张照片被检测到是狮子的照片，它确实是狮子的照片的概率是多少?
(一)约为2%
(b)约为5%
(c)约为30%
(d)约为50%
(e)约为80%
(f)约为95%
(g)没有提供足够的数据来回答这个问题
结果如下图所示，其中绿色代表正确答案，红色代表错误答案:
可以看到，大多数学生对狮子分类问题的回答是错误的(61%);其中，最常见的错误反应为95%(32%的参与者给出)。
狮子分类问题类似于Casscells等人(1978)提出的问题。Casscells等人向哈佛医学院四所教学医院的20名实习生、20名四年级医学生和20名主治医生提出了以下问题医学诊断问题：
如果一个检测患病率为1/1000的疾病的测试有5%的假阳性率，一个被发现结果为阳性的人实际上患有这种疾病的几率是多少，假设你对这个人的症状或体征一无所知?
利用贝叶斯定理(见附录)，给出了两者的正确答案医学诊断问题和狮子的分类问题可以计算(且为2%)。然而，在Casscells等人的实验中，只有18%的参与者给出了正确的答案。对于这一现象有几种解释(Koehler, 1996)。卡尼曼(Kahneman)和特维斯基(Tversky, 1973)提出的基础率忽视谬论就是其中一种解释，它表明这种错误是由于忽略了疾病在人群中的基础率造成的。Leron和Hazzan(2009)提出了另一种解释，他们使用双过程理论(Kahneman, 2002)解释了这一错误。
在狮子的分类问题，学生被要求评估如果机器学习算法检测到一张给定的照片是狮子的照片，那么它确实包含狮子的概率。换句话说，他们被要求评估狮子探测器的真实阳性率。假阳性率，即给定的照片不包含狮子的概率，即使它被检测为狮子的照片，被给定为5%(在医学诊断问题)．由于将假阴性率(未检测到的狮子照片)设为0，因此将检测到所有的狮子照片。因此，问题是，在被检测为狮子照片的组中，非狮子照片的百分比是多少。这个百分比取决于狮子照片在数据集中所占的比例，即狮子照片的基本比例，根据基本比例忽略偏差，人类往往会忽略狮子照片的基本比例。与医学诊断问题相似，狮子的基础率给定为1:1000，因此根据贝叶斯定理，真阳性率约为2%。
可以看出，机器学习学习者表现出了与Casscells et al.(1978)发现的相同的模式:大多数人忽略了基础率并错误地回答了狮子分类问题(61%)，其中最常见的错误回答为95%(32%的参与者给出)。在Casscells等人的实验中，18%的参与者给出了正确答案，而在我们的实验中，39%的人正确回答了这个问题，是Casscells等人发现的两倍多。
对于这种差异有两种可能的解释。首先，我们实验中的问题是一个多项选择题(而不是像Casscells等人那样是一个开放式问题)。这为参与者提供了几个可选的答案来考虑。如果参与者愿意，他们也可以猜出正确答案。第二种解释来自于参与者对开放问题的回答，在狮子分类问题之后，他们被要求解释他们选择的答案。在回答正确的参与者中，超过一半的人引用了他们用来精确计算答案的贝叶斯定理来解释他们的答案。因此，我们有理由假设我们的总体在概率上比Casscells等人实验中的总体有更多的背景。
尽管我们的实验中正确答案的比例是最初与医学相关的实验的两倍多，但我们的大多数参与者(当时要么在上数据科学课程，要么在上机器学习课程)都没有正确回答问题。这一现象是有意义和值得警惕的，因为评估探测器的预测能力是数据科学工作流程中的一个关键阶段，在现实生活中可以根据这一阶段做出决策。(想想恐怖主义检测、各种医疗等等。)因此，在不断努力改进机器学习算法并使其更易于解释和解释的同时，提高人类对机器学习算法的理解也是教育工作者的职责。
在我们的博客缓解数据科学教育中基础率忽视认知偏差，我们建议一种方法。
参考文献
Casscells, W.， Schoenberger, A.和Graboys, t.b.(1978)。由医生解释临床实验室结果。新英格兰医学杂志，299(18), 999 - 1001。https://doi.org/10.1056/NEJM197811022991808
卡尼曼,d .(2002)。有限理性地图:直觉判断与选择的视角。诺贝尔奖演讲，12月8日。检索于2007年12月21日。
Kahneman, D.和Tversky, A.(1973)。关于预测心理学。心理评估，80(4), 237 - 251。https://doi.org/10.1037/h0034747
Koehler, j.j.(1996)。重新考虑基础比率谬论:描述性、规范性和方法论的挑战。行为与脑科学，19(1), 1卷。https://doi.org/10.1017/S0140525X00041157
勒隆，U.和哈赞，O.(2009)。直觉思维vs分析思维:四个视角。数学教育研究，71(3), 263 - 278。
附录-利用贝叶斯定理解决医疗诊断问题
我们注意到，在问题的最初措辞中，没有给出True-Positive的条件概率，并假定为1，这意味着只要患者患病，测试就是阳性的。
迈克·库柏是Technion科技教育部门的博士生，导师是Orit Hazzan;他的研究重点是数据科学教育。Orit Hazzan是Technion科技教育部门的一名教授。主要研究方向为计算机科学、软件工程和数据科学教育。有关更多详细信息，请参见https://orithazzan.net.technion.ac.il/．
没有发现记录