ACM通信
减轻数据科学教育中的基础率忽视认知偏差
在我们的博客中数据科学中的基本率忽视认知偏差(发表于2022年7月5日)，我们引入了基准率忽视认知偏差，并论证了它对数据科学学习者对机器学习分类器性能的解释的影响。
具体来说，我们提出了狮子的分类问题：
一个机器学习算法被训练来检测狮子的照片。该算法在检测狮子的照片时不会出错，但其他动物的照片(没有狮子的照片)有5%被检测出是狮子的照片。该算法在狮子照片率为1:1000的数据集上执行。如果一张照片被检测出是狮子，那么它确实是狮子的概率是多少?
我们用忽略认知偏差的基本比率来解释回答这个问题的学习者的高百分比(61%)。根据贝叶斯定理，我们还计算了医学诊断问题(Casscells et al.， 1978)，这类似于狮子的分类问题。然而，这种解决方法需要学习者理解条件概率，这是一个非常复杂的高级主题，不是所有学习者都能牢牢掌握的。
现在出现了两个相关的教学问题:机器学习教育者如何帮助学习者应对基础率忽略认知偏差?有没有可能绕过贝叶斯定理来解决这些问题?在本博客中，我们试图基于从认知心理学领域借来的教学知识来回答这些问题。
Casscells等人(1978)也观察到同样高比例的错误答案，他们发现在他们的研究中只有18%的参与者正确地解决了医学诊断问题(参见我们的2022年7月5日博客)．在这个实验的后续研究中，Cosmides和Tooby(1996)发现，当同样的问题用频率来表述时，答对的参与者比例增加到56%。这是他们用频率来表述医疗诊断问题的公式:
每1000个美国人中就有一个人患有x疾病。现在已经发明了一种检测方法来检测一个人何时患有x疾病。每次对患有这种疾病的人进行检测，结果都是阳性的(也就是说，“真阳性”率为100%)。但有时，当对一个完全健康的人进行测试时，结果也会呈阳性。具体来说，每1000名完全健康的人中有50人检测出这种疾病呈阳性(即“假阳性”率为5%)。假设我们随机抽取了1000名美国人作为样本。他们是抽签选出来的。进行抽签的人对这些人的健康状况一无所知。根据上面的信息，平均来说，有多少人在疾病检测中呈阳性，实际上会患病?＿＿＿＿＿＿＿＿没找到的___________"．
为了检查Cosmides和Tooby的发现(56%)是否也被展示在机器学习的背景下，我们提出了一个处理频率(自然数)的新问题-番茄疾病的分类问题-这类似于狮子的分类问题和医学诊断问题。具体内容如下:
一种机器学习算法被训练来检测番茄灌木丛照片中的叶片疾病。该算法可以完美地检测出患病的灌木，但100个健康灌木中也有5个被检测出患病。每1000棵灌木中就有1棵受到这种疾病的影响。如果检测到一株灌木患病，那么它真的患病的概率是多少?
在第二阶段的研究中提出2022年7月5日博客，我们提出狮子的分类问题概率和番茄疾病的分类问题与153个数据科学学习者频率。结果如下图所示，其中绿色代表正确答案，红色代表所有类型的错误答案(错误答案的细分与这里的讨论无关，因此忽略):
我们可以看到58%的数据科学学习者回答了番茄病害分类问题这一结果与Cosmides和Tooby的结果非常相似，56%的受访者回答了他们的频率版本医学诊断问题正确。
此外，我们还可以看到，在第二阶段的参与者，在两个不同的背景下(狮子照片和番茄疾病)，得到了频率和概率公式(当然，是类似的)，表现出了更高的成功率回答狮子的分类问题(概率;50%)与正确回答第一阶段问卷的参与者(39%)相比，第一阶段问卷只给出了概率公式。也就是说，这个问题是用频率来表达的(自然数番茄病害分类问题在我们的例子中)桥接学习者的直觉和分析思维，并帮助他们得到一个正确的解析解的公式与概率(狮子照片分类问题在我们的例子中)。
那么，如何回答本博客开头提出的两个教学问题呢?具体来说，机器学习教育者如何帮助学习者应对基础率忽略认知偏差?在解决这类问题时，是否有可能绕过贝叶斯定理?根据我们的教学经验，我们建议a)使用频率(即自然数)来表述这类问题，b)使用混淆矩阵计算这类问题的答案。
混淆矩阵以矩阵的形式表示分类器的正确和错误结果，其行表示真正的标签及其列表示预测标签。混淆矩阵对角线上的数字表示正确分类对象的数量，对角线以外的数字表示错误分类对象的数量，当预测标签与真实标签不同时。
下表表示的混淆矩阵狮子的分类问题对于具有1001张图像的数据库。根据问题中给出的条件，其中一张图片中有一头狮子，而其他1000张没有。使用这种表示狮子的分类问题，其解很容易计算，即1/(50+1)= ~2%。
可以看出，通过使用频率(自然数)而不是概率(百分比)，求解狮子的分类问题(和类似的问题)使用混淆矩阵既减轻了基础率忽视认知偏差，又绕过了使用贝叶斯定理的需要。
总之，我们强调了三种工具，它们可以在数据科学教育的背景下减轻忽略认知偏差的基准率:
- 在介绍用概率表示的问题之前，先向学生介绍用频率表示的问题;
- 教授学生混淆矩阵;
- 作为一项关于机器学习算法性能测量的课前准备活动，要求学生用两种公式回答问题(例如，带有概率的狮子分类问题和带有频率的番茄疾病分类问题)。根据我们的教学经验，这个课前活动将向学生反映他们自己的偏见，并可能促进他们理解在应用领域的现实环境中实现机器学习算法时需要仔细考虑的重要性和关键作用。
参考文献
Casscells, W.， Schoenberger, A.和Graboys, T. B.(1978)。医生对临床化验结果的解释。新英格兰医学杂志，299(18), 999 - 1001。https://doi.org/10.1056/NEJM197811022991808
科斯米德斯和图比(1996)。人类到底是优秀的直觉统计学家吗?对文献中关于不确定性下判断的一些结论的反思。认知，58(1), 1 - 73。
埃杰尔斯博，L. R.和勒龙，U.(2014)。重新审视医学诊断问题:协调直觉思维和分析思维。在概率思想(页215 - 237)。施普林格。
迈克·库柏是Technion科技教育系的博士生，导师是Orit Hazzan。Mike的研究重点是数据科学教育。Orit Hazzan是Technion科技教育学院的教授。她的研究重点是计算机科学、软件工程和数据科学教育。有关其他详细信息，请参见https://orithazzan.net.technion.ac.il/．
没有发现记录