ACM通信
实施可执行考试的10个技巧
当前的COVID-19大流行要求在线考试，并为整合创新教学和评估方法提供了有趣的机会。我们没有根据这种变化的测试环境调整我们的笔试(即要求学生提交扫描的笔试)，而是允许Technion计算机科学导论课程的学生在考试期间使用他们整个学期都在使用的集成开发环境(IDE)。这篇博客描述了我们使用这种评估方法的经验和我们对其使用的建议。我们称之为评估法一个可执行的考试，因为它使学生提交的代码执行考试时由学生负责，考试后由教师负责。
这篇文章基于我们在2020年冬季学期获得的经验，我们使用了一个可执行的考试。这门课程由以色列理工学院(Technion - Israel Institute of Technology)开设，约有1200名计算机科学和电气工程新生参加，由四位讲师授课，其中一位是本文的第一作者雅埃尔·埃雷兹(Yael Erez)。
为了了解学生对这种评价方式变化的感受，在考试前后向学生发放了问卷。此外，对该课程的教学人员进行了访谈。对使用这些工具收集的定性和定量数据的分析不仅揭示了学生和工作人员对可执行考试的态度，而且还强调了应该考虑和克服的潜在挑战。
在这篇文章中，我们针对讲师提供了10个关于如何管理可执行考试的建议。这些提示根据它们应该被考虑的时间分为三类:(a)教学提示，(b)技术提示，(c)心理提示。显然，这些分类在某种程度上是重叠的，因此适合多个类别的提示会被放在更直观的类别中。图1展示了课程时间表上的十个技巧。
第一类-教学技巧
教学技巧解决与教学相关的问题，他们的目的是确保可执行的考试是公平的，它与课程目标相关，学生的答案很好地代表了他们的课程相关的知识。
提示1。决定评分政策
由于考试是一个可执行的考试，考虑使用预先准备好的专用工具自动评估学生的代码是合理的。在本文描述的案例中，本学期用来给学生作业评分的自动工具被用来评估学生在本学期期末可执行考试中的答案。该工具检查编译并运行自动测试;然而，这些能力并不总是课程教学人员希望在学生的知识中评估的主要主题。例如，众所周知，有时编码是这样的不是编译的应该比代码的分级高是编译。因此，在本博客中描述的情况下，决定除了自动测试之外，手动检查所有的考试，特别是对于那些没有编译的考试，检查它们没有编译的原因。从实践的角度来看，这意味着评估者必须根据每个课程目标决定在学生的代码中评估什么以及如何评估。应该问各种各样的问题，例如:应该如何对未编译的代码进行分级?如何对非正常终止的程序(例如堆栈溢出)进行分级?我们要评分代码风格，等等。总而言之，应该避免实现易于检查的策略(例如基于编译的或自动测试)，应该仔细检查适当的分级策略。简单的(自动的)选项可能会向学生发送关于软件开发过程中什么是重要的不需要的信息。
提示2。确保可执行的试题符合计算机考试的格式
由于可执行的考试允许学生使用IDE，一些主要用于笔试的题目并不适合这种形式，因为它们显得微不足道。这类问题的例子有:这个程序的输出是什么?和编译错误是什么?与此同时，有些问题更适合于可执行的考试而不是笔试。例如，学生可以看到一个“有bug”的计算机程序，以及它的文档，并被要求调试它。有了IDE，给学生几个测试用例来检查他们的调试过程似乎是很自然的。另一个例子是，给学生一个缺少部分的程序，并描述程序应该做什么，让他们添加缺少的部分。
提示3。减少多余的认知负荷
额外的认知负荷指的是信息或任务呈现给学习者的方式(Sweller, 1998)。这和下一个技巧提出了在可执行考试中减少额外认知负荷的方法。
为了减少学生的额外认知负荷(换句话说，与考试内容无关的条件)，重要的是(a)确保考试格式，就IDE的工作习惯而言，与学生在学期中习惯使用的考试格式相似;例如，当他们提交家庭作业时，(b)将考试问题尽可能地调整为这种格式(参见技巧#2)。另一个例子是自动检查器:如果自动检查器被用来检查作业，那么在考试期间让学生可以使用它，这样他们就可以检查答案了。IDE的一些功能和自动检查器可以被禁用，但为了减少学生的认知负荷，重要的是要避免添加新的和不熟悉的功能，这可能会分散他们的注意力。
技巧4。减少额外的认知负荷
在IDE中工作要求程序员在开始进行编程任务之前专门花时间准备环境。当然，这样的准备可能会增加额外的认知负荷。为了在可执行考试的情况下减少这种认知负荷，并在考试期间节省学生宝贵的时间，我们建议为学生提供一个框架文件，以便与涉及代码编写的问题一起使用。这样的骨架文件可以包括声明、函数签名、主函数甚至一些简单的测试。因为这样的文件使学生能够专注于在课程中学到的主要思想，它们显然可以帮助减少无关的和不必要的认知负荷。当然，尽管学生可以更改框架文件并添加他们自己的测试，但在这里描述的案例中，大多数学生使用并提交了提供给他们的主要功能。
技巧5。进行一个强制性的模拟考试
大约在考试前四周，我们进行了一次模拟考试，结果证明这对学生和教师都至关重要。重要的是要使这种模拟成为强制性的，并确保所有的学生都参与其中。
模拟考试能使学生对可执行考试的本质和过程获得一些经验，而大多数学生可能是第一次经历这些。在模拟考试中，学生可以体验到真实考试中可能出现的各种技术问题。例如，一些学生发现他们不知道如何使用提供的框架文件，因为他们以前从来没有机会使用这些文件。多亏了模拟，他们在真正的考试前准备得更好，也更放松了。
此外，教师收到了所有的书面模拟考试，并可以测试检查程序。在模拟之后，教学人员提高了对可能的陷阱的理解，所以他们可以特别注意确保学生在真正的考试中不会掉进这些陷阱(例如，使用Zip文件而不提取它们，或提交错误的文件)。模拟还揭示了教学人员没有意识到的技术问题，使他们能够在真正的考试中对这些问题提出所需的解决方案。
第2类-技术提示
的技术建议描述顺利、无故障的可执行考试所需的技术措施。
提示6。为严重的计算机故障做好准备
由于可执行考试是一种基于计算机的考试，长期的计算机问题会发生，而且是毁灭性的。我们建议提前与学生协调替代程序，以防此类故障发生。例如，在这篇文章中描述的案例中，(a)一个Zoom会议的链接，在整个考试过程中都有一位讲师在场，以处理这些问题，(b)学生被要求准备好手机上的热点作为互联网连接备份，(c)发布了提交考试的替代电子邮件(而不是Moodle, Technion的LMS)。所有这些程序都是至关重要的，事实上，在考试中使用。
提示7。断开计算机与因特网的连接
大多数学生知道不道德的行为，比如从别人那里得到答案，会伤害到他们，所以他们避免这样的行为。然而，如果Web是可用的，从外部资源获取答案的诱惑就会增加。因此，为了避免抄袭和增强信任，我们建议断开学生电脑与互联网的连接。如果考试是在校园进行的，可以使用计算机实验室。如果考试是在学生的个人电脑上写的，就像疫情期间的情况一样，我们建议使用专用的环境。在COVID-19大流行期间，许多这样的环境被开发、升级或适应新的学习情况(例如，exam.net而且gradescope.com）.
提示8。为学生提供检查工具，在考试期间检查他们的代码
尽管最好让学生在考试期间使用IDE来编写和检查他们的代码，但也可能提供其他工具供考试期间使用。在这里描述的情况下，学生可以在考试中使用他们在学期中使用的工具，在提交作业之前写和检查作业(参见提示#3)。此工具检查编译并运行自动测试，但在测试期间，自动测试功能被禁用，仅启用编译检查。这样做有两个原因:第一，由于自动化测试是在线的，它们无法处理这么多学生同时进行测试;第二，我们不希望学生分心，花不必要的时间在考试上。学生们在考试前被通知了这些决定。
第三类——心理技巧
的心理范畴与情绪和行为有关。当考试形式(基于计算机的和可执行的)对学生来说是新的时候，这是特别相关的。我们的数据显示，无论是教师还是学生，对于从笔试到可执行考试形式的转变都有着复杂的情绪。接下来的两个建议是关于如何处理这些情绪的。
提示9。预料到、接受并尊重对考试形式改变的抵制
第一次进行基于计算机的可执行考试时，很可能会受到课程教员和学生的抵制。这样的反应是自然的，也是可以理解的。员工们关心的是，在做了多年收效良好的其他事情之后，要做一些不一样的事情;他们也可能会表达对剽窃的担忧。学生们可能会担心这次考试会更难，并声称前几年他们通常用来备考的可执行的试题没有了。然而，这样的反应不应该使变革领导者气馁，因为它们在变革过程中非常常见(见科特的领导变革模型(1996))。应对这种抵制声音的一种方法是与所有利益攸关方保持开放沟通;在我们的案例中，是学生和教师。技巧10解决了这方面的问题。
提示10。与课程工作人员和学生保持持续的沟通
与课程工作人员和学生的持续沟通是至关重要的。尽管这种沟通显然在任何时候都很重要，不仅仅是在将考试形式改为可执行的考试时，当这种改变影响到许多学生在他们学习的开始时，这种沟通尤其重要。阐明可执行考试的重要性和积极方面的沟通能够实现信息交换和意见共享，减少焦虑，并增强信任。
总结
这篇文章为实施基于计算机的可执行考试提供了10个技巧。根据应该考虑的时间，这些提示如图1所示。正如您所看到的，在考试之前应该考虑的大多数技巧都是教学方面的，这突出了一个事实，即可执行的考试首先是一种教学行为，它为应该执行的技术和心理行为创建了基础设施，以确保可执行考试的顺利执行。一旦这个基础设施设置好，教师和学生都可以集中精力在重要的事情上:公平地评估学生对课程内容的了解程度。
传说
教学技巧 |
技术建议 |
心理技巧 |
提示1。决定分级策略和检查工具 提示2。确保考试符合可执行格式 技巧3和4。减轻认知负荷I和II 技巧5。管理强制模拟 |
||
提示6。准备操作说明，以防出现故障 |
提示7。远离网络 提示8。为学生提供一个IDE和检查工具 |
|
提示9。预期、接受并尊重阻力 提示10。与课程工作人员和学生保持持续的沟通 |
||
考试前 |
在考试期间 |
考完试后, |
图1:时间轴上的10个技巧
虽然明显存在其他技巧和类别，但通过对数据的检查，我们发现这10个技巧是最重要的。我们邀请读者分享他们关于可执行考试的经验和想法，无论他们是否正在实施这种基于计算机的可执行考试或计划在未来。
参考文献
约翰·p·科特(1996)。主要变化．马萨诸塞州波士顿，哈佛商学院出版社，1996年。打印。
溶胀剂,j .(1998)。解决问题时的认知负荷:对学习的影响．认知科学(12): 257 - 285。
雅艾尔Erez他是Technion计算机科学学院的讲师，也是ORT布劳德电气工程系的工作人员。她目前正在Technion的科学和技术教育部门学习，以获得教师证书。Orit Hazzan是Technion科技教育学院的教授。她的研究重点是计算机科学、软件工程和数据科学教育。有关其他详细信息，请参见https://orithazzan.net.technion.ac.il/．
没有发现记录