ACM通信

贡献的文章

数字双胞胎和人工智能:作为个性化学习模型的支柱

作者:Marco Furini, Ombretta Gaggi, Silvia Mirri, Manuela Montangero, Elvira Pelle, Francesco Poggi, Catia Prandi
ACM通信，2022年4月，第65卷第4期，第98-104页
10.1145 / 3478281
评论

现代教育系统还没有真正发展到足以满足现代学生的需求。²¹难怪从大学辍学的比例相当高(美国40%，欧洲10%)^7，9)．多年来，大学生的概况发生了变化。过去的学生主要是全日制的，而今天的学生面临的挑战包括工作承诺、家庭责任、经济限制、身体障碍，以及不能充分吸引学生或帮助他们理解核心概念的学习模式。¹¹有人可能会认为这个问题只与那些没有完成学业的人有关，但这种观点是短视的。今天教育制度的缺陷将影响明天社会的福祉。

回到顶部

关键的见解

为了改善目前的学习模式，世界各地的学术机构一致认为，现在是改善教育世界的时候了，要从传统的学习方式——学习是标准化的，只有那些能进入教育大楼的人才能获得——转向一种新的范式，使学生能够个性化他们的教育途径，这样他们就可以按照自己的节奏进步。^19，21未来的学习模式必须解决关键问题，如降低辍学率，支持有身心障碍的学生，整合现场和在线学生，以及个性化学习体验。

数字双胞胎——学生的数字副本——以及人工智能(AI)将成为未来学习模式的创新、可访问性和个性化的支柱。¹⁹好消息是，我们今天就可以建立这些模型:人工智能算法近年来取得了巨大进步，科技在教育中的应用也大幅增加。事实上，虽然COVID-19大流行一方面严重阻碍了世界各地许多人的学习过程，但另一方面也极大地推动了技术在教室(例如，录音和流媒体设施)和普通大学空间(如图书馆、自修室和走廊)中的使用(例如，热像仪和物联网传感器等物联网设备，以监测室内占用率和人员流动)。

但是，为什么现在的教育体系很难养活今天的大学生呢?上课应该是世界上最简单的事情，对大多数学生来说的确如此。然而，对一些人来说，这种活动带来了严重的问题。让我们介绍一下鲍勃，一个兼职学生的工作不允许他参加所有的现场讲座，以及爱丽丝，一个有心理和身体障碍的学生，她的情况迫使她错过一些现场讲座。作为新生，他们很有动力，但很快他们就意识到教育系统太标准化了:教学节奏与他们自己的学习节奏不匹配。因此，他们不再去上课，他们拖延考试的学习，迟早，他们会辍学。

Alice和Bob需要一个可访问的、个性化的、包容性的学习模式，支持他们的学习活动，并提供关于他们需要学习的教育材料的建议，以便按照自己的节奏学习。例如，假设每一场现场讲座也通过流媒体技术进行直播，转化为吸引人的教育材料(例如，视频药丸、讲义)，并在下一场讲座之前迅速发布。鲍勃可以通过在最适合他的时间和地点使用这些材料来跟上教学节奏。同样地，爱丽丝可以观看她错过的讲座，并可以利用迷人的教育材料进一步钻研主题。在这两种情况下，他们都可以跟上课程进度，随时都可以参加现场课程。其他任何学生也会从这种个性化的方法中受益。然而，在线课程是不够的，这正是使用数字双胞胎发挥作用的地方。

数字双胞胎是一个物理实体的数字副本，它是通过组合来自不同来源的数据而创建的。例如，Bob的数字双胞胎可以用与他的学术背景和学习活动(例如，过去的考试、高中成绩或学习时间)、他在校园的行为(例如，图书馆活动或课堂时间)和他的数字教育材料消费(例如，视频讲座、讲义、幻灯片和他消费的书籍以及他花在这些材料上的时间)相关的数据创建。对数字双胞胎的聪明分析可能会为它们的实体、现实世界的实体提供重要的建议和预测。²事实上，它可以识别知识和差距，然后提出教育材料来填补这些差距。

---

今天的学生面临的挑战包括工作承诺、家庭责任、经济限制、身体障碍，以及不能充分参与或帮助他们理解核心概念的学习模式。

---

数字双胞胎和人工智能对于构建个性化学习模式至关重要。事实上，鲍勃的数字双胞胎最终会比他更了解鲍勃自己。在某种程度上，数字双胞胎的建议和预测能力可能会改变教育世界。例如，假设Bob有四个月的时间学习“视频通信”模块。他想取得优异的成绩。多亏了对他的数字孪生兄弟的分析，基于机器学习技术的算法可能会建议鲍勃花更多的时间在现场课程上，他应该学习哪些讲义，看哪些视频讲座，关注哪些主题，花多少时间学习，坐在教室的前排，等等。此外，它还可以预测Bob的考试成绩，如果他有不及格的风险，甚至有辍学的风险，就可以通知他。

这个例子听起来可能像科幻小说，但基于数字双胞胎和人工智能的个性化已经出现在许多其他环境中，⁵在教育系统中也没有真正的理由不使用个性化。中所示的基础结构、数据和表示层可以构建个性化学习模型图1．基础设施层面必须包括多媒体和物联网硬件，以记录大学空间内的活动。数据层必须嵌入智能策略，以创建学生的数字双胞胎(使用现场、在线和离线活动，如讲义上的学习时间、视频讲座的观看时间、图书馆和课堂时间，以及对过去考试的评价)和智能方法，以生产丰富的数字教育材料，从现场课程和智能算法开始分析数字双胞胎，并个性化学习体验。表示层必须包括可访问的和个性化的接口和服务。

图1。个性化学习模型可以建立在基础结构、数据和表示层之上。每一层的挑战都可以通过不同的方法和来自不同背景的研究人员的合作来解决。

回到顶部

多媒体和物联网基础设施

多媒体和物联网基础设施必须记录在大学空间内进行的活动，必须使用现成的技术来控制成本(成本效益)，必须在不需要完全重新设计的情况下支持扩展(可伸缩性)，并必须符合隐私法规。此外，它们必须应对两个主要挑战:

挑战#1:让教授们更舒服的基础设施。从前，这里有粉笔和黑板。今天，教师的工作受到多种技术的限制，从麦克风(有线或无线)到投影仪(VGA或HDMI)，电脑(个人或课堂使用)和相机(静态或动态)。在构建一个整合了现场和在线大学生的个性化学习模式时，第一个挑战是使用现成的技术让老师更舒服。事实上，教育工作者应该可以自由地使用幻灯片、触摸屏或老式的白色/黑板来讲课。现场和在线学生之间的整合应该尽可能透明。例如，课堂的节奏不应该因为有问题的现场学生需要传递一个麦克风，这样在线学生才能听到他们的提问而减慢。在这种情况下，可能会出现其他潜在的问题，比如设备丢失或损坏，更不用说共享一个麦克风可能会违反一些卫生安全规则。

这个挑战很容易解决。近年来，除了大规模在线开放课程(MOOCs)的流行，视频讲座也成为了传播知识和改善学习过程的可行手段。^12，20.当然，在2019冠状病毒病大流行期间，它们是与被迫在家学习的学生保持联系的唯一手段。因此，世界各地的许多大学已经配备了制作视频讲座的教室。不幸的是，如果一间教室没有配备录音技术，现成的设备就足以构建一个多媒体基础设施——例如，一个对着老师的摄像机，一个投影仪和显示幻灯片的白屏，一个给老师用的麦克风，以及一个混合不同信号的音频/视频混合器。如果课程必须直播，流媒体服务即使不是免费的，也会以相对最低的成本提供。

最近，直播课程的广泛使用突显了同时应对现场和在线学生的困难。事实上，老师、现场学生和在线学生之间糟糕的口头和视觉互动可能对学习体验有害⁸以及讲座的效果。再一次，现成的技术可以提供很大的帮助。图2假设一个理想的教室可能会提供什么:一个视频墙(右侧图2)展示远程连接的学生，以改善面对面的学习体验，而天花板麦克风的使用避免了教师对着麦克风重复问题，或必须在现场的学生之间共享麦克风。

图2。一个假想的教室有一个视频墙，以改善面对面的学习体验和环境天花板麦克风，让现场的学生与老师和在线学生互动。

挑战#2:监控大学空间内学生的基础设施。为了监测和了解学生在大学空间内的教育活动中的行为(例如，在教室参加现场讲座和在实验室做练习，在图书馆阅读，与朋友在休息室学习，或在校园自助餐厅放松)，有必要开发现有基础设施的潜力(例如，智能建筑设施，Wi-Fi网络，或监控和热成像相机)，以及安装一些现成的智能技术。

例如，博洛尼亚大学已经在切塞纳校区使用物联网设备和tinyML策略来监测教室占用率，并为残疾学生提供可访问的室内路径和定向服务。¹⁵类似地，最近在世界各地的许多大学教室、自习室、图书馆和走廊安装了监控和热像仪等特定硬件，以检测体温或测量社交距离和人流。¹⁶

采用俭朴的方法，这些数据可能会转化为有关学生行为的宝贵信息。^3.例如，室内位置和定位技术和相关设备(如三角测量、BLE传感器和热像仪)可能提供关于Bob在教室中存在的信息，以确定他在数学模块课上是否坐在后排。热成像摄像机可能有助于获取教室占用率和教室内人员之间距离的信息，而Wi-Fi被动跟踪和BLE传感器可能被利用来收集关于爱丽丝和她的小组项目伙伴在自习室完成作业的时间的信息。不用说，所有的研究工作都必须遵守隐私条例。

回到顶部

生成丰富的教育材料的算法

视频讲座通常是用固定摄像机对准老师的脸制作的，或者是用简单的幻灯片录制的。仅仅通过录制课堂课程而制作的未经编辑的视频讲座往往太长、太无聊:鲍勃在一整天的工作之后，晚上看这样的材料肯定会睡着的。事实上，电影制作理论告诉我们，一个长而固定的镜头(即超过20秒)看起来并不愉快，有必要不断改变电影的框架以保持观众的兴趣。²

挑战#3:定义一个吸引人的视频讲座格式。让我们假设摄像机正对着一位正在用幻灯片讲课的老师。在线学生应该看什么视频?分割屏幕是否足够?幻灯片比老师更重要吗?我们需要解决这些问题，因为图形布局极大地影响了学习体验。

最佳情况下，视频讲座将由真人导演制作;但是，由于预算原因，可能无法采取这种办法。相反，更划算的机器学习技术可以用来设计一个虚拟导演，用最少的人力就能制作出引人入胜的视频讲座(可以改变框架，放大和缩小)。²³例如，机器学习可以分析音频/视频(A/V)特征，如语音和手势，以确定何时教师提要是重要的(例如，当涉及一件轶事时)或何时幻灯片提要是重要的(例如，在解释幻灯片上的一个概念时)。类似地，机器学习可以用于校准/改进图片设置(对于没有必要专业知识的教师来说，这是一项复杂的任务)，以及在后期制作中消除识别的空白(例如，长时间沉默的视频片段)。

挑战#4:为按需使用生产丰富的内容。假设Bob意识到他需要复习一些特定的主题来准备考试或学习即将到来的课程。他使用类似录像机的控制来浏览整个视频讲座，但他感觉像是在大海捞针。假设爱丽丝有听力障碍:她会喜欢讲座的字幕和文本讲义。此外，他们都很乐意有一个视频总结的讲座，以满足他们的个人承诺。

我们不能要求教师从零开始编写这样的内容。因此，应该从录制的视频讲座开始，致力于这类内容的自动化生产研究。^13，22结合机器学习分析底层A/V特征和数字双胞胎，呈现出无限的可能性:视频片段和摘要、音频转录、文本格式的讲义以及针对听力或视觉障碍人士的A/V材料只是一些丰富和个性化内容的例子，这些内容可以通过机器学习和数字双胞胎的结合自动生成，而不需要教师花费时间或思想来制作这些材料。

回到顶部

个性化的学习经验

现在假设Bob在各种学习活动中遇到了麻烦。他不去上课了，因为他不明白老师在讲什么。他试图用视频讲座和课本来填补空白，但没有奏效。当他的健身应用提醒他做15个俯卧撑和10分钟慢跑，以便在下个月减掉2公斤时，他很沮丧，正在考虑退出。看着这条信息，他在想，如果有一个应用程序可以建议他学习什么和什么时候学习，那会有多大的帮助。这样的应用程序可以提供高度个性化的建议，比如，“鲍勃，你应该看下面的课程”，“鲍勃，你应该上这节课”，“鲍勃，你应该在看这节课之前学习这些讲义”，以及预测，比如“鲍勃，小心点，你的学习时间太短了，不能通过考试。”

发生在鲍勃身上的事情也发生在许多大学生身上，因为目前的学习模式没有考虑到学生个体的需求——个人的限制、先前的知识、心理-感觉-运动障碍——会使学习过程复杂化。例如，近54%的美国辍学学生表示，他们无法平衡工作和学习。⁷

个性化的学习过程目前被认为是最有希望彻底改变教育世界的方法。^6，17因此，研究工作应该致力于个性化学习体验，这是一个涉及数字双胞胎和人工智能的途径。请注意，所有的研究工作都必须考虑隐私法规。

挑战#5:创建学生的数字双胞胎。可以利用学生在校园内的行为、学术背景、学习活动以及数字教育材料的消费等相关数据创建学生的数字副本(图3)．这类数据——例如，学生上了哪些课，上了多长时间，坐在哪里，在图书馆或观看在线讲座花了多长时间，使用了什么类型的数字材料——是学生数字双胞胎的重要组成部分⁴并可通过各种技术自动采集。诸如背景信息或关于离线活动的数据——例如，学术背景、可能的残疾、书本或笔记上的学习时间等——可以由学生手动输入。

图3。大学生的数字双胞胎可以使用与学生在校园里的行为、学术背景和学习活动以及使用数字教育材料有关的数据来创建。

挑战# 6。设计个性化学习的推荐算法。为了让学生的数字双胞胎能够提供高度个性化的建议和预测，研究工作应该致力于使用经典的大数据分析和人工智能技术(如分类、聚类、神经网络和深度学习)设计推荐算法。拥有一个数字双胞胎类似于拥有一个虚拟助理;在教育中，它表现为一个实体，可以帮助刺激学生的学习过程。教育以外的其他应用程序已经利用数字双胞胎技术和推荐算法，取得了非常令人印象深刻的结果:音乐流媒体服务知道我们喜欢什么音乐，视频流媒体服务知道我们的电视偏好，并建议下一部剧看，健身应用比我们更了解我们的身体，并建议量身定制的锻炼计划，等等。

回到顶部

设计可访问和个性化的界面和服务

一个个性化的学习体验应该有一个可访问的和可用的界面，考虑到个人用户的需求。通用设计方法¹⁸是开发这种接口最有希望的候选者;它将用户置于设计活动的中心，并在早期确定他们的需求。虽然通用设计的概念并不新颖，但由于文化和成本的原因，它很少被应用，但这种方法可以使学生受益，在更好的结果和更大的满意度方面，以及提供这些服务的教师和大学。

研究工作应该集中于设计支持不同类型学生的界面，当课程同时提供给现场和在线学生时支持教师，并满足当前隐私法规的要求——例如欧盟的GDPR。

挑战#7:如何支持不同的用户类型。为了了解学生的需求并定义最合适的功能和交互，通用设计方法建议使用个人访谈和焦点小组来定义系统需求和必须存储在数字双胞胎中的数据。这项任务是多学科的，需要计算机科学家、认知心理学家和统计学家的参与，他们将定义访谈和焦点小组的主题，并分析结果，以了解学生的需求。这些知识和见解将用于构建接口。这一过程不应局限于视觉界面，还应支持有特殊需求的学生——例如，设计基于人工智能技术的聊天机器人或对话界面。界面还应该确保以一种吸引人的方式呈现教育内容，激励学生用与他们的学术背景和学习活动相关的信息填充他们的教育简介——例如，在书上或笔记上学习时间。关于游戏化和激励机制的研究很可能为如何吸引和激励学生输入数据提供有趣的见解。¹⁴

挑战#8:当现场和在线大学生同时上课时，如何支持教师?在未来几年，现场和在线学生同时出现很可能成为新常态，因此有必要为教师提供模拟的面对面体验。这不是一项微不足道的任务，因为大量在线学生不允许使用简单的电脑屏幕。一个视频墙是必要的，但不是充分的。事实上，研究工作必须致力于理解在视频墙中显示在线学生的有效方法(例如，数字双胞胎数据可以用来显示应该更多参与学习过程的学生)和允许交互的有效方法(例如，在线学生如何以及何时可以插入提问或回答问题)。再次强调，这是一项多学科研究，需要计算机科学家与认知心理学家合作。

回到顶部

个性化学习的好处是什么?

基于人工智能和数字双胞胎的个性化学习模式有可能产生深远的社会影响。它们可以降低学生辍学率，提高学生的成功程度，提高在线和现场学生的融合程度，更好地支持混合教学模式的教师，并加强对残疾学生的支持和融入。总之，这些模式可以提高学习过程和教学过程的整体质量。

同时，个性化学习模式将能够实现联合国大会制定的可持续发展目标(SDGs)。²¹特别地，这类模型满足:

• 可持续发展目标4:素质教育——确保包容和公平的素质教育，为所有人提供大学学习机会。
• 目标10:减少不平等——减少现场和在线学生之间的不平等，限制残疾学生面临的数字障碍。

最后，个性化的学习模式将产生深刻的经济影响，因为一个国家的进步与其公民的教育水平密切相关。通过将辍学率降到最低，并为学生提供能够提高他们学业成就的知识，个性化学习模式将为整个社区和个人带来经济效益。这将提高社会的全球教育和文化水平，并提高专业人员的质量和数量。

总之，有人可能会说，个性化学习还远远没有成为主流，因为它需要大量的前期投资，但这是一种非常短视的观点，也是维持现状的借口。事实上，一方面，数字双胞胎和人工智能——提出的构建个性化学习的支柱——在许多其他领域已经成为现实，而且是建立在将持续多年的基础设施之上的。另一方面，现状导致的学生辍学给美国大学造成了每年约165亿美元的学费损失，⁷更不用说辍学的社会成本了。因此，现在是时候踩下创新的加速器了，就像工业4.0计划所做的那样，因为个性化学习模式的社会和经济效益是巨大的。

数字观看作者在独家报道中讨论这项工作通信视频。//www.eqigeno.com/videos/digital-twins-and-ai

回到顶部

回到顶部

数字图书馆是由计算机协会出版的。版权所有©2022 ACM, Inc.

---

没有发现记录