ACM通信
贡献的文章
对COVID-19大流行快速采取数字应对措施
图片来源:Legocamera / Shutterstock
2019冠状病毒病大流行可以说是我们这个时代对人类和全球经济的最大威胁。16韩国第一例确诊病例发生在2020年1月，2月中旬在大邱爆发疫情。然而，韩国迅速有效地控制了疫情，成为其他国家的榜样。3.
关键的见解
虽然许多政策和举措为韩国成功应对冠状病毒大流行做出了贡献，但数字技术是这些努力的核心。12作为应对新冠肺炎的3T战略(检测、追踪、治疗)的一部分，韩国部署了追踪感染者接触者并在几分钟内传播信息的软件系统。192019冠状病毒病接触者追踪系统(CCTS)于2020年3月首次向韩国疾病控制与预防中心(KCDC)发布，该中心是负责促进公共卫生的政府机构，然后于2020年4月初在全国推出。2020年2月29日的每日新增确诊病例为909例，4月29日至5月5日期间的日均新增确诊病例为7.42例，得益于该系统的大力减少。根据哥伦比亚大学最近的一项研究，13韩国和美国同一天都确诊了首例冠状病毒感染病例。但截至2021年3月，韩国的确诊病例总数不到1万例，死亡率比美国低50倍7
有条件现金援助计划帮助公共卫生官员做出知情决定，并帮助公众了解曾接触过冠状病毒的高风险地区。CCTS提供的信息帮助市民避开热点，并相应地计划户外活动。与许多国家和地区采用的接触者追踪移动应用程序(如Aarogya Setu、Coro-na-Warn-App、COVIDSafe、PrivateKit、smittestop、StopCOVID和trace - together.com)相比，有条件现金转移服务最重要的优势在于，它不要求公民在其移动设备上安装应用程序。2，5几乎所有的联系人追踪移动应用程序都面临着用户使用率低的问题，这使得追踪数据不完整，没有用处。14例如，犹他州推出了一款名为“健康在一起”(Healthy Together)的病毒警报应用程序，追踪感染病毒的居民，并帮助通知他们的联系人可能接触到的病毒。然而，犹他州最终关闭了该应用程序，因为只有大约200人使用它。11相反，CCTS直接从移动通信公司和信用卡公司收集信息，不需要用户进行任何操作，可以追踪到所有患者。
CCTS的发展需要多个公共和私营部门参与者的密切合作，包括中央和地方政府、无线运营商、信用卡公司、软件公司、研究机构和大学。多个涉众和时间压力带来的复杂性挑战了项目的成功。值得注意的是，CCTS项目团队仅花了一个月的时间就开发和部署了该系统。2019冠状病毒病将我们带到了未知的领域，从全球经验中汲取教训至关重要。6
本文旨在找出关键的成功因素，使韩国能够提供快速的数字应对前所未有的挑战。我们使用基于扎根理论方法的归纳定性研究方法，从实地访谈和档案数据(见这项研究是如何完成的)。这项研究提高了我们对有效开发软件解决方案以遏制大流行的理解，并为需要到位的技术、管理和政策促进因素提供了见解。
系统开发过程中
项目团队使用敏捷Scrum方法开发CCTS。系统的第一个原型仅在一周内就构建完成，它帮助团队根据用户反馈定义具体的系统需求。在接下来的三周时间里，我们进行了几次原型迭代和每周sprint的用户反馈。在使用样本数据进行测试并验证安全性后，该系统将发布给目标用户。考虑到项目的复杂性，包括多个组织、高度敏感的数据和潜在的法律问题，整个过程从想法的产生到系统的推出只花了一个月的时间，这是非常短的。该系统取代了此前人工收集和传播数据的流程，以追踪新冠肺炎确诊患者。在最初的版本发布之后，开发团队使用每周的sprint来继续改进系统，以响应用户的反馈。
开发有条件现金援助项目以帮助控制COVID-19的想法来自一个意想不到的来源。2020年2月，韩国新冠肺炎确诊病例激增，主要原因是大邱突然爆发疫情。当时，政府资助的智慧城市项目(旨在建设模范智慧城市的多年期项目)即将在大邱和始兴市开展新开发的智慧城市系统的试点研究。由于大邱的新冠疫情，试验研究最终被无限期推迟。面对这一障碍，智慧城市项目团队就如何帮助控制COVID-19进行了头脑风暴。项目经理建议开发一个系统，通过重新利用项目的资源和技术能力来追踪确诊病例。“这是一种‘啊哈!’的瞬间，我意识到我们为智慧城市项目开发的系统的一些元素可以重用到接触追踪系统中，”项目经理说。
这一想法得到了韩国疾病控制中心政策制定者的积极响应。当时，疾病管理本部在收集确诊患者的追踪资料时采用了效率低下的人工方式。对于每一个新确认的事例，保健院都要通过公文往来，得到警察局和信用金融协会的批准，然后向移动通信公司和信用卡公司要求提供相关资料。如果得到批准，这些企业将以非标准化格式通过电子邮件发送给保健中心。一旦接收到数据，就会用电子表格软件手动清理和分析。因此，收集、分析和提供追踪数据的整个过程太慢，无法跟上迅速增加的COVID-19病例，因为它需要许多人为干预和接触点。政府官员知道，旧的手工流程无法用于追踪确诊患者，因为它太慢，而且无法扩展。
来自公共和私营部门的几个组织参与了有条件现金援助计划的制定。该系统由保健院负责，由政府出资的研究机关韩国电子技术研究院(KETI)负责。三大移动运营商、三家软件公司和一所大学联手开发了该系统的不同核心组件。此外，另有16家公司支持该项目。团队的活力是积极和合作的，部分原因是这些组织一直在智慧城市项目上合作。所有CCTS的开发人员和利益攸关方都有一种紧迫感，这导致了在资金、人员配备和技术方面的快速决策，以及前所未有的快速审计和安全认证。通过重新分配智慧城市项目预算，项目预算很快得到了保障。此外，项目团队成员分享了社会责任感，理解系统的社会意义和影响。一位团队成员说:“我经常在这个项目上一天工作超过15个小时，甚至周末也不例外。”“但讽刺的是，对我来说，更多的工作产生更多的能量。 I did not feel tired at all. I came to realize how significant my work [was] for my country."
团队受益于现有的智慧城市数据中心平台和配套技术。数据枢纽平台为实现城市数据的无缝、实时流动提供了技术基础;数据分析;支持数据驱动决策;以及建立一个安全的数据生态系统。该平台成熟、可靠的数据安全模块缩短了政府机构进行的冗长系统审计和认证过程。
随着新冠肺炎病例的激增，该系统需要在测试后立即向用户发布。服务对象包括保健院职员、地方自治团体、警察厅、移动通信公司、信用卡公司等。由于高度紧急，虽然分发了一份用户手册，但无法提供正式的用户培训。因此，用户在使用该系统时经历了陡峭的学习曲线。在发布系统后的最初几周，项目团队收到并回复了来自用户的许多问题。然而，团队明白系统的成功依赖于他们迅速解决这些问题的能力。
发展像CCTS这样的系统的一个潜在障碍是信息隐私。4，152015年韩国发生中东呼吸综合征(MERS)疫情时，政府认识到收集和披露传染病关键信息的重要性。它修订了《传染病防治法》和《传染病防治法实施令》，允许收集和有条件地披露有关传染病患者信息。这些信息包括位置、信用卡支付、访问医疗机构、出入境和闭路电视录像(CCTV)画面。尽管从隐私角度来看，这些修订后的法律受到批评，但事实证明，它们是部署软件解决方案以控制COVID-19的重要推动因素。“当你开发一个处理公众个人信息的系统时，隐私是一个艰巨的挑战，”一位无线运营商经理表示。“(但)如果没有新的法律，我们就无法(提供)CCTS所需的位置数据。”
该团队在确保数据和系统安全方面投入了大量精力，因为他们明白即使是单个数据泄露事件也会对CCTS的可持续性产生影响。值得注意的是，即使有法律的规定和安全控制措施的实施，部分患者出于隐私考虑，拒绝与政府部门合作。事实上，为了控制大流行病可以在多大程度上收集私人信息是未来需要解决的一个关键问题。
COVID-19接触者追踪系统概述
CCTS是在智慧城市数据枢纽平台上构建的一个应用程序。该平台由几个模块和标准化api组成，可以组合起来支持不同的应用程序，包括公共停车、能源管理、公共安全和环境监测(参见图1)．的中心连接模块使平台能够从外部系统收集数据，并提供将数据转换为标准化数据模型的能力。的数据核心模块将数据存储在数据库中，并提供数据管理功能，如实时数据流处理、数据质量管理、数据生命周期管理和数据使用日志记录。的分析模块提取、转换和加载数据，以生成满足分析师需求的数据，同时提供分析和机器学习功能。的语义模块通过添加基于语义本体的元数据来连接数据。的服务模块管理为用户量身定制的各种数据服务，支持数据市场。的安全及私隐课程通过身份管理、认证、授权和区块链功能确保数据安全。的监控与管理模块管理平台的云基础设施，并提供集成的平台监控服务，包括平台仪表板。
图1。智慧城市数据枢纽平台的模块化架构。
CCTS取代了以前收集、分析和披露新确诊COVID-19患者相关数据的主要手工流程。图2显示了系统的数据流和工作过程。如果出现新冠肺炎确诊病例，疾病管理本部会将相关信息录入CCTS。然后，流行病调查人员使用CCTS请求移动位置和信用卡使用数据。这一请求将分别发送到警察局和信贷金融协会进行批准。然后，移动运营商和信用卡公司从自己服务器上的数据库检索所请求的数据，并使用标准数据格式和api将其上传到CCTS。然后在平台的数据核心模块中转换、存储和维护数据，CCTS通过api访问该模块。
图2。CCTS的数据流和工作流程。
由于很多人都有信用卡和手机，该系统能够追踪到大多数感染者。韩国人平均拥有1.9张信用卡，大约65%的时间用于购买超过10美元的商品。韩国成年人的手机普及率为100%，其中智能手机占95%。18个人的移动位置数据和信用卡使用数据由韩国的身份证号码进行匹配和汇总，每个居民都是唯一的。当信用卡使用数据不可用时，只能使用移动位置数据进行联系追踪。表1描述了移动位置和信用卡使用的简化数据模型(作者可根据要求提供完整的数据模型)。
表1。数据模型。
移动位置数据来自患者移动电话和移动基站之间的信号。1韩国拥有世界上最先进的移动计算基础设施之一。中国拥有广泛的4G网络覆盖，并于2019年4月推出了全球首个5G服务。5G网络的初始部署一直集中在3.4 ghz -3.7 ghz频段基站。2020年，韩国约90%的人口覆盖了5G网络，10由于以下两个重要技术，它可以提供比4G网络更精确的用户位置数据。首先，5G使用超密集网络(UDN)部署，室外基站之间的距离只有几十米。在UDN中，移动设备的位置可以通过使用设备和附近基站之间的距离的三时延或使用使用设备和附近基站之间距离的概率密度函数的统计处理方法精确估计。第二，大规模多输入多输出(MIMO)技术将5G基站配备数十根或更多天线，通过基于角度的定位方法实现移动设备的精确定位。
然而，技术问题，如信号干扰和中断，使一些移动定位数据不准确。移动电话可能无法与最近的基站通信，而可能与远程基站通信。以前，这种类型的错误是由人工检测和删除的工人，这是非常耗时的。CCTS使用了一种机器学习算法，可以在没有任何人工干预的情况下立即检测和纠正这些数据的不准确性。该算法基于空间速度模型，根据移动站数据连续计算手机用户的移动速度。该算法使用之前的数据集进行训练，以可靠地检测和排除错误的位置数据。然后，系统使用基于密度的聚类算法进行聚类分析，进一步识别与主聚类数据在空间和时间上分离的错误位置数据。在去除这些错误后，系统会在地图上用时间戳和确诊患者移动路径上每个点的持续时间标记结果。疫情调查人员与患者再次确认追踪结果，并在必要时收集更多追踪数据，然后通过各种渠道(包括短信和地方政府网站)向公众公布最终的接触者追踪信息。
CCTS不仅提供确诊病例的跟踪信息，还提供两个额外的分析结果:热点和一个确诊病例网络。热点地区是指极易发生大规模感染的地区。该系统可通过对累计确诊病例的时空叠加来识别热点。热点信息有助于政府将资源部署到正确的社区，有助于公民避免在高风险地区进行社交活动。该系统还可以提供COVID-19患者感染途径的可视化展示。例如，确诊病例网络的信息图显示了谁感染了谁和在哪里感染了谁。这些信息为了解病毒如何在某些人群和地点之间传播提供了有用的见解。图3显示了三种类型的数据分析结果。CCTS采用两层安全措施。访问VPN(虚拟专用网)需要一次性密码，系统网站需要额外的凭据。用户账号由保健院严格控制。存储在数据平台中的所有数据都经过加密，云基础设施配备了最新的安全措施。
图3。数据分析的结果。
有条件现金援助的好处
有条件现金援助计划大幅缩短了收集、分析和传播新确诊COVID-19病例追踪数据所需的时间，从超过24小时缩短至不到10分钟。此外，由于算法消除了人为错误，分析结果的质量更高。通过将数据和文件数字化，并使用经过验证的安全控制措施，该系统与以前的手工处理过程相比，减少了数据泄露的可能性。该系统的可扩展性也大大提高，可以同时追踪许多确诊病例。该系统追踪了2020年5月至2020年8月期间所有确诊病例的90.2%。17该系统的主要优点总结在表2．
表2。有条件现金援助项目的好处。
关键成功因素
尽管有条件现金援助计划最终对遏制新冠肺炎疫情的贡献有多大还有待观察，但迄今为止的结果表明，它显然对韩国应对大流行产生了积极影响。我们对访谈和档案数据的分析表明，以下七个因素对快速和成功地交付有条件现金援助计划至关重要。我们发现，如果考虑到以下因素，软件从业者可以增加成功开发系统的可能性，如CCTS:
先进的移动计算基础设施。为公众创造价值的软件系统往往依赖于全国性的技术基础设施。就CCTS而言，韩国先进的移动计算环境是该系统必不可少的基础。如前所述，4G/5G的高覆盖率加上智能手机的高采纳率使收集几乎所有covid -19感染患者的位置信息成为可能。在大流行病或流行病反复发生的时代，一个国家的数字基础设施已成为迅速和全面应对的关键先决条件。
数据平台。CCTS不是从零开始创建的;它建立在现有的智慧城市数据平台上。该平台提供了技术框架和api，以促进新数据源(如移动位置数据和信用卡使用数据)的连接和集成，并采用经过验证和认证的网络安全措施。通过利用现有的数据平台，项目团队能够加快新系统的开发。此外，由于可靠的移动网络和信用卡的普遍使用，移动位置数据和信用卡使用数据的质量很高。综合数据平台和高质量数据的可用性极大地促进了CCTS的发展。
突破性见解。CCTS不是自上而下的管理方式的结果，也不是由一个新的、专门的团队发起的。相反，这个想法源于监督一个智慧城市项目的经理，CCTS项目由现有的智慧城市团队承担。在新智能城市系统的试点研究中，遇到了意料之外的障碍，团队开始集思广思，寻找替代方案。项目经理认识到，开发接触者追踪系统所需的许多关键要素已经具备，或者可以通过通过智慧城市项目建立的公私伙伴关系提供。基于这一突破性见解，智慧城市团队重新分配了资源，并动员合作组织开发了有条件现金援助项目。
专用的软件开发人员。CCTS发展过程中的所有重要参与者都明白形势的严重性和加快系统交付的重要性。从2015年中东呼吸综合征(MERS)疫情的经验中，我们认识到，如果新病毒爆发，不仅经济会受到严重影响，整个社会也会受到严重影响。这种共同的危机感和紧迫感促使软件开发人员将系统开发作为首要任务，长时间工作，甚至在周末也要按时完成工作。团队中的每个人都愿意牺牲个人生活，长时间工作，牺牲自己的优先事项，以实现控制大流行的更大目标。这样的奉献和奉献创造了积极的团队动力，导致了系统开发的成功。
不断与用户沟通。由于控制新冠疫情需要时间，项目组在没有进行充分培训的情况下，就匆忙向用户部署了该系统。因此，在系统采用的早期阶段，许多用户经常感到困惑，不能正确地使用系统。对于团队来说，不断地与用户沟通以接收反馈、回答问题和修复错误是至关重要的。该团队使用多种媒体，包括电子邮件、即时消息、文本、电话和视频电话与用户沟通。通过一次费力地解决一个问题，团队赢得了用户的信任，并确定了系统中需要改进的领域。用户的反馈和输入引导团队开始一个新的项目来升级系统。如果没有与用户的持续沟通，系统的使用率就会很低。
有效的公私合作伙伴关系。CCTS的发展需要来自公共和私营部门的许多参与者的合作，包括中央政府、地方政府、研究机构、无线运营商、信用卡公司、软件公司和大学。这与公私伙伴关系在解决全球卫生问题方面日益重要的情况是一致的。9没有所有部门之间的有效合作，就不可能有这个系统。由于价值观、工作流程、技能和奖励制度的不同，来自不同组织文化的软件开发人员在一起工作并不容易。然而，之前的工作经验帮助我们开了一个好头，并建立了合作的基本规则，因为大多数参与组织都曾在之前的智慧城市项目中合作过。中央政府在促进合作方面发挥了重要作用，它迅速消除了预算障碍，使项目能够立即获得资金。软件公司带来了机器学习技术。每个参与组织都专注于通过利用他们的专业知识和优势为系统的成功做出贡献，而不是参与一场无益的地盘之争。
法律框架。韩国政府在经历中东呼吸综合征(MERS)疫情后，修改了有关传染病应对的法律，从而得以收集传染病患者的信息。修正案还允许政府根据疫情的严重程度披露数据。没有这样的法律，就不可能充分发挥有条件现金援助项目的全部功能。从软件开发人员的角度来看，对他们来说，理解法律允许和禁止什么是至关重要的。例如，软件开发人员向政府安全官员咨询，以充分了解法律要求采取哪些技术和程序措施来确保数据隐私和安全。即使是软件开发人员对法律的一个小小的误解，也会导致一个引发公众抵制的系统。
结论
我们将韩国CCTS发展案例中的发现转化为以下对软件开发人员、项目经理和政策制定者的见解。在应用这些见解时应该谨慎，因为它们可能需要针对系统开发和实现的不同上下文和环境进行修改。同样重要的是要明白，滥用诸如CCTS这样的系统可能会引起与隐私、安全和自由有关的担忧。因此，必须采取技术和政策措施，最大限度地减少这种担忧，并就个人数据的使用达成社会协议。
软件开发人员:
- 在抗击2019冠状病毒病(COVID-19)等全球大流行病时，可以有效利用数字技术控制疫情。软件开发人员有很大的机会对公众健康和福祉产生积极影响。那些在科技公司拥有高级技能的人可以为这种数字系统的开发做出贡献。无线运营商、信用卡公司、移动支付公司和医疗保健提供商可以以标准化格式提供高质量、可靠的数据，用于追踪受感染患者。
- 当在巨大的时间压力下开发关键任务系统时，软件开发人员可能需要以快速的速度完成任务。这可能意味着要做出个人牺牲、加班和周末工作。
- 软件开发人员了解相关法规是很重要的，特别是当它们与数据隐私和安全相关时。这些知识帮助他们从法律的角度准确地评估新系统的可行性，并开发一个没有不合规问题的系统。此外，他们应该努力开发保护用户隐私的技术解决方案。谷歌与苹果合作开发的曝光通知系统就是一个很好的例子。
项目经理:
- 项目经理面临着前所未有的挑战，需要跳出思维定势，产生突破性的想法。在重新利用和结合现有资源和技术能力方面，它们应具有智谋和创造性，以发展新的解决办法。他们还应该能够协调和协调来自不同组织的项目参与者，并与包括政策制定者和公民在内的各种涉众有效地工作。
- 应对全球流行病的系统的成功实施可能为参与的项目团队和公司创造新的机会。随着全球对其数字专业知识和能力的需求增加，项目经理可以在进入以前难以进入的全球市场方面发挥重要作用。项目经理可以通过为公众做好工作来为公司的底线做出贡献。
为决策者:
- 为大流行病制定数字解决方案需要公共和私营部门的多个组织的参与。不同部门之间的有效合作不是一朝一夕就能实现的。政府官员应设法通过各种项目和倡议建立和培育公私伙伴关系。当他们应对下一个需要强有力的公私伙伴关系的全球挑战时，这些努力将获得回报。
- 能够迅速应对大流行病或其他全球挑战的软件系统很可能建立在现有技术和数据基础设施的基础上。其中包括先进的移动网络、智能手机的高普及率、数字平台和高质量的数据。决策者应努力支持先进数字基础设施和生态系统的发展，以促进应急响应系统的部署。
- 像CCTS这样使用敏感数据的系统可以受到法律的启用或约束。法律往往跟不上技术的变化。政策制定者应持续监测技术发展并更新现行法律。
参考文献
1.Alsaeedy, A.A.和Chong, E.利用现有的蜂窝无线网络功能检测有传播COVID-19风险的地区。IEEE医学和生物工程开放杂志(2020)。
2.Chamola, V.， Hassija, V.， Gupta, V.和Guizani, M.对COVID-19大流行以及物联网、无人机、人工智能、区块链和5G在管理其影响方面的作用的全面综述。IEEE访问地球物理学报，8(2020)，90225-90265。
3.M.费舍尔，C.韩国是如何使曲线变平的。《纽约时报》, 23(2020)。
4.Hakak, S.， Khan, W.Z, Imran, M.， Choo, K-K.R。，and Shoaib, M. Have you been a victim of COVID-19-related Cyber incidents? Survey, taxonomy, and mitigation strategies.IEEE访问(2020)。
5.Huang, Y, Sun, M，和Sui, Y.数字接触追踪如何减缓东亚的COVID-19。哈佛商业评论15(2020)。
6.杨森，M.和范德沃特，H.危机应对中的敏捷和适应性治理:COVID-19大流行的教训。国际信息管理j(2020), 102180。
7.约翰霍普金斯大学冠状病毒资源中心。死亡率分析。https://coronavirus.jhu.edu/data/mortality
8.刘勇，史鑫，何晟，史卓。5G网络中前瞻性定位架构与技术。IEEE网络31， 6(2017)， 115-121。
9.Martin, M.H.和Halachmi, A.全球卫生中的公私伙伴关系:解决公共问责、风险管理和治理问题。公共行政的季度(2012), 189 - 237。
10.韩国成为全球5G的领导者。电脑每周(2020年6月8日)。https://www.computerweekly.com/news/252484299/South-Korea-takes-global-5G-leadership．
11.奥维德s病毒追踪失败的教训《纽约时报》(2020年9月3日)。
12.这项技术可能是我们抗击COVID-19和未来疫情的最大希望。时间(2020年3月19日)。
13.Redlener, I.， Sachs, J.， Hansen, S.和Hupert, N.哥伦比亚大学地球研究所美国国家防灾中心可避免的COVID-19死亡人数为13万至21万，并在不断增加(2020年)。
14.法国的联系人追踪应用程序采用缓慢。它不是唯一的一家。《华尔街日报》(2020年6月23日);https://www.wsj.com/articles/french-contact-tracing-app-struggles-with-slow-adoption-it-isnt-alone-11592928266．
15.手机追踪可以帮助阻止冠状病毒的传播。隐私是代价吗?科学(2020)。
16.斯台普斯，j，一种新的威胁。哈佛商业评论84， 5(2006)， 20-22。
17.关于为快速应对大流行而开发数据驱动的流行病学调查支持系统的中期报告。国家信息社会署(2020年)。
附加条:这项研究是如何进行的
本研究采用归纳定性方法，并结合实地个案研究。具体而言，它使用了扎根理论方法，为研究和发现CCTS的见解和关键成功因素提供了框架。作者对参与CCTS开发和实施项目的组织的关键人员进行了半结构化、面对面和虚拟访谈。受访者包括项目经理;项目组成员2人;赞助和监督项目的政府官员;来自无线运营商的经理;信用卡公司经理;CCTS使用者分别是疾病管理本部、地方自治团体、警察厅等3人。访谈问题涵盖了系统开发和实施过程、技术和组织挑战、影响项目结果的关键因素以及CCTS的收益和风险。 Interviews averaged 75 minutes and were audio-recorded with interviewee permission. The authors also collected relevant project documents created from the inception of the project, including meeting minutes, system-design documents, progress reports, the project website, and email messages exchanged among project team members.
我们通过迭代、交互、定性的方法分析数据。这些采访被转录成文字。我们将文本开放编码，将其分解为有意义的部分，并确定重要的重复主题。然后我们对片段进行轴向编码，以发现主题之间的关系。生成的代码被分层组织，用于码本分析。分层代码包含三个高阶变量:“I”表示输入，“P”表示过程，“O”表示结果。子码表示与高阶码相关的更具体的变量。例如，P.COM.U是一个代码，表示涉及与用户(U)通信(COM)的过程(P)。我们还用“P”表示积极，“N”表示消极，“O”表示没有效果来表示结果的方向。表3显示代码本的缩写版本。整个代码本可根据要求从相应作者处获得。
表3。缩写速率。
使用这种分层码本，我们对文本进行独立编码，以发现一个变量对另一个变量的影响的属性。例如,P.COM。U→O.Q.P确定了一个陈述，即与用户(U)通信(COM)的过程(P)被归因于对结果变量(O)系统质量(Q)的积极影响(P)。编码器间的可靠性为83.6%，用同意的数量除以同意加上不同意的数量来衡量。我们通过协商一致解决分歧。然后，我们围绕类似的因果归因对编码文本片段进行分组，并通过多次迭代共同解释和识别突出的主题和趋势。我们用同样的方法分析了其他项目文档，比如会议记录、进度报告和技术文章，以验证从访谈数据中得到的结果，并产生额外的见解。
©2022 0001 - 0782/22/1 ACM
允许为个人或课堂使用部分或全部作品制作数字或硬拷贝，但不得为盈利或商业利益而复制或分发，且副本在首页上附有本通知和完整的引用。除ACM外，本作品的其他组件的版权必须受到尊重。允许有信用的文摘。以其他方式复制、重新发布、在服务器上发布或重新分发到列表，都需要事先获得特定的许可和/或费用。请求发布的权限permissions@acm.org传真(212)869-0481。
数字图书馆是由计算机协会出版的。版权所有©2022 ACM, Inc.
没有发现记录