ACM通信

研究突出了

测量安全实践

作者:Louis F. DeKoven, Audrey Randall, Ariana Mirian, Gautam Akiwate, Ansel Blume, Lawrence K. Saul, Aaron Schulman, Geoffrey M. Voelker, Stefan Savage
ACM通信，2022年9月，第65卷第9期，93-102页
10.1145 / 3547133
评论

鼓励用户采用广泛的技术和行为来降低安全风险。然而，这些“最佳实践”(从使用防病毒产品到保持软件更新)的采用并没有得到很好的理解，它们对安全风险的实际影响也没有得到很好的确定。为了探究这些问题，我们在6个月内对15000台计算机进行了大规模测量。我们使用被动监控来推断和描述各种安全实践的流行情况以及一系列其他潜在的与安全相关的行为。然后，我们探索关键安全行为的差异对现实世界结果的影响程度(例如，设备显示出已被破坏的明确证据)。

回到顶部

1.简介

我们现有的安全模型都依赖于终端用户遵循一系列最佳实践;例如，快速安装安全更新补丁漏洞。在这种现状中隐含着这样一种认识:安全不是当今系统的固有属性，而是做出适当选择的副产品——选择使用什么安全产品，选择如何管理系统软件，选择如何使用(或不使用)Internet上的第三方服务。

然而，这些实践所提供的价值的确立充其量还没有得到充分的检验。首先，我们对实践中采用哪种安全建议的经验数据有限。用户有太多的建议可以选择，Reeder等人最近对专家安全建议的研究强调了这一点，其标题是“保持在线安全的152个简单步骤”，强调了这种安全知识的讽刺和变化。^20.第二个更微妙的问题与这些做法的有效性有关:它们有效吗?在这方面，证据也不足。即使是里德的专家们广泛认同的做法，比如保持软件打补丁，除了修辞上的争论之外，也没有很好的理由。事实上，几乎所有已建立的“安全最佳实践”都具有这种性质，正如Herley所总结的那样，它们的“好处在很大程度上是推测的或没有意义的”。¹⁰

本文试图通过对大量计算机设备的纵向经验测量，在两个问题上取得进展——流行的安全实践的流行程度及其与安全结果的关系。特别地，我们在监测15,291台独立管理的台式/笔记本电脑的上网行为的基础上进行了初步研究。我们识别每个设备的安全性行为:他们正在运行什么软件(例如，防病毒产品，密码管理器等)，软件是如何打补丁的，他们的网络使用情况(例如，机器是否与文件共享网站联系)，等等，以及具体的安全结果(例如，某个特定的机器是否会被破坏)。在这项工作的过程中，我们描述了三个主要贡献:

• 一个大规模的被动特征集合:我们开发和测试一个大型的分类规则字典推断出被监控机器上的软件状态(例如，机器正在使用特定品牌的杀毒软件)。
• 基于结果的分析:我们展示了如何使用安全结果的具体证据(操作安全日志和网络入侵检测警报)来识别数据集中真正受到损害的机器子集(而不仅仅是显示出“危险”行为)。
• 安全实践的流行程度和影响:对于我们的用户群体，我们建立了一系列流行安全实践的流行程度，以及这些行为与安全结果的关系。我们特别探讨了一系列现有的“最佳实践”和“不良行为”与宿主妥协相关的假设。

使用这种方法，我们确定了许多与主机妥协呈正相关的“坏行为”，但发现很少有“最佳实践”表现出强烈的负相关，从而支持它们在提高终端用户安全方面的明确价值。

回到顶部

2.背景

我们的研究远远不是第一个实证探索与用户行为相关的安全风险的研究。虽然篇幅不允许对相关工作进行全面探讨，但我们在此强调过去主要工作的代表性例子。

在这些研究中最早的是Carlinet等人的工作，他们也使用被动网络分析(尽管规模小得多)将机器特征(如操作系统类型)与安全警报联系起来。最近，其他研究人员专门研究了用户的网页浏览习惯如何揭示风险因素，特别是Canali等人的研究⁴反病毒遥测技术(10万用户)和Sharif等人的研究²²对2万名手机用户的分析。两项研究都发现，频繁、夜间和周末的浏览活动与安全风险相关。

另一个重要的研究方向是将不良的软件更新习惯与主机妥协的指标联系起来。卡恩等。¹³在5000个宿主中，使用被动监测来证明感染指标与缺乏定期更新实践之间的正相关。在更大的范围内，Bilge等人。^3.从超过60万的企业主机中使用反病毒日志和遥测技术来追溯此类软件更新实践与后续感染之间的关系。

最后，有大量的文献涉及到将安全建议与用户联系起来的人为因素问题，建议导致行为变化的程度，以及个人自信和文化规范如何驱动这些影响。^{8，18，19，21，23}

回到顶部

3.方法

我们的测量方法使用被动网络流量监测来推断大学宿舍网络中设备的安全性和行为实践。在本节中，我们首先关注数据收集方法的技术方面，然后讨论伴随而来的一些挑战和限制。

3.1.网络流量处理

我们的系统第一阶段以来自校园宿舍网络的4-6 Gbps的原始双向网络流量作为输入，并以每秒数百万条记录的速度输出所处理的网络事件日志。作为该阶段的一部分，校园IP地址是匿名化的，为了跟踪IP地址到设备MAC地址的同步映射，该阶段还收集并兼容匿名化同步动态主机配置协议(DHCP) syslog通信。

3.1.1.住宅网络流量

如图所示，网络流量处理阶段图1在美国，我们的服务器通过两个10G光纤链路从校园Arista交换机接收镜像的网络流量。除了负载平衡之外，该交换机还过滤掉来自流行内容分发网络(cdn)的大量流量(例如，Netflix、YouTube、Akamai等)，从而在我们的服务器上产生4-6 Gbps的流量负载。

图1。系统架构。网络流量首先被处理成日志，它的地址是匿名的。下一个阶段重放网络流量日志以提取进一步的信息，并用(也是匿名的)MAC地址信息标记每个连接。经过装饰的日志被存储在Hive中，在那里它们被标记为安全事件、安全实践特征和行为特征。最后，建立设备模型进行分析。

尽管入侵检测系统(ids)通常用于检测威胁和异常网络行为，但我们使用Zeek将网络流量转换为日志，因为它是可扩展的，在连接关闭(或超时后)时丢弃原始网络流量，并且能够解析大量网络协议。我们还定制Bro输出日志，只记录识别安全实践和行为特征所需的信息。

每隔30分钟，Bro就会通过加密校园IP地址的地址匿名过滤器轮换以前的日志。在处理的这个阶段，日志包含IP地址，而不是MAC地址，因为DHCP流量没有传播到我们的网络优势点。这样匿名化之后，日志将跨DMZ旋转到另一个服务器进行进一步处理(第3.2节)。

3.1.2.DHCP交通

该服务器还运行一个syslog采集器，接收来自居住网络的DHCP服务器转发的DHCP流量。DHCP为加入网络的设备动态地提供IP地址。IP地址(按MAC地址)租给设备一段指定的时间，通常为15分钟。因为我们需要长期跟踪设备的安全性和行为实践，所以我们在后续处理中使用这种ip到mac映射。

与Bro IDS日志类似，每30分钟我们将前面的DHCP流量处理为一个(MAC地址、IP地址、起始时间、租期)元组。然后，使用类似的地址匿名过滤器对整个IP地址和识别出的MAC地址的低24位进行加密。然后，匿名DHCP日志通过DMZ旋转到Log Decoration服务器。

3.2.日志装饰

第二阶段将这些中间网络事件和DHCP日志作为输入，并对它们进行进一步处理，生成与(匿名)设备的MAC地址和域名相关的单一网络事件流。

将流关联到设备。我们的目标是基于长时间网络活动为设备行为建模。虽然我们根据MAC地址识别唯一的设备，但我们收集的网络事件有动态分配的IP地址。因此，我们构建了一个动态IP地址分配缓存，将基于IP的网络事件映射到特定设备的MAC地址。

将流关联到域。当使用网络活动来建模设备的行为时，了解与正在通信的端点设备相关的域名是很有用的(例如，对正在访问的网站类型进行分类)。我们还使用公共后缀列表从每个完全限定域名提取注册域名和顶级域名(TLD)。¹⁵同样，因为我们观察到的网络事件使用IP地址，所以我们必须将IP地址映射到域名。由于域名系统(DNS)名称到IP地址的映射也会随着时间的推移而变化，我们还可以动态跟踪在网络中观察到的DNS解析，以将网络事件映射到涉及的域名。

用户代理。我们使用开源的ua-parser库解析HTTP用户代理字符串。从用户代理字符串中提取浏览器、操作系统(OS)和设备信息。

3.3.特征提取

在我们系统的最后阶段，我们将日志事件存储在Hive数据库中，并对它们进行处理，以提取与设备及其在我们的网络上看到的活动相关的各种软件和网络活动特征。最后一个关键特征是设备的结果:知道设备何时受到损害。我们从校园IDS设备的警报日志中获得设备结果，并将该信息存储在数据库中。

3.3.1.软件功能

为了识别描述设备上应用程序使用的特征，我们制作了自定义网络流量签名来识别应用程序使用(例如，一个特定的点对点客户机)以及各种应用程序行为(例如，软件更新)。为了创建我们的网络签名，我们使用带有Wireshark的虚拟机。然后，我们手动运行各种应用程序并监视机器的网络行为，为每个应用程序派生唯一的签名。幸运的是，大多数与安全风险相关的应用程序在检查更新时经常会显示它们的存在。我们总共为68个不同的应用程序(包括操作系统)开发了网络签名。对于应用程序的子集，我们还能够检测应用程序的版本。了解应用程序版本可以让我们比较细粒度推荐的安全实践(例如，定期更新)与设备折衷之间的关系。

杀毒软件。使用杀毒软件几乎总是被推荐的。我们为12种流行的防病毒产品创建了网络签名，其中7种被公认为2019年提供“最佳保护”。¹⁶

操作系统。我们创建了6个签名来识别设备上运行的操作系统。由于定期更新操作系统是一种流行的推荐安全实践，我们还创建了签名来检测操作系统更新。虽然Windows和Mac OS操作系统的更新是通过内容传递网络(CDN)下载的，在到达我们的系统(第3.1节)之前从网络流量中删除，但我们可以使用来自主机头和HTTP流量中提供的User-Agent字符串的操作系统版本信息来推断已经发生了更新。

应用程序。通过网络和用户代理字符串签名的组合，我们检测到41个应用程序，包括那些通常被认为有风险的应用程序，如Adobe Flash Player、Adobe Reader、Java、Tor、点对点(P2P)应用程序等。我们还检测其他流行的应用程序，包括浏览器，Spotify, iTunes, Outlook, Adobe AIR等。

密码管理器。由于密码管理器经常被推荐以避免密码泄露的附带损害，我们还为9个流行的密码管理器制作了网络签名。⁵

3.3.2.网络活动

我们跟踪各种各样的网络活动特征，以定量地衡量使用的协议(如HTTP和HTTPS)，访问的网站类别(如文件共享服务)，设备最活跃的时间，等等。在此过程中，我们实现了一组类似于Canali等人使用的功能。⁴和谢里夫等人。²²主要关注网页浏览活动。由于我们的数据集还包括HTTP之外的流量，我们可以测量其他行为(例如，远程DNS解析器使用情况、HTTPS流量使用情况等)。

内容分类。我们使用IAB Tech Lab Content Taxonomy对数据集中的每个注册域进行分类。¹²域名分类是由Webshrinker慷慨提供的。²⁵IAB分类法包括404个不同的域类别。²⁴我们使用域分类来测量每个设备在特定类别中访问的惟一域的比例。我们还构建了一个文件托管站点列表和URL缩短服务，我们使用这些服务来识别设备何时访问这些类型的服务。

使用模式。我们还开发了一些行为特性，用来描述每个顶级域名中的HTTP和HTTPS流量的数量，以及发出的网络请求的数量。此外，我们开发了量化定制或非标准行为的特性，例如远程DNS解析器的使用，以及直接向IP地址(而不是域名)发出的HTTP请求的比例。

3.3.3.检测安全事故

为了识别受到损害的设备(即存在安全事件的设备)，我们使用运行Suricata IDS的校园网设备生成的警报。校园安全系统使用深度包检测和一个行业标准的恶意软件规则集来标记显示后入侵行为的设备。¹⁷

3.4.伦理考虑和限制

在相当详细地描述了我们的测量方法之后，我们现在考虑它所带来的风险——对网络用户的隐私和从这些测量中得出的结论的有效性。

保护用户隐私。与被动测量方法相关的最重要的风险是隐私。即使加密连接很流行(例如，通过TLS)，处理原始网络数据也是高度敏感的。从道德的角度来看，我们研究的潜在好处必须与任何侵犯隐私的潜在伤害进行权衡。在解决这个问题和开发隐私风险控制措施的过程中，我们涉及了广泛的独立校园实体，如我们的机构审查委员会(IRB)，校园范围内的网络安全治理委员会，以及我们的网络运营和网络安全人员。这些组织共同为我们的实验提供了必要的批准、方向和指导，并为我们的研究目标提供了强有力的支持。校园安全小组特别感兴趣的是，使用我们的测量方法来了解在他们的网络上运行的设备的安全风险;事实上，在我们的工作过程中，我们已经能够向校园报告各种意想不到的和可疑的活动，以便进一步采取行动。

在操作上，我们通过最小化、匿名化和对数据的谨慎控制来解决隐私问题。首先，一旦处理了每个连接，我们就丢弃原始内容，只记录连接的元数据(例如，指示该设备的特征)X正在更新防病毒产品Y)．因此，绝大多数数据从未被存储。接下来，对于我们确实收集的那些特性，我们使用一种密钥格式保存加密方案，对校园IP和每个MAC地址的最后24位进行匿名化。²因此，我们不能轻易地确定是哪台机器生成了给定的特征，作为一种策略，我们不参与任何试图通过重新识别来做出这种决定的查询。最后，我们使用物理和网络安全控制的组合来限制对监视功能和特性数据的访问，以帮助确保不受我们的策略约束的外部方无法访问数据或我们的收集基础设施。因此，处理原始网络流的服务器位于物理访问受限的安全校园机房中，只接受来自一小组专用校园静态机器的通信，并且需要对任何登录进行多因素身份验证。此外，它的活动本身被记录和监视任何异常访问。我们使用类似的机制来保护经过处理和匿名化的特征数据，尽管这些服务器位于我们的本地机房。根据IRB和校园协议，该特征数据集只对我们组的成员开放，不会(也不可能)进一步共享。

我们方法的局限性。除了隐私风险之外，记录我们的研究的隐性局限性是很重要的，这些局限性是由于我们的研究聚焦于居住校园人群(主要是本科生)，以及使用特定的IDS和规则集来检测安全事件。

这一人群的行为模式，特别是安全方面的行为模式，完全有可能与较年长、较不富裕或较专业的人群不同。这种群体偏差也可能影响一天中的时间效应，以及使用的硬件和软件的种类。此外，我们考虑的安全事件依赖于Suricata IDS、商业网络流量签名和我们大学环境的与安全相关的网络使用需求(例如，名义上要求住宿学生在连接设备前安装杀毒软件)。完全有可能，这些事件检测偏差也会影响与设备损害相关的行为和软件应用程序。因此，如果我们的相同方法应用于其他类型的网络，服务于其他人群，或使用不同的安全事件检测技术，结果可能会有所不同。出于这个原因，我们希望看到我们的测量结果在其他环境中得到复制。

回到顶部

4.数据集

我们分析了2018年6月至2018年12月来自被动网络流量处理系统的6个月数据。在本节中，我们将描述识别用于分析安全风险因素的笔记本电脑和桌面设备的方法，并确定在我们的分析中使用的设备的主要操作系统。最后，我们的数据集包含15,291个设备和表1根据流量来描述我们的数据集。

表1。数据集描述。注意，我们的网络优势点提供来自本地解析器的DNS请求，其中包括来自本文中的设备以及使用大学网络的其他设备的DNS流量。

4.1.设备过滤

该大学允许在其网络上使用异构设备，如个人电脑、手机、打印机、物联网设备等。然而，通常为笔记本电脑和台式电脑提供推荐的安全实践，因此，我们的分析只集中在这类设备上。因此，我们开发了在网络上的许多其他设备中识别笔记本电脑和台式电脑的技术。我们删除容易识别的设备，然后开发启发式筛选剩余的设备。我们删除至少14天不活动的设备，这些设备从不提供主要Web浏览器的User-Agent字符串，这始终显示User-Agent字符串具有移动或物联网操作系统，以及MAC地址中组织唯一标识符(OUI)与物联网供应商匹配的设备。

4.2.确定主导OSs

由于不同的操作系统有不同的风险配置，识别设备使用的操作系统是一个重要的步骤。能够观察设备的网络流量使得操作系统识别成为一项有趣的任务。大多数设备都很简单:使用操作系统更新事件的签名，我们可以立即为79.1%的设备识别一个明确的操作系统。

其余的设备要么没有操作系统更新签名，要么有多个。对于这些设备，我们使用操作系统更新签名、操作系统用户代理字符串和组织唯一标识符(OUI)供应商名称信息的组合来识别设备的主要操作系统(例如，带有虚拟机的主机操作系统，如果绑定iPhone则使用Windows，等等)。我们假设带有Apple OUI供应商名称的设备将使用Mac OS(7.2%)。然后使用从User-Agent字符串中提取的主导操作系统分配操作系统(11.5%)。剩下的340台设备(2.1%)同时更新了Windows和Mac OS。在这些情况下，我们选择Windows作为主要的操作系统，因为有强有力的证据表明设备绑定。¹对于每个启发式，我们通过手动检查设备随机样本的流量配置文件来确认标记。

回到顶部

5.建议实践

专家们广泛推荐了各种各样的安全措施，以帮助用户变得更安全。之前的工作已经探讨了用户暴露在高风险网站方面的一些做法。^4，22由于我们的数据包括实际的安全结果，我们通过探索各种安全实践与用户群体中实际设备妥协的相关性来开始我们的评估:操作系统选择、软件保持最新、访问的网站、网络使用、防病毒使用和软件使用。

5.1.操作系统

不同的操作系统有不同的安全声誉，因此专家们提出“使用不常见的操作系统”的建议也就不足为奇了。^20.部分潜在的原因是，攻击者会把精力花在使用最常见系统的设备上，所以使用不常见的操作系统会使该设备不那么容易成为目标。

在设备妥协方面，就像之前的工作和经验一样，这些建议也适用于我们的用户群体。使用第4.2节描述的OS分类方法，图2显示使用主要操作系统的设备数量，以及在我们的测量期间受到损害的每种设备的数量。大多数设备使用Windows和Mac OS，两者几乎平分。设备之间的基线泄露率是4.5%，但Windows设备比Mac OS设备泄露的可能性高3.9倍。Chrome操作系统的数量很少，只有一台这样的设备受到了威胁。

图2。去除物联网和移动设备后的设备操作系统分类:每种操作系统的设备总数和发生安全事件的设备数量。

当然，在模块化双引导或使用虚拟机的情况下，这种建议只对用户在选择要使用的设备时是可行的，一旦用户已经在使用一个系统，这种建议就没有任何帮助了。

5.2.更新软件

在接受调查的数百名安全专家中，到目前为止最受欢迎的建议是“保持系统和软件的更新”。^20.在这一部分中，我们将探讨我们的人群中设备的操作系统、浏览器和Flash更新特征，以及它们如何与设备折衷相关联。

5.2.1.操作系统

Mac OS。我们首先分析运行Mac OS的设备的更新行为。我们发现有7268个(47.5%)设备被识别为Mac，并且从没有离开网络超过3天。其中2113款(占所有Mac OS设备的29.1%)至少进行了一次更新。图3显示了这些Mac OS设备随时间的更新模式，锚定在苹果在我们的测量期间发布的三次操作系统更新。一般来说，Mac OS用户更新相对较慢，据说是因为Mac OS更新所带来的中断和风险。

图3。Mac OS设备升级到特定版本所需的天数。的版本号x-axis表示发布指定版本更新的日期。

在这些设备中，有57台(2.7%)被泄露。受损设备的平均更新率和中位数分别为16.2天和14.0天，而其清洁设备的平均更新率和中位数分别为18.0天和16.0天。然而，根据曼-惠特尼U检验(p= 0.13)。

窗户对于Windows，我们开发了一个签名来提取“其他软件”更新的知识库(KB)数(例如，Adobe Flash Player等等)。我们的签名检测设备何时下载更新，我们使用微软的更新目录服务确定更新的发布日期。¹⁴

在运行Windows的设备中，我们看到6459台设备(占所有Windows设备的84%)至少进行了一次更新。根据平均值和中位数，无论是否发生安全事故，设备更新的增量都是相似的(分别为2.5天和0天)。简而言之，被入侵的Windows设备的更新行为与未被入侵的设备几乎没有区别。

5.2.2.Web浏览器

浏览器是日常使用的大型复杂软件，与大多数软件一样，这些大型程序也有漏洞。因此，我们将探索受损和干净设备与浏览器更新行为之间的关系。与Mac OS设备类似，我们能够从设备的User-Agent字符串中检测到当前的浏览器版本号。此外，我们只分析每个设备的主要浏览器。虽然用户可能在不同的用例中使用不同的浏览器，但我们确定了一个主要的浏览器，以消除用户应用程序中欺骗浏览器的user - agent字符串中的噪音。

由于浏览器供应商会公布更新可用的日期，所以我们每次在网络上看到设备时，都可以检查设备上的浏览器是否过期。在整个测量周期内，我们计算设备更新的速度。我们分析了主要使用Chrome、Edge、Firefox和Safari的设备的更新。对于连续在网络中的设备(不超过连续三天)，表2显示了在干净的和被破坏的设备之间的浏览器在更新时间上有统计学上的显著差异(Mann Whitney U: Chromep= 4.2 × 10⁴和火狐p= 0.03)。

表2。从发布更新到设备更新的天数。在整个生命周期内，被感染的设备比干净的设备更新得更快。

令人惊讶的是，干净的设备似乎比那些有问题的设备过时的时间更长。在更详细的检查中，我们比较了被入侵设备在被入侵日期之前和之后的更新行为。我们关注使用Chrome的设备，这些设备在妥协事件期间进行了两次更新(其他浏览器没有足够大的样本量)。图4显示设备过时的时间分布，相对于在设备被破坏之前和之后为更新发布浏览器更新的时间。分布的变化表明，妥协后的设备更新更快:使用Chrome的设备在妥协前的平均更新率为18.9天(中值为18.0天)，而在妥协后的平均更新率为14.2天(中值为15.0天)。这种差异是显著的p= 4.8 × 10⁻¹²使用Wilcoxon符号秩检验。

图4。折中前后设备更新Chrome所需的时间分布。

5.2.3.Flash播放器

Adobe Flash Player长期以来一直与安全风险和设备危害联系在一起。典型的建议是完全不使用Flash，但如果你使用，要保持它的最新。我们创建了一个签名来检测Windows设备上的Adobe Flash Player。我们专注于Flash的桌面版本，因为主要的浏览器供应商直接发布Flash插件更新。Adobe在我们的测量期内发布了6个更新，我们使用Adobe的网站来确定每个更新的版本和发布日期。

有些令人惊讶的是，桌面Flash在设备上仍然相当普遍。共有2167台设备(28%的Windows设备)进行了Flash Player更新检查，其中1851台设备正在下载更新。表3显示了更新下载到发布之间的天数的平均值、中位数、P90、P95、P99和方差。更新Flash的设备的妥协率为8.1%，仅略高于所有Windows设备的妥协率(7.9%)(卡方分析)p= 0.057)。在316个我们检测到Flash Player打开，但没有看到更新的设备中，只有15个(4.8%)受到损害。我们将这些结果解释为一个社区成功的故事。广泛的认识、积极的更新和集中的关注已经减轻了桌面Flash作为一个重要的风险因素。

表3。Windows设备上的Flash Player更新。

奇怪的是，受损设备更新Flash的速度略快于干净设备(曼-惠特尼U测试p= 0.025)。我们假设被入侵设备的更新行为在被入侵后会发生变化，因此我们比较了被入侵设备之前和之后的更新模式。在更新Flash的149台设备中，有60台设备(40.3%)在第一次事故前后进行了更新。被入侵的设备在事件发生前更新所需的中位数和平均天数分别为6.5和9.9，在被入侵后的0天和1天(Wilcoxon符号秩检验)p= 1.73 × 10⁻⁷)．与Chrome浏览器的更新行为一样，这些结果表明，在安全事件发生后不久，设备会表现出更好的Flash更新卫生。

5.3.访问的网站

专家建议用户在访问有信誉的网站时要小心。^20.)，事实上，之前的研究发现，用户访问的网站类别可能表明他们接触到的是有风险的网站。^4，22我们对实际被泄露的设备进行了类似的分析，并在很大程度上确认了导致暴露于危险场所的场所类型也与实际泄露有关。

为了对内容设备访问进行分类，我们使用IAB域分类法(第3.3.2节)。我们使用Kolmogorov-Smirnov (KS)检验和Bonferroni校正来比较每种类别中清除和破坏设备访问的不同注册域的比例的ECDFs，并确认它们具有统计学意义(即，p< 0.001)。

表4显示了访问内容类型之间最显著的差异，例如，干净的设备访问更多的商业、广告和营销内容，而受损设备访问更多的游戏、爱好、未分类和非法内容。我们注意到，尽管之前的研究发现暴露的设备访问更多的广告域，²²我们发现相反的行为可以用不同的方法来解释。之前的发现只使用了由静态内容生成的HTTP请求，而我们的网络跟踪包括了所有HTTP请求(包括由JavaScript生成的请求)以及HTTPS通信。

表4。由干净的或损坏的设备访问的内容类型。我们显示了在清洁(Cln.)和损坏(Cmp.)设备类别中访问的注册域的中位数百分比，以及中位数中的delta。

5.4网络使用

一个趋势很简单，被污染的设备比干净的设备产生更多的网络流量。图5显示了清洁设备和损坏设备的平均每周设备Web活动的分布。对于每个设备，我们计算设备每周通过HTTP和HTTPS访问的完全合格域的数量，并通过设备处于活动状态的所有周的平均值进行规范化。直方图中的每个柱状图统计了每周访问给定数量的FQDNs的设备数量，有100个域箱。受影响设备的分布明显转向每周访问更多的站点(其他流量粒度显示了类似的行为)。我们将这一结果解释为只是反映了更多的活动与更大的接触和风险相关(就像汽车事故一样)。

图5。干净设备和损坏设备的平均每周设备Web活动分布。

5.5.使用杀毒软件

使用杀毒软件几乎是一种普遍的建议，事实上，我们校园的住宿学生名义上被要求在他们的设备上安装杀毒软件才能使用网络。我们精心设计了签名来检测十几种反病毒产品的网络活动。针对Windows设备，与未安装防病毒软件的设备(4%)相比，安装了防病毒软件的设备(7%)受到了损害。不过，根据定义，我们人群中大多数被入侵的设备都是那些被恶意软件入侵的设备，而反病毒软件没有捕捉到。

5.6.软件使用

如3.3节所述，我们提取了网络上观察到的设备上使用的软件的各种各样的特征。现在，我们将探讨这些软件功能如何与被破坏的设备相关联。由于泄露取决于所使用的操作系统(Windows设备比Mac OS设备更容易泄露)，我们也不仅在所有设备的上下文中，而且在单个操作系统中探索软件特性。

对于每个相关的软件特性，表5显示设备总数、具有该特性的受影响设备的比例以及不具有该特性的受影响设备的比例。这些结果直接比较了具有特定软件功能的设备和不具有特定软件功能的设备之间的折中率:例如，使用Tor的设备比不使用Tor的设备折中率高出2到3.5倍。为了确保比较具有统计学意义，我们使用带Bonferroni校正的卡方检验，因为这些是二进制分类特征，非常低的p值显示在表5证实他们的意义。

表5所示。跨设备群体的软件特性与妥协相关。每个特征都显示了具有该特征的设备数量、卡方检验的p值、具有和不具有该特征的设备的受损比例。折衷率:所有设备4.5%，Windows设备7.0%，Mac OS设备1.9%。

使用某些特定应用程序的设备与折衷非常密切相关，独立于操作系统和网络活动。平均而言，使用Adobe AIR、P2P文件共享网络、雷鸟和Tor的设备比不使用这些应用程序的设备更容易受到攻击。使用这些应用程序确实会让设备面临更大的风险。雷鸟电子邮件客户端尤其具有讽刺意味;人们使用雷鸟的一个原因是它的PGP集成;⁷然而，雷鸟充斥着报告的漏洞(在CVE详细信息中报告了420个代码执行漏洞⁶)．

回到顶部

6.排名功能重要性

到目前为止，我们的分析主要集中在个人安全实践上。作为最后一步，我们将探索使用统计建模提取的所有特征的相对重要性，以及设备受损前一小时内显示的特征的相对重要性。我们的目标不是训练一个通用的安全事件分类器，而是生成一个对特征的相对重要性进行排序的模型。

6.1.实验装置

逻辑回归是一种使用解释变量预测二元响应变量的统计技术。¹¹我们将响应变量设置为设备是否被破坏，并使用我们从网络中提取的所有设备特征作为解释变量。我们首先将数据分为训练(50%)和检验(50%)，并将解释变量归一化，使其均值和单位方差为零。

为了找到重要的解释变量，我们使用L1逻辑回归，因为我们有大量的解释变量。为了找到最优的正则化参数，我们实现了超参数调优:我们构建200个模型，每个模型都有不同的正则化参数，并确定性能最好的模型。为了确定最佳模型，同时避免选择偏差，对于每个模型，我们执行10倍交叉验证。

为了比较每个特征的重要性，我们实现了一个贪婪删除算法。⁹我们从N用于预测最佳模型识别的安全事件的重要特征(上一段)。为N- 1个特征组合，用超参数调优训练正则化模型。从得到的模型中，我们识别出曲线下面积(AUC)最大的模型(在验证数据上进行预测时)，并在算法的下一次迭代中排除未使用的特征，因为与其他特征组合相比，它对整体AUC的贡献最小。我们重复这个过程，直到我们有了一个使用单一特性的模型(N= 1);剩下的特征对AUC的贡献最大，它本身和其他特征存在的情况下。最后，当特征添加到最终模型中时，我们根据测试AUC的变化来解释结果。

6.2.所有功能

我们对不同的设备分组多次运行贪婪删除算法:所有设备、Windows设备、Mac OS设备和中位数上HTTP流量更多的设备。根据5.4节的观察，我们考虑产生中位数HTTP流量更多的设备。表6显示了每个分组的前四个特征，在对验证和测试数据进行预测时特征的AUC贡献，以及受损和清洁设备的特征的中值(连续)或平均值(分类)的比率。因为我们选择了具有最高验证AUC的特性组合，所以添加一个额外的特性可能会对测试AUC产生较小的负面影响(例如，Mac OS设备的“凌晨2点的HTTP流量”特性)。

表6所示。AUC从用于检测安全事件设备的前四个特征以及中值(连续)或平均值(分类)的比率中获益。> 1(绿色)表示被破坏的设备显示出更多的特性。

我们的结果表明，行为特征，不管设备分组，是最相关的设备妥协。在所有情况下，每组中的第一个特性都与设备访问Web内容的次数或被访问的内容类型有关。拥有Windows防病毒产品(使用Windows的代理，它具有更高的折衷率)，或使用P2P应用程序是任何分组中前四名中仅有的两个软件特性。IE用户代理功能的高排名突出了粗略的特征提取的挑战。应用程序可以利用嵌入式浏览器，通过IE用户代理字符串检查流量，可以发现许多检测实际上来自QQ聊天应用程序和奇虎360安全产品，而不是IE浏览器。我们还发现，在大多数情况下(Mac OS组中的两个功能除外)，被破坏的设备比干净的设备显示出更多的每个功能。

6.3.妥协前一小时

最后，我们使用我们的统计模型来检查安全特性的相对重要性，关注导致设备被破坏的小时:与未被破坏的设备相比，被破坏的设备的行为如何不同，导致被破坏?对于每一个被入侵的设备，我们提取它们在第一次事故前一小时的特征。为了比较行为的差异，我们通过取清洁设备的伪随机样本来构造一个合成控制。具体来说，对于每个被破坏的设备，我们随机选择最多300个清洁设备(1)在同一小时窗口活跃(2)访问至少50个不同的注册域。

表7显示在设备被破坏前一小时识别它们的最重要特征(相对于彼此)。对于我们的设备来说，访问的网站类型(章节5.3)是最显著的特征。平均而言，受感染的设备访问的网站在八个类别中的每一个都更多表7比清洁设备。我们的设备在这些类别中访问的最受欢迎的域确实与类别域很好地对应。对于一些非常通用的标签来说，“电脑游戏”就是游戏网站;“计算机网络”包括isp和IP地理定位服务;“互联网技术”包括SSL认证网站和注册商等。

表7所示。AUC获得了在安全事故发生前一小时检测设备的前八个特征。

回到顶部

7.结论

网络安全的实践隐含地依赖于这样的假设:用户的行为是“安全的”，我们对他们的安全建议是有充分根据的。在本文中，我们试图以经验为基础建立这两个假设:测量关键安全“最佳实践”的流行程度，以及这些行为(和其他行为)与最终安全结果的关联程度。我们认为，这种分析对于使安全实践成为一门严格的学科而不仅仅是一门艺术至关重要。

然而，实现循证安全的目标与提供循证医疗保健一样困难。在任何复杂的系统中，行为和结果之间的关系可能是微妙和模糊的。例如，我们的结果显示，使用Tor匿名化服务的设备明显更有可能被泄露。这是我们数据中的一个事实结果。然而，有一些潜在的解释为什么这种关系出现了:Tor用户可能更喜欢冒险，容易受到攻击，或者他们可能更容易成为攻击目标，或者Tor本身可能存在漏洞。事实上，甚至有可能Tor的使用只是碰巧与其他软件包的使用相关，而这些软件包才是真正的原因。

因此，尽管我们的一些研究结果似乎不仅具有解释力，而且具有推广意义(例如，雷鸟和Adobe AIR的使用，都是历史上流行的漏洞，与主机妥协有显著的相关性)，但其他研究结果需要在更广泛的人群中进行更多的研究(例如，为什么玩家更容易妥协?)那些缺乏简单解释的结果反映了手头任务的复杂性。虽然我们已经开始了这条探索之路，但我们对回答这些问题持乐观态度，因为我们已经证明，研究这些现象的方法工具是现成的。随着我们的社区帮助推进安全决策，从今天的“直觉”实践，到通过收集具体证据获得信息和改进的实践，我们期待着更广泛的这类研究继续向前发展。

回到顶部

致谢

这项工作得到了美国国家科学基金会CNS-1629973和CNS-1705050拨款、美国国土安全部AFRL-FA8750-18-2-0087拨款以及Irwin Mark和Joan Klein Jacobs信息与计算机科学讲座的部分支持。

回到顶部

回到顶部

回到顶部

数字图书馆是由计算机协会出版的。版权所有©2022 ACM, Inc.

---

没有发现记录