在Wordfence,我们认真对待所有级别的性能。尽管速度是衡量性能的一种方法,但其他指标同样重要。在过去的一年中,我们的威胁情报团队不断改进我们的恶意软件扫描。我们想分享一些我们使用的指标及其对客户的意义。我们还将简要介绍一下新的Jetpack扫描仪,并比较一下。
测量召回率以捕捉全部
Wordfence当前有超过150万个恶意软件样本存档,从后门和外壳程序到SEO垃圾邮件。在任何给定时间,我们都会使用数千个“签名”来检测这些恶意文件。签名是一种用于通过算法匹配恶意软件的模式。我们的签名使用正则表达式,这些正则表达式经过优化以具有高性能并与PHP regex到基于服务器的模式引擎等一系列平台兼容。
我们使用的最重要的指标之一是Recall。简而言之,Recall是我们的签名检测到的已知恶意文件的百分比。
在过去的一年中,我们不断提高了召回率,目前,我们的签名可检测到98%以上的已知恶意内容。我们的威胁情报团队会不断添加和改进这些特征,以发现新出现的威胁。
保持低误报率
确保我们的扫描仪不会将合法软件误认为恶意软件也同样重要。这就是所谓的误报情况。我们有很多方法可以防止我们的客户遭受误报,并且很少有客户会看到。
防止误报始于恶意软件检测签名本身,我们针对数百万个合法Web应用程序代码示例对它们进行了测试,从流行的插件到自制的联系表,一应俱全。
在过去的一年中,我们将恶意软件签名的误报率从1.1%提高到了小于0.03%。也就是说,我们的签名错误地在10,000个已知的正常文件中检测不到3个。
速度仍然很关键
我们测量每个恶意软件检测签名,以确保它不会降低Wordfence扫描程序的速度,将较慢的签名替换为检测更多恶意软件的更快的签名。在过去的一年中,我们的恶意软件检测签名的综合速度提高了70%以上,这意味着Wordfence可以比以往更快地扫描您的站点。
竞争如何衡量
我们最近有机会测试新的Jetpack Scan的性能。与以前作为Jetpack升级程序提供的Vaultpress扫描类似,Jetpack Scan将帮助程序文件上传到您的站点,并将找到的任何文件下载到他们的服务器,以便扫描它们的恶意软件。
对于我们的每个恶意软件检测签名,我们都将由该特定签名检测到的恶意文件放置在wp-content / uploads文件夹中的测试服务器上。运行Jetpack Scan后,我们发现其召回率为11.5%。在测试中,我们使用了超过150万个样本中的2982个恶意软件样本。这意味着Jetpack在我们的测试中总共检测到了2982个恶意软件样本。
值得注意的是,我们的扫描对这些样本的查全率是100%,但这是因为我们知道这些样本。因此,这里存在选择偏差的情况,因为我们选择的是已经检测到的样本。虽然我们收集了150万个恶意软件样本,但我们不知道Jetpack自己的恶意软件样本的规模,也不知道其召回率与自己的恶意软件样本相比如何。他们的藏品可能包含我们不知道的恶意软件,并且他们的扫描仪对恶意软件的检测率极高,而这根本不在我们的监控范围之内。
我们自己的大部分恶意软件数据库都来自我们的网站清理业务,我们在其中分析遭到黑客入侵的网站,并在其中收集危害指标,包括恶意软件样本,恶意IP地址和恶意域。不断遇到现实世界中的入侵的客户不断为我们提供不断出现的威胁的画像。
我们无法测试Jetpack Scan的误报率,因为这将需要扫描大量文件。
结论
在本文中,我们介绍了一些衡量恶意软件扫描性能的方法,性能随时间的变化以及Jetpack Scan的比较方式。知道如何衡量绩效很重要,但这只是第一步。我们在恶意软件检测方面取得的巨大而快速的改进是Wordfence团队共同努力的结果。我们进行了改进,因为我们将其作为优先事项,并且将其作为优先事项,因为我们拥有一支致力于使WordPress更安全的团队。