32、杀毒软件与Web应用测试全解析

杀毒软件与Web应用测试全解析

1. 杀毒软件的误报与漏报测试

1.1 误报与漏报的概念

杀毒软件有时会产生误报。误报分为两种情况：
- 误报阳性（False Positive）：合法文件被错误标记为感染。例如，桌面用户无法接受一天内频繁弹出病毒通知，系统管理员也会迅速放弃将大量合法邮件标记为感染的产品。
- 误报阴性（False Negative）：受感染的文件被错误确认为干净。这可能由至少两个原因导致：一是扫描器数据库中缺乏病毒定义；二是即使扫描器包含特定病毒的正确签名或其他检测机制，仍可能因检测引擎的漏洞（如无效的文件处理或模式匹配问题）而无法识别病毒。

1.2 误报阳性的处理

为避免误报阳性，ClamAV的病毒分析师会进行特殊的全自动签名测试。具体流程如下：
1. 拥有一个大型的干净文件集合，包含数百GB的各种可执行文件、库和流行操作系统及软件的其他组件，且这些文件都已确认安全。
2. 当作者准备发布新签名时，将其上传到特殊界面并点击按钮。
3. 系统自动使用这些签名扫描集合，确保不产生任何检测结果。若有检测结果，作者会收到通知，发布过程立即停止。
4. 为提高测试速度，将扫描过程分布在多台机器上，每台机器存储部分集合。当所有节点都报告无检测结果时，测试成功。

1.3 误报阴性的处理

通常，扫描器未检测到某些恶意软件意味着没有对应的签名，此时需要更新数据库以覆盖特定威胁。为避免ClamAV出现误报阴性问题，会对恶意软件集合进行定期回归测试：
1. 使用相同的签名数据库，运行两个不同版本的扫描器扫描相同的文件集合。
2. 比较新代码和旧版本的检测结果，特别关注新代码未检测到某些恶意软件的情况。

2. 可用性和用户接受度测试

2.1 测试的重要性

开源项目的优势在于其庞大的用户社区。ClamAV的用户不仅提供最新的恶意软件样本，还提供有用的建议、验证开发想法，并作为优秀的黑盒测试人员。可用性和用户接受度测试是推出最终产品前的最后一步，原因如下：
- 软件作者对自己的作品往往不够客观和批判。
- 他们无法以用户期望的所有方式对应用程序进行实证测试。用户测试可以展示新功能和更改在各种环境和应用程序中是否按预期工作。

2.2 意见调查

项目有时需要进行可能引起争议的更改。对于ClamAV，由于主要用于与其他解决方案和第三方软件集成，对用户界面、API、报告格式等用户可见机制的更改通常不受欢迎。为减少投诉，通常会通过邮件列表进行讨论和意见调查：
1. 公开讨论即将进行的重大更改。
2. 与社区讨论以验证想法，确保大多数感兴趣的人接受更改。若不接受，可了解需要改进或修改的地方。

2.3 发布候选版本

ClamAV通常用于关键任务应用程序，用户期望高稳定性，因此一般不发布即将发布版本的alpha或beta版本。但在新的主要版本发布前，会发布发布候选版本：
1. 仅在代码通过所有重要测试且无致命错误时发布。
2. 呼吁没有专用测试环境且无法在生产环境中运行预发布版本的用户下载、编译并运行 make check ，以发现新版本在哪些平台或设置上无法编译或通过内部测试。

以下是ClamAV测试流程的mermaid流程图：

graph LR
    A[准备新签名] --> B[上传到特殊界面]
    B --> C[系统自动扫描干净文件集合]
    C -->|有检测结果| D[通知作者，停止发布]
    C -->|无检测结果| E[测试成功，可发布]
    F[定期回归测试] --> G[运行两个版本扫描相同文件集合]
    G --> H[比较检测结果]
    H -->|有差异| I[关注新代码未检测到的恶意软件]
    J[意见调查] --> K[公开讨论重大更改]
    K --> L[与社区讨论验证想法]
    L -->|多数接受| M[可进行更改]
    L -->|多数不接受| N[改进或修改]
    O[发布候选版本] --> P[代码通过重要测试且无致命错误]
    P --> Q[呼吁用户下载、编译并运行make check]
    Q --> R[发现问题并解决]

3. Windmill的Web应用测试

3.1 Windmill简介

动态Web应用的兴起改变了技术行业，测试富含动态JavaScript和交互式AJAX的应用需要更高级的工具。Windmill起源于开源应用基金会（OSAF），旨在减少发布Cosmo Web用户界面新版本所需的手动测试。它基于Python构建，依赖于一系列开源Python库，通过PyPi或PIP进行安装，可选择安装发布版本或开发版本。其JavaScript控制器在浏览器中运行，用于模拟用户会话，因此每次测试运行都需要指定浏览器。

3.2 编写测试

Windmill集成开发环境（IDE）提供了跨浏览器的解决方案，用于记录、编辑和测试测试操作套件。其中，记录器能够可靠地猜测用户试图模拟的操作，即使它不算一个完美的功能，也能节省大量时间。
- 记录器最初生成JSON字符串并存储在文件中，随着测试操作变得复杂，开发了将记录的操作和套件转换为Python和JavaScript的实用程序，并可添加其他语言的转换器。
- 记录器鼓励不同的工作流程，操作以简单的可编辑表单表示，每个选项都有下拉框或文本输入，方便用户更改和运行。
- 回放功能也支持持续编辑，用户可以在测试运行过程中更改值、重新播放操作、套件或整个测试，还可以停止回放、记录新的工作流程并保存到文件系统。
- 测试保存格式可在Windmill设置中配置，可通过点击套件的保存按钮保存测试。

3.3 运行测试

Windmill提供命令行界面（CLI）和shell用于加载、运行和调试测试，还支持从PDB（Python调试器）进行更深入的调试。
- Python和JavaScript测试可以通过两种方式从命令行运行：
- 直接通过命令行参数运行，常用于日常测试和持续集成。例如：
- 运行Python测试： windmill 'browser' 'url' test=test_file.py (or a directory)
- 加载Python测试： windmill 'browser' 'url' loadtest=test_file.py (or a directory)
- 运行JavaScript测试： windmill 'browser' 'url' jsdir=js_tests_dir
- 从Windmill shell运行，用于调试，可直接访问Windmill中运行和加载测试的函数。例如：
- 运行Python测试： windmill shell 'browser' 'url' ，在提示符下输入 run_test('path/to/test_file.py')
- 加载Python测试： windmill shell 'browser' 'url' ，在提示符下输入 load_test('path/to/test_file.py')

以下是Python和JavaScript测试语法的示例：

# Generated by the windmill services transformer
from windmill.authoring import WindmillTestClient
def test_googletest():
    client = WindmillTestClient(__name__)
    client.click(name=u'q')
    client.type(text=u'test', name=u'q')
    client.click(name=u'btnG')
    client.waits.forPageLoad(timeout=u'20000')
    client.waits.forElement(link=u'Test.com Web Based Testing', timeout=u'8000')
    client.click(link=u'Test.com Web Based Testing')
    client.waits.forPageLoad(timeout=u'20000')

// Generated by the windmill services transformer
var test_googletest = new function() {
    this.test_actions = [
        {"params": {"name": "q"}, "method": "click"},
        {"params": {"text": "test", "name": "q"}, "method": "type"},
        {"params": {"name": "btnG"}, "method": "click"},
        {"params": {"timeout": "20000"}, "method": "waits.forPageLoad"},
        {"params": {"link": "Test.com Web Based Testing", "timeout": "8000"}, 
        "method": "waits.forElement"},
        {"params": {"link": "Test.com Web Based Testing"}, "method": "click"},
        {"params": {"timeout": "20000"}, "method": "waits.forPageLoad"}
    ];
}

以下是Windmill测试流程的mermaid流程图：

graph LR
    A[编写测试] --> B[使用记录器记录操作]
    B --> C[转换为Python或JavaScript]
    C --> D[保存测试]
    D --> E[选择运行方式]
    E -->|命令行参数| F[运行测试]
    E -->|Windmill shell| G[调试测试]
    F --> H[查看测试结果]
    G --> I[发现并解决问题]

综上所述，无论是杀毒软件的误报与漏报测试，还是Windmill的Web应用测试，都有其独特的流程和方法。通过合理的测试，可以提高软件的质量和稳定性，满足用户的需求。

4. 测试方法对比分析

4.1 杀毒软件测试与Web应用测试的差异

测试类型	测试对象	测试重点	测试环境	测试工具
杀毒软件测试	杀毒软件本身	误报和漏报情况，软件的可用性和用户接受度	多种操作系统和软件环境	基于干净文件集合和恶意软件集合的内部测试工具
Web应用测试	Web应用程序	功能完整性、兼容性、性能等	不同浏览器和网络环境	Windmill等自动化测试工具

从测试对象来看，杀毒软件测试关注的是软件对病毒的检测能力，而Web应用测试则侧重于应用程序的各项功能和性能。在测试重点方面，杀毒软件测试主要解决误报和漏报问题，而Web应用测试需要确保应用在不同环境下的正常运行。测试环境上，杀毒软件测试更多依赖于操作系统和软件环境，Web应用测试则更注重浏览器和网络环境。测试工具方面，两者使用的工具也截然不同。

4.2 不同测试阶段的作用

测试阶段	作用
误报与漏报测试	确保杀毒软件准确检测病毒，避免误判合法文件或漏检感染文件
可用性和用户接受度测试	验证软件在实际使用中的表现，收集用户反馈，改进软件功能
Web应用测试	保证Web应用在各种环境下的功能完整性和性能稳定性

误报与漏报测试是杀毒软件测试的基础，它直接关系到软件的准确性。可用性和用户接受度测试则从用户的角度出发，让软件更符合实际使用需求。Web应用测试则是针对Web应用的特点，确保其在不同浏览器和网络环境下的正常运行。

5. 测试实践中的注意事项

5.1 杀毒软件测试注意事项

• 及时更新病毒定义 ：定期更新扫描器的病毒数据库，以确保能够检测到新出现的病毒。
• 优化检测引擎 ：及时修复检测引擎中的漏洞，提高检测的准确性和效率。
• 快速响应误报和漏报问题 ：在产品或其更新到达最终用户之前，快速检测和消除误报和漏报情况。

5.2 Web应用测试注意事项

• 全面覆盖功能测试 ：确保测试涵盖应用的所有主要功能，避免遗漏重要功能。
• 考虑不同浏览器和设备的兼容性 ：在多种浏览器和设备上进行测试，确保应用在不同环境下的显示和功能正常。
• 优化测试流程 ：利用自动化测试工具提高测试效率，减少手动测试的工作量。

6. 测试对软件质量的提升

6.1 提高软件的准确性和稳定性

通过误报与漏报测试，杀毒软件能够更准确地检测病毒，避免误判和漏检，提高软件的准确性。Web应用测试则可以发现并修复应用中的漏洞和问题，确保应用在各种环境下的稳定性。

6.2 增强用户体验

可用性和用户接受度测试能够收集用户的反馈和建议，改进软件的功能和界面，提高用户的满意度。Web应用测试可以确保应用在不同设备和浏览器上的正常显示和操作，为用户提供更好的体验。

6.3 促进软件的持续改进

测试过程中发现的问题和不足可以为软件的改进提供方向，促使开发者不断优化软件的性能和功能，实现软件的持续改进。

以下是软件测试提升质量的mermaid流程图：

graph LR
    A[测试] --> B[发现问题]
    B --> C[分析问题]
    C --> D[修复问题]
    D --> E[再次测试]
    E -->|通过| F[软件质量提升]
    E -->|未通过| B

7. 总结

通过对杀毒软件的误报与漏报测试、可用性和用户接受度测试，以及Windmill的Web应用测试的介绍，我们了解到不同类型软件测试的重要性和方法。在实际应用中，我们应根据软件的特点和需求，选择合适的测试方法和工具，确保软件的质量和稳定性。同时，不断优化测试流程和方法，提高测试效率和准确性，为用户提供更好的软件产品。在未来的软件开发中，测试将继续发挥重要作用，推动软件行业的不断发展。

希望本文能够为从事软件测试工作的人员提供一些参考和帮助，让大家在测试实践中更加得心应手。如果你在测试过程中有任何问题或经验，欢迎分享和交流。