23、测试工作流全解析：从基础到高级实践-优快云博客

本文链接：https://blog.youkuaiyun.com/android/article/details/153446318

测试工作流全解析：从基础到高级实践

1. 测试工作流概述

测试工作流的核心目标是验证和确认系统的质量与正确性，主要聚焦于对需求、设计和实现模型的验证。在统一过程的生命周期早期进行测试（即在构建阶段的每次迭代中开展测试），有助于识别潜在问题区域，降低项目失败风险。同时，尽早发现错误能显著降低修复成本，因为经验表明，错误发现得越早，修复成本越低。此外，测试工作流的成果还能为项目可行性评估提供重要依据。

测试应秉持“尽早测试、频繁测试”的原则。“小范围测试”过程模式涵盖了全生命周期面向对象测试（FLOOT）方法的多种技术，主要在开发过程中对项目工件（如模型、文档和源代码）进行验证。而“大范围测试”（即系统准备部署到用户群体时的验证）则在其他相关内容中介绍。“小范围测试”模式的重要性在于，它表明在构建阶段有多种测试技术可用于验证工作。

为了在构建阶段优化测试工作流，需要采用经过验证的最佳测试实践，并确保开发人员和测试工程师能够作为一个团队有效协作。

2. 测试最佳实践

回归测试 ：迭代和增量开发的关键技术之一是回归测试，其目的是确保在进行更改后，现有功能仍然正常工作。如果无法轻松保证先前迭代的成果仍然有效，测试工作将很快主导新的迭代，导致迭代周期延长，最终偏离迭代开发模式。回归测试不仅能查找先前修复的故障，还能发现新的故障，因为软件故障往往在功能或代码层面相互关联。然而，许多开发人员由于时间限制或缺乏重视，在创建、维护和跟踪回归测试时投入的精力不足，大多只是简单重复导致原始故障的序列。
测试框架 ：Martin Fowler提出了轻量级测试框架JUnit，适用于Java语言。拥有这样的测试框架，程序员可以轻松创建和运行单元测试，开发人员也能方便地构建和运行回归测试套件。该设计也可应用于其他环境，如C++和Object Pascal。
代码健壮性 ：由于无法找出所有的错误，编写代码时需要考虑错误处理。Andy Barnhart提出了一系列技术，可用于增强Java、C++或Visual Basic代码的健壮性，同时还提供了处理用户界面错误和数据设计问题的建议，并强调了根据不同情况以适当方式向用户通知错误的重要性。

3. 团队协作

即使采用了世界上最复杂的测试流程，如果开发人员和测试工程师不能有效协作，一切都将徒劳无功。测试工程师在软件开发中可以成为强大的盟友，测试团队的目标不仅仅是执行测试，更重要的是帮助降低产品失败的风险。James Bach探讨了测试人员和开发人员之间出现问题的原因，并提出了一些改善两者关系的最佳实践，例如让他们在物理位置上靠近。

4. 回归测试深入解析

回归测试的重要性 ：回归测试是发现软件故障的有效方法，经典的回归测试通过重复先前导致软件失败的事件序列来查找问题。然而，新的故障可能表现出与先前修复的故障相同或相似的失败情况，因此良好的回归测试不仅能发现旧故障，还能发现新故障。回归测试不能替代功能测试或基于代码的测试，但能在错误可能出现的地方进行补充检查。开发人员进行良好的回归测试可以在发布前尽早发现问题，降低修复成本和时间。
相关概念定义 ：
- 软件错误 ：软件设计中的问题，可能是规范中的不良或遗漏需求，或程序员对需求或接口的误解，是软件问题的根本来源。
- 软件故障 ：计算机程序源代码中的缺陷，由软件错误引入，可能表现为拼写错误、逻辑错误、方程错误或不必要的额外代码。
- 软件失败 ：软件实际行为与规定行为之间的差异，可体现在消息输出中的错误字节、对特定输入的错误响应或未能满足规范要求的时序等方面。
- 故障集群 ：一组相互关联的软件故障，例如与特定模块接口相关的故障、与特定代码（如状态机或数据结构）相关的故障集群，或与极端或异常条件（如金融应用中的年终处理）相关的故障集群。
基本回归测试的局限性 ：以飞行模拟器导航软件的测试为例，基本回归测试在项目早期由于缺乏旧故障信息，难以发现新故障；而且基本回归测试可能无法全面检查故障，如果故障仅部分修复或同一区域存在其他问题，测试仍可能通过。
健壮回归测试的优势 ：健壮回归测试集成了其他测试的知识，确保原始故障已消除且测试区域内不存在相关故障。它还能让设计人员更仔细地审视程序中的故障，并学会在未来避免这些问题。

以下是常见的故障集群查找方向：
- 极端情况 ：代码中仅在罕见情况下或出现错误时执行的部分，如文件或磁盘满、内存错误、硬件相关错误或数据处理软件中的年终处理等。应用程序中多达一半的代码可能用于处理特殊情况，但这些代码通常不如主线代码被频繁执行。
- 复杂算法 ：算法代码比非算法代码更容易出现错误，因此测试复杂算法的实现通常能发现问题。不仅要执行代码，还需将算法执行结果与独立计算的分析结果进行比较，以确保代码正确性。
- 花哨编码 ：即使原实现者清楚自己的操作，后续维护或支持人员在修改和维护代码时可能会遇到困难。例如，一个设计人员实现的有限状态机在他离开公司后多年仍存在错误，最终开发人员采用更简单的设计重新实现了该功能，整个故障集群随之消失。
- 复杂接口 ：复杂接口可能涉及多个设计人员的代码，设计人员在接口关键部分的责任归属或实现方式上可能存在假设错误，导致软件错误，如动态内存的双重删除、内存泄漏和意外的极端情况等。
- 紧急编码和快速修复 ：统计显示，10% - 40%的更改会引入代码故障。在截止日期压力下，人们可能会忘记良好的编码标准、回归测试和常识，导致严重的设计损坏、文档和注释滞后，以及后续出现错误的概率大幅增加。
- 新开发人员 ：新开发人员虽然不一定缺乏软件设计经验，但对他们维护的代码可能不熟悉。在开始对软件进行更改之前，他们很难真正理解代码，这可能导致重大问题。当这个问题与花哨编码或紧急编码同时出现时，可能会引发软件灾难。

5. 编写健壮回归测试

健壮回归测试需满足以下三个标准：
- 映射整个故障执行 ：设计目的是在故障的任何部分仍然存在时使测试失败，不要求包含导致故障的所有可能输入组合。
- 覆盖故障发生区域 ：确保覆盖先前修复的代码以及直接受其影响的代码。
- 验证输出数据 ：像任何良好的测试一样，验证输出数据的正确性和准确性。许多回归测试未能通过检查输出数据的正确性，导致本应失败的测试却通过了。

编写符合这三个标准的回归测试可以确保故障的可观察症状消失，导致故障的代码错误被消除，并且在后续版本中能够检测到由不同故障引起的类似失败。

6. 故障特征化

开发人员通常为了快速确定是否存在错误而定义故障，但这种方式不利于创建良好的回归测试。如果设计人员不知道故障的全部范围，就无法确定对代码的修正是否能完全解决问题。为了全面表征软件故障，应采取以下步骤：
- 确定初始条件 ：从首次识别的失败开始，使用其初始描述确定重现错误所需的最小条件集。
- 确定边界条件 ：找出重现问题所需的输入和条件与不足以重现问题的输入和条件之间的分界线。
- 开发测试用例 ：根据问题的范围开发能够覆盖整个问题的测试用例。
- 测试类似情况 ：测试其他可能出现类似问题的条件。

定期实施健壮回归测试并进行全面的故障特征化，有助于确保软件的可靠性。

7. 代码故障映射

找到代码故障后，需要对其影响以及修复更改的影响进行映射，以便检测先前被故障掩盖的故障以及在更改代码时引入的新故障。可以通过以下方式进行检查：
- 调试器步进 ：在测试运行时通过调试器逐行执行代码，虽然耗时，但从长远来看可以确保测试充分验证软件的更改，对于相对简单的修复，这种方法简单且经济。
- 覆盖分析器 ：对于重大的代码更改，覆盖分析器是最有效的测试工具。它通过记录测试期间执行的代码部分，并与整体源代码进行比较，识别未执行的代码部分，方便添加测试以覆盖遗漏部分，并检查代码是否完全执行。覆盖分析器既有商业版本，也有免费版本，部分编译器厂商还将其作为开发套件的一部分提供。

通过以上对测试工作流的全面介绍，从测试的基本概念、最佳实践到回归测试的深入分析，以及如何编写健壮回归测试和处理故障等方面，为软件开发过程中的测试工作提供了系统的指导，有助于提高软件质量，降低项目风险。

测试工作流全解析：从基础到高级实践

8. 测试工作流的整体流程

为了更清晰地理解测试工作流，下面用 mermaid 格式的流程图展示其整体流程：

graph LR
    A[开始] --> B[需求分析]
    B --> C[设计测试用例]
    C --> D[执行测试]
    D --> E{是否有故障}
    E -- 是 --> F[故障特征化]
    F --> G[修复故障]
    G --> H[代码故障映射]
    H --> I[重新执行回归测试]
    I --> D
    E -- 否 --> J[结束测试]

从这个流程图可以看出，测试工作流是一个循环的过程。首先进行需求分析，明确测试的目标和范围。然后设计测试用例，包括各种类型的测试，如用例场景测试、原型评审等。接着执行测试，根据测试结果判断是否存在故障。如果有故障，需要进行故障特征化，确定故障的具体情况，然后进行修复。修复后进行代码故障映射，检查是否引入了新的故障或掩盖了其他故障。最后重新执行回归测试，确保问题得到解决。如果没有故障，则结束测试。

9. 不同测试技术的应用场景

根据不同的项目阶段和目标，可以选择合适的测试技术进行组合使用，以提高测试效率和质量。

10. 团队协作在测试工作流中的具体体现

团队协作对于测试工作流的成功至关重要，以下是一些具体的体现：
- 信息共享 ：开发人员和测试人员应及时共享项目信息，包括需求变更、代码修改等。例如，开发人员在修改代码后，应及时通知测试人员进行回归测试。
- 问题沟通 ：当测试人员发现故障时，应清晰地向开发人员描述问题的症状和复现步骤。开发人员在修复故障后，也应及时向测试人员反馈修复情况。
- 共同制定计划 ：开发人员和测试人员应共同制定测试计划，明确测试的时间节点、范围和重点。例如，在项目的不同阶段，确定不同的测试重点和测试方法。
- 互相支持 ：开发人员可以为测试人员提供技术支持，帮助他们更好地理解代码和系统。测试人员也可以为开发人员提供用户视角的反馈，帮助他们改进代码和设计。

11. 测试工作流的持续改进

测试工作流不是一成不变的，需要根据项目的实际情况进行持续改进。以下是一些持续改进的方法：
- 收集反馈 ：定期收集开发人员、测试人员和用户的反馈，了解他们对测试工作的满意度和建议。例如，可以通过问卷调查、面对面交流等方式收集反馈。
- 分析数据 ：对测试数据进行分析，了解测试的效果和效率。例如，分析故障的分布情况、测试用例的执行情况等，找出存在的问题和改进的方向。
- 引入新技术 ：关注测试领域的新技术和新方法，适时引入到测试工作中。例如，自动化测试技术可以提高测试效率和准确性。
- 培训和学习 ：为开发人员和测试人员提供培训和学习机会，提高他们的测试技能和知识水平。例如，可以组织内部培训、参加外部研讨会等。