验证
成熟度3级的一个工程过程域
目的
验证(VER)的目的是确保选定的工作产品满足其预定的需求。
介绍
“验证”过程域包括:准备验证、执行验证、以及确定纠正措施。
验证包括针对所有选定的需求,包括客户的、产品的以及产品部件的需求,对产品和中间工作产品进行验证。
验证天生就是一个渐进的过程,因为它贯穿于产品和工作产品的开发过程中,开始于对需求的验证,逐步验证逐渐产生的工作产品,最后验证完成的产品。
本过程域的特定实践按照以下方式相互依赖:
l 特定实践“选择需验证的工作产品”确定了需要验证的工作产品、执行验证所采用的方法、以及每一选定的工作产品所需满足的需求。
l 特定实践“建立验证环境”确定了将用于完成验证工作的环境。
l 特定实践“建立验证规程与准则”开发与选定的工作产品、需求、方法、以及验证环境的特征相适应的验证规程与准则。
l 特定实践“执行验证”按照可用的方法、规程与准则来实施验证。
对工作产品的验证充分地提高了产品满足客户、产品、以及产品部件的需求的可能性。
“验证”与“确认”过程域是相似的,但是它们针对不同的问题。确认证实产品在提供时(或者将要提供时)将满足其预期的使用,而验证注重于工作产品是否正确地反映了规定的需求。换言之,验证保证“你的构建是正确的”,而确认保证“你构建了正确的东西”。
同行评审是验证的一个重要部分,并且已经被证实是有效的缺陷消除机制。一个重要的必然结果是更好地理解工作产品和生产这些产品的过程,这样可以预防缺陷,并且确定过程改进的机会。
同行评审包括由生产者的同行对工作产品进行系统化的检查,以发现缺陷和其它必要的修改。
同行评审方法的实例包括: l 审查 l 结构化走查 |
相关过程域
有关如何确定产品或者产品部件满足其在预期环境中的预期使用的更多信息请参见确认过程域。
有关客户、产品和产品部件的需求的产生与开发的更多信息请参见需求开发过程域。
有关如何管理需求的更多信息请参见需求管理过程域。
实践-目标关系表
连续式 | 分级式 | |
SG1准备验证 | SG1准备验证 | |
SP1.1-1选择需验证的产品 | SP1.1-1选择需验证的产品 | |
SP1.2-2建立验证环境 | SP1.2-2建立验证环境 | |
SP1.3-3建立验证规程与准则 | SP1.3-3建立验证规程与准则 | |
SG2执行同行评审 | SG2执行同行评审 | |
SP2.1-1准备同行评审 | SP2.1-1准备同行评审 | |
SP2.2-1实施同行评审 | SP2.2-1实施同行评审 | |
SP2.3-2分析同行评审数据 | SP2.3-2分析同行评审数据 | |
SG3 验证选定的工作产品 | SG3 验证选定的工作产品 | |
SP3.1-1 执行验证 | SP3.1-1 执行验证 | |
SP3.2-2 分析验证结果并确定纠正措施 | SP3.2-2 分析验证结果并确定纠正措施 | |
GG1 达到特定目标 | | |
GP1.1 完成基础实践 | | |
GG2 制度化一个已管理的过程 | GG2 制度化一个已管理的过程 | |
GP2.1建立组织的方针 | GP2.1建立组织的方针 | |
GP2.2 计划过程 | GP2.2 计划过程 | |
GP2.3 提供资源 | GP2.3 提供资源 | |
GP2.4 分配职责 | GP2.4 分配职责 | |
GP2.5 培训人员 | GP2.5 培训人员 | |
GP2.6 管理配置 | GP2.6 管理配置 | |
GP2.7 识别和包括相关的干系人 | GP2.7 识别和包括相关的干系人 | |
GP2.8 监督和控制这个过程 | GP2.8 监督和控制这个过程 | |
GP2.9 客观的评价坚持状况 | GP2.9 客观的评价坚持状况 | |
GP2.10 以更高等级的管理评审状态 | GP2.10 以更高等级的管理评审状态 | |
GG3 制度化已定义的过程 | | |
GP3.1 建立一个已定义的过程 | GP3.1 建立一个已定义的过程 | C/ML3-5 |
GP3.2 收集改进信息 | GP3.2 收集改进信息 | |
GG4 制度化一个已量化管理的过程 | | |
GP4.1 建立过程的量化目标 | | |
GP4.2 稳定子过程的执行 | | |
GG5 制度化一个优化中的过程 | | |
GP5.1 保证连续的过程改进 | | |
GP5.2 改正问题的根源 | |
实现目标的关键实践
SG1准备验证
做好验证的准备工作。
为了保证在产品和产品部件的需求、设计、开发计划、以及进度安排中包含了验证条款,预先准备是必须的。验证包括了工作产品的选择、审查、测试、分析和演示。
验证的方法包括但不限于审查、同行评审、审核、走查、分析、模拟、测试以及演示。
准备还需要定义支持工具、测试设备与软件、模拟、原型、以及设施。
SP1.1-1选择需验证的产品
选择需要验证的工作产品,以及每个工作产品将要使用的验证方法。
根据对满足项目目的和需求,以及处理项目风险的影响程度选择工作产品。
将被验证的工作产品可能包括与维护、培训、以及支持服务相关的部分。工作产品的验证需求及其验证方法都包括在内。验证方法提出了验证工作产品的技术途径以及将用于验证特定工作产品是否满足其需求的特殊方式。
对于软件工程 验证方法的实例包括: l 路径覆盖测试 l 负载、压力和性能测试 l 基于决策表的测试 l 基于功能分解的测试 l 测试案例重用 l 验收测试 |
选择验证方法通常开始于定义产品或产品部件的需求以保证这些需求是可验证的。验证方法中应该包括重复验证,以保证对工作产品所作的修改不会导致意料外的缺陷。
对于集成化的产品与过程开发 验证方法应该得到与产品和产品部件设计同步的迭代式开发。 |
典型工作产品
1. 需验证的工作产品清单
2. 每个选定的工作产品的验证方法
子实践
1. 确定需要验证的工作产品。
2. 确定每个选定的工作产品需满足的需求。
有关帮助确定每个工作产品的需求的更多信息请参见需求管理过程域中的维持需求的双向可追踪性特定实践。
3. 确定可用的验证方法。
4. 为每个选定的工作产品定义将使用的验证方法。
5. 提交确定的将要验证工作产品、将要满足的需求、以及将要采用的方法,供与项目计划集成。
有关如何协调项目计划的更多信息请参见项目计划过程域。
SP1.2-2建立验证环境
建立并维护支持验证所需要的环境。
必须建立一个环境使得验证得以进行。根据项目的需要,验证环境可以是采办的、开发的、重用的、修改的, 或者这些形式的组合。
需要的环境的类型将取决于选定的需验证工作产品和采用的验证方法。同行评审需要的环境可能比材料包、评审员和房间等略多一些。产品测试可能需要模拟器、仿真器、脚本生成器、数据整理工具、环境控制器、以及与其它系统的接口。
典型工作产品
1. 验证环境
子实践
1. 确定验证的环境需求。
2. 确定可用于重用和修改的验证资源。
3. 确定验证设备和工具。
4. 采办验证支持设备和环境,诸如测试设备和软件。
SP1.3-3建立验证规程与准则
为选定的工作产品建立并维护验证规程与准则。
对于集成化的产品与过程开发 验证规程与准则应该得到与产品和产品部件设计同步的迭代式开发。 |
验证准则得到定义,以确保工作产品满足其需求。
验证准则的来源的实例包括: l 产品和产品部件的需求 l 标准 l 组织级的政策 l 测试类型 l 测试参数 l 质量和测试成本之间的折中因素 l 工作产品类型 |
典型工作产品
1. 验证规程
2. 验证准则
子实践
1. 为工作产品以及任何必要的商用套装软件生成全面的、集成化的验证规程
2. 必要时开发并细化验证准则。
3. 确定预期的结果、观测时允许的任何偏差、以及满足需求的其它准则。
4. 确定支持验证所需的任何设备和环境部件。
SG2执行同行评审
对选定的工作产品执行同行评审。
同行评审包含了由生产者的同行对工作产品进行系统化的检查,以发现需要消除的缺陷,并推荐其它必要的改动。
同行评审是一种重要而有效的工程方法,通过审查、结构化走查、或者其它许多平等分权的评审方法来实施。
同行评审主要用于项目开发的工作产品,但是也可用于其它工作产品,诸如通常由支持组开发的文档和培训工作产品。
SP2.1-1准备同行评审
准备对选定工作产品的同行评审。
同行评审的准备活动通常包括确定将应邀参加每一工作产品的同行评审的人员,确定必须参加同行评审的关键人员、准备并更新将在同行评审期间使用的任何材料(诸如检查单和评审准则),以及安排同行评审的时间。
典型工作产品
1. 同行评审进度安排
2. 同行评审检查单
3. 工作产品的进入和退出准则
4. 要求再次同行评审的准则
5. 同行评审的培训材料
6. 选定的将要评审的工作产品
子实践
1. 确定将要进行何种类型的同行评审。
同行评审类型的实例包括: l 审查 l 结构化走查 l 主动评审 |
2. 定义在同行评审期间收集数据的要求。
有关如何确定与收集数据的更多信息请参见度量与分析过程域。
3. 建立并维护同行评审的进入与退出准则。
4. 建立并维护要求再次同行评审的准则。
5. 建立并维护检查单,以保证工作产品受到一致的评审。
检查单罗列的事项的实例包括: l 构架规则 l 设计指导 l 完整性 l 正确性 l 可维护性 l 通用的缺陷类型 |
必要时修订检查单以适应特定的工作产品与同行评审类型。检查单编制者的同行和潜在的用户对检查单进行评审。
6. 制定详细的同行评审时间表,包括同行评审培训的日期以及何时将获得同行评审所需的材料。
7. 确保工作产品在分发前满足同行评审的进入准则。
8. 将被评审的工作产品及其相关信息足够早地分发给参加人员,以确保参加者充分地做好同行评审准备。
9. 适当地分配同行评审的角色。
角色的实例包括: l 主持人 l 讲解员 l 记录员 l 作者 |
10. 在实施同行评审前评审工作产品,为同行评审做准备。
SP2.2-1实施同行评审
对选定的工作产品实施同行评审并确定同行评审得出的问题。
实施同行评审的一个目的是早期发现并消除缺陷。同行评审是随着工作产品的开发而渐进地执行的。这些评审是结构化的并且不是管理评审。
可以对规格说明、设计、测试和实现活动的关键产品以及特定的计划工作产品进行同行评审。
同行评审应注重于被评审的工作产品,而不是审查该产品的个人。
同行评审中发现问题时,应将它们通知该工作产品的主要开发者以便更正。
有关如何跟踪同行评审提出的问题的更多信息请参见项目监督与控制过程域。
同行评审应遵循以下指导原则:必须有充分的准备,实施过程得到管理与控制,必须记录一致而充分的数据(例如进行正式审查),并且必须记录行动事项。
典型的工作产品
1. 同行评审结果
2. 同行评审发现的问题Peer review issues
3. 同行评审数据
子实践
1. 在同行评审期间充当指定的角色。
2. 确定并记录工作产品中的缺陷和其它问题。
3. 记录同行评审的结果,包括行动事项。
4. 收集同行评审数据。
有关数据收集的更多信息请参见度量与分析过程域。
5. 确定行动事项并将问题通报给相关干系人。
6. 如果预定的准则表明有必要,进行一次附加的同行评审。
7. 确保同行评审的退出准则得到满足。
SP2.3-2分析同行评审数据
分析同行评审准备、实施以及结果的数据。
有关获取与分析数据的更多信息请参见度量与分析过程域。
典型工作产品
1. 同行评审数据
2. 同行评审行动事项
子实践
1. 记录与同行评审的准备、实施以及结果相关的数据。
典型的数据有产品名称、产品规模、同行评审小组的组成、同行评审的类型、每个评审员的准备时间、评审会议的时长、发现的缺陷数量、缺陷的类型和来源等。还可以收集被评审工作产品的其它信息,诸如规模、开发阶段、被检查的操作模式、以及被评估的需求。
2. 存储数据以供将来引用和分析。
3. 保护数据,以确保同行评审数据不被误用。
误用同行评审数据的实例包括使用这些数据来评价人员的表现以及为了归纳原因而使用这些数据。 |
4. 分析同行评审数据。
SG3 验证选定的工作产品
选定的工作产品得到根据其规定需求的验证。
SP3.1-1 执行验证
执行对选定工作产品的验证。
渐进地验证产品与产品部件促使疑难问题得到及早发现,并且导致缺陷及早消除。验证的这些结果能显著节约与疑难问题处理相关的故障隔离与修改的成本。
(对于连续表述的用户,这是能力等级1 的特定实践。在能力等级1 或2的验证过程可以不包括规程与准则,它们在能力等级3 的“建立验证规程与准则”特定实践中创建。尚未建立规程与准则时,使用“选择需验证的工作产品”特定实践中建立的方法来达到能力等级1 的效能。)
典型工作产品
1. 验证结果
2. 验证报告
3. 演示
4. 模拟运行规程记录(As-run procedures log)
子实践
1. 对选定的工作产品按照其需求执行验证。
2. 记录验证活动的结果。
3. 确定从工作产品验证中得出的行动事项。
4. 文档化“模拟运行”(“as-run”)验证方法及其执行中发现的与可用的方法与规程的差异。
SP3.2-2 分析验证结果并确定纠正措施
分析所有验证活动的结果并确定纠正措施。
必须将实际结果与已经建立的验证准则相对比以确定可接受性。
将分析结果记录下来,作为已经实施验证的证据。
针对每一工作产品,渐进地分析所有可用的验证结果并采取纠正措施来确保需求得到满足。
由于同行评审是多种验证方法之一,同行评审数据必须包括在这一分析活动中,以确保验证结果得到了充分的分析。分析报告或者“模拟运行”方法文档也可能指出由于方法问题、准则问题或者验证环境问题导致了不良的验证结果。
有关纠正活动的实施的更多信息请参见项目监督与控制过程域的纠正活动实践。
典型工作产品
1. 分析报告(诸如性能统计、不符合项的原因分析、真实产品与模型之间的行为对比、以及趋势)
2. 问题报告
3. 对验证方法、准则以及环境的变更请求
4. 对验证方法、准则、和/或环境的纠正措施
子实践
1. 将实际结果与预期结果作对比。
2. 根据已经建立的验证准则,确定尚未满足其需求的工作产品,或者确定方法、规程、准则、以及验证环境中的问题。
3. 分析验证发现的缺陷数据。
4. 在一份报告中记录所有分析结果。
5. 利用验证结果,将实际的度量和性能与技术上的性能参数相比较。
6. 提供关于如何消除缺陷的信息(包括验证方法、准则以及验证环境)并将它们正式体现在计划中。
目标的一般实践
GG1 完成特定目标 通过将可识别的输入工作产品转变为可识别的输出工作产品,过程支持并且能够使过程域的特定目标实现。 GP1.1 履行基本实践 履行验证过程的基本实践从而发展工作产品和提供达到过程域的特殊目标的服务。 GG2 制度化一个已管理的过程 过程被作为一个已管理的过程制度化。 | 仅仅适用于连续式 |
GG3 制度化一个已定义的过程 过程被作为一个已定义的过程制度化。 编者按:这类目标的外观反映它在分级表示法中的位置。 | 仅仅适用于分级式 |
执行的保障
GP2.1 建立组织的方针
建立和维持一个用于计划和执行验证过程的组织性方针。
详尽的细节
这个方针建立了对处理选择需验证的产品与产品部件、选择验证方法、建立并维护确保产品与产品部件满足用户要求的验证规程、准则以及环境的组织性的期望。
执行的能力
GP2.2计划过程
建立和维持一个用于执行验证过程的计划。
详尽的细节
通常,执行验证过程的计划是项目计划过程域所描述的项目计划的一部分。。
GP2.3 提供资源
提供足够的资源用于执行验证过程,开发工作产品,以及提供过程的服务。
详尽的细节
为验证产品或产品部件,可能需要特殊的设施。必要时,开发或者购买验证所需的设施。
提供的资源包括如下工具所示: l 测试管理工具 l 测试案例生成器 l 测试覆盖分析器 l 模拟器 l 负载、压力和性能工具 |
GP2.4 分配职责
分配执行过程,开发工作产品以及提供验证过程服务的职责。
GP2.5 培训人员
必须培训执行和支持验证过程的人员。
详尽的细节
培训主题示例如下: l 应用领域 l 验证原理、标准和方法 l 预期的使用环境 |
引导(过程的)执行
GP2.6 管理配置
给验证过程中的指定工作产品以适宜的配置管理水平。
详尽的细节
在配置管理下存放的工作产品示例如下: l 选定需验证的产品与产品部件清单 l 验证方法、规程与准则 l 验证报告 |
GP2.7 识别和包含相关的干系人
对照计划,识别和包含验证过程的相关干系人。
详尽的细节
从客户、最终用户、开发人员、生产人员、测试人员、供应商、市场人员、维护人员、最终清理人员和其它受到产品与过程的影响、或者影响产品与过程的人员中选择相关干系人。
干系人的活动示例如下: l 选择需要验证的产品与工作产品 l 建立验证方法、规程与准则 l 评审产品与产品部件的验证结果并解决问题 l 解决涉及客户或最终用户的问题 |
当以下方面出现与客户或最终用户基本需要的显著偏差时,尤其需要解决涉及客户或最终用户的问题:
l 放弃合同或协议(什么、何时、以及针对哪些产品、服务或已制造的产品)
l 附加的深入研究、试验、测试或评价
l 合同或协议中的可能的修改
GP2.8 监督与控制过程
根据计划监督与控制验证过程,从而执行过程并进行适当的纠正活动。
详尽的细节
用于监督与控制的度量方法示例如下: l 已完成的验证活动的数量(计划的和实际的) l 验证问题报告的趋势(例如:记录的数量和已关闭的数量) l 验证问题报告的持续时间(也就是每个问题报告打开的时长) |
验证(过程的)执行
GP2.9 客观的评价坚持状况
对照过程的描述、规则、程序,客观评估验证过程的坚持状况,并处理未按此执行的相关事宜。
详尽的细节
评审活动示例如下: l 选择需验证的产品与产品部件 l 建立并维护验证方法、规程与准则 l 验证产品或产品部件 |
工作产物评审示例如下: l 验证方法、规程与准则 |
GP2.10 用更高等级的管理评审状态
用更高层次的管理评审验证过程中的活动、状态、和结果,并解决问题。
GG3 制度化一个已定义的过程 过程被作为一个已定义的过程制度化。 执行的能力 GP3.1 建立一个已定义的过程 建立和维持一个已定义的需求开发过程的描述。 引导(过程的)执行 GP3.2收集改进信息 收集工作产品、度量方法、度量结果以及源于计划和执行验证过程的改进信息,从而支持将来的使用以及组织过程和过程域的改进。 | 连续式/成熟度3-5级 |
GG4 制度化一个集成的已管理的过程 过程是作为一个集成的已管理的过程被制度化的。 GP4.1 为过程建立集成目标 为验证过程建立和维持集成目标从而明确质量和过程执行是基于客户需求和商业目标的。 GP4.2 稳定子过程执行 稳定一个或多个子过程的执行从而确定验证过程的能力以达到建立的集成质量和过程执行目标。 GG5 制度化一个已优化的过程 过程是作为一个已优化的过程被制度化的。 GP5.1 确保连续的过程改进 在完成组织的相关商业目标过程中确保连续的验证过程改进。 GP5.2 纠正问题的根源原因 在验证过程中识别和纠正缺陷和其他问题的根源原因。 | 仅仅适用于连续式 |