简介1.1 BugFree介绍BugFree是借鉴微软公司软件研发理念、免费且开放源代码、基于Web的精简版缺陷管理系统。它是目前唯一“克隆”微软内部Bug管理工具Product Stuido(以前叫Raid)的自由软件。BugFree是用PHP+MySQL写成,在Linux和Windows平台上都可以运行。 BugFree 2.0中包含的设计思想是: - Code: 程序是对需求设计规格说明文档(Spec)的一个实现(映射); - Test Case: 也是对Spec的一个实现(映射),只是站在测试角度; - Test Result: 利用Test Case(测试映射)检查一次Code(开发映射); - Bug: 两种映射不一致的地方就可能是Bug (Code对Spec的偏离) 这样,从测试用例(Test Case)到测试结果(Test Result)到缺陷(Bug),三者有机的结合起来。 1.2 Bugzilla介绍Buzilla是由Mozilla公司提供,记录产品缺陷及跟踪的免费工具,它能够为你建立一个完善的Bug跟踪体系,包括报告Bug、查询Bug记录并产生报表、处理解决、管理员系统初始化和设置四部分。 2 管理员操作比较2.1 BugFree主要工作内容² 项目管理 1) 添加、终止项目 2) Bug 模块管理 3) Case 模块管理 ² 用户管理 1) 添加、编辑、删除用户(BugFree只有1个admin可以进行后台管理,但bugzilla可以先建立产品,然后对产品赋予管理员,产品管理员再对自己负责的项目进行管理,减轻admin的负担。) ² 分组管理 1) 为某类用户分配项目,否则用户无权执行任何操作 2) 用户只能对自己的项目进行操作,无权操作其他项目 ² 系统维护(直接操作物理数据库) 1) 虚拟目录备份 2) 数据库备份 2.2 Bugzilla主要工作内容² 产品(Product)、版本号(versions)和模块(Components)的定义 ² 指定模块相应的开发者(owner)和测试人员(QA Contact) ² 小组的定义和划分 ² 测试中Bug严重程度、优先级的定义 ² 增加用户,并分别设定全部用户的分组、权限 ² 主要参数(parameters)的设置 1) urlbase: 输入bugzilla 工具所在的服务器IP地址。 2) usebuggroupsentry: 设为ON,可以分组。 3) whinedays:Bug在whinedays设定的期限内若未被处理,将自动重发mail,默认为7天。 4) defaultpriority:设定默认的优先级 5) commentonresolve:设为ON,系统将强制要求开发者处理完Bug 后,必须填写修改的内容。 注:在使用bugzilla的过程中,只有前2者经常使用。权限控制方面没有BugFree严格,比如我们可以访问不属于自己的项目(美国360)。 3 用户操作比较3.1 创建bug² 相同功能:直接创建。 ² BugFree:根据case以及result生成,可自动复制一系列自段。 ² Bugzilla:Clone后修改部分字段。 创建Bug字段比较:
BugFree字段 | Bugzilla字段 | 备注 |
Bug标题 | √ | 常用 |
项目名/模块路径 | √ | 常用 |
指派给 | √ | 常用 |
抄送给 | √ | 常用 |
严重程度 | √ | 常用 |
优先级 | √ | 常用 |
Bug类型 | √ | 常用 |
如何发现 | | |
操作系统 | √ | 常用 |
浏览器 | √ | 常用 |
创建者 | √ | 常用 |
创建build | √ | 常用 |
机器配置 | | |
关键词 | √ | |
相关bug | 依赖bug | |
相关结果 | X | |
附件 | √ | 常用 |
复现步骤 | √ | 常用 |
X | 到期日 | |
| url | 可注释说明 |
X | 产品链接 | 可统计数据 |
| | |
注:
√表示有该字段,
X
表示没有该字段。常用的字段一致。 3.2 编辑bug
²
相同功能
:可以进行修改,并保存操作记录。
²
Bug
类型比较:
Bug类型—BugFree | Bug类型—Bugzilla | 备注 |
代码错误 | Defect | 经常使用 |
界面优化 | | 一般使用 |
需求变动 | Change Request | 一般使用 |
新增需求 | Enhancement | 一般使用 |
配置相关 | | |
安装部署 | | |
安全相关 | | 一般使用 |
性能优化 | | 一般使用 |
规范相关 | | |
测试脚本 | | |
事务跟踪 | | |
其他 | Rollup Task Support | 不常用 |
注:
2
者开发背景不同,类型相互比较意义不大,关键看哪个比较适合我们现在的产品。
²
如何发现比较:
如何发现—BugFree | 备注 |
集中测试 | |
测试用例 | |
随机测试 | |
版本验证测试 | |
客户反馈 | |
合作伙伴 | |
回归测试 | |
需求检查 | |
其他 | |
注:
bugzilla
没有该字段。按照惯例,我们的
bug
一般都是在集中测试的时候发现的。
²
解决方案比较
解决方案—BugFree | 解决方案—bugzilla | 备注 |
Fixed | Fixed | 常用 |
Postponed | Later | 常用 |
Won’t Fix | Won’t Fix | 常用 |
By design | Invalid | |
Duplicate | Duplicate | |
X | Accepted | |
X | Remind | |
X | worksforme | |
X | pushed | |
External | X | |
Not Repro | X | |
注:
X
表示没有该字段。常用的字段一致。
²
其他比较:
Bugzilla
能够引用回复某个注释(操作记录),BugFree
没有该功能。 3.3 列表显示
²
相同功能
:可以自定义显示字段。
²
BugFree
:
可以自定义分页条数。
²
Bugzilla
:不能分页,数据较多时定位某条bug
较困难。 3.4 快捷查找
²
相同功能
:自定义查询条件并保存。
²
BugFree
:
查找条件与查找结果在一个页面中显示。
²
Bugzilla
:
设置较多查询条件时易用性较差。 3.5 数据导出
²
相同功能:
均可以导出。
²
BugFree
:
默认导出为html
格式,所有字段均导出。
²
Bugzilla
:可以导出为Excel
格式,字段可以自定义。 3.6 数据统计
²
相同功能:
均可以进行统计。
²
BugFree
:
能够对当前选中的bug
、case
、result
进行统计,自定义生成报表。结果简单易懂,功能较强大。 bug
相关报表包括: 1)
项目bug
数量 2)
模块bug
数量 3) Bug
严重程度统计 4) Bug
解决方案统计 5) Bug
状态统计 6) Bug
类型统计 7)
每天新增的bug
数 8)
每天解决的bug
数 9)
每天关闭的bug
数 10)
每天提交的bug
数 11)
每人提交的bug
数 12)
每人头顶的bug
数 13)
每人解决的bug
数 14)
每人关闭的bug
数 15) Bug
处理时间统计 16) Bug
处理步骤统计
等等。各级人员均可以查看报表,从而使bug
更快地被响应解决
。 Case
以及result
生成的报表也较多,不再细述。
²
Bugzilla
:可以在产品链接中查看简单统计情况。如需进一步的报表,只能导出数据后人工生成。 3.7 与用户相关的bug、case展现
²
相同功能:
通过设置查询条件显示特定的bug
²
BugFree
:
页面左下方可以显示与自己有关的bug
、case
、result
。 BugFree
中bug
、case
展现包括 1)
指派给我 2)
由我创建 3)
我的查询
数据较多时出现下拉列表,方便定位。可以督促开发人员快速地响应bug
。 3.8 其它易用性比较
分别从以下角度比较2
者的易用性:
角度 | BugFree | Bugzilla | 备注 |
易见 | 较好 | 一般 | 功能是否容易被用户看到 |
易学 | 较好 | 较好 | 没有帮助文件能否清晰认识软件 |
易用 | 较好 | 一般 | 是否借助用户手册使用软件 |
界面友好 | 中文 | 英文 | |
数据库所在地 | 本地 | 美国 | |
可维护性 | 较好 | 一般 | |
用户习惯 | 一般 | 目前在用,已习惯 | |
4
与其他测试工具及数据结合度 4.1 与case结合度
²
BugFree
:可与testcase
结合。先设计case
,执行后根据result
直接生成bug
。 1) Test Case
模块和 Bug
模块保持独立 2)
按照业务流程和功能点创建模块
目前case
只能输入或copy
,不能批量导入(只能考虑在后台数据库导入)。能否与testlink
结合还有待研究。
²
Bugzilla
:目前没有与case
结合,只是单独的bug
管理工具。 4.2 与result结合度
²
BugFree
:本身与testcase
、testresult
结合。先设计case
,执行后根据result
直接生成bug
。
针对运行失败的Test Result
,创建Bug
。自动复制下列信息 1) Result
标题 -> Bug
标题 2) Result
项目/
模块路径->Bug
项目/
模块路径 3)
相关result 4)
操作系统 5)
浏览器 6)
运行 Build ->
创建 Build 7)
机器配置 8)
复现步骤
²
Bugzilla
:目前没有与result
结合。
综上, BugFree
的有XX
个优点,bugzilla
有xx
个优点,因此,我们采用XX
. 5
附:BugFree
中case
部分与testlink
区别:5.1 批量导入
²
BugFree
:目前只能编辑输入或copy
输入case
。批量导入的话只能考虑在后台数据库进行。
²
Testlink
:可以在前台通过导入Excel
数据快速装载。 5.2 批量查询
²
相同功能
:2
者均可以通过诸多的查询条件实现批量查询。
²
BugFree
:批量查询后,使用分页控件,阅读方便。
²
Testlink
:批量查询后,没有分页控件。 5.3 批量指派
²
相同功能
:2
者均可以指派给相应人员。
²
BugFree
:只能单独指派。
²
Testlink
:可以根据测试计划批量指派。 5.4 测试计划执行
²
Testlink
:可以建议测试计划,执行case 5.5 测试结果纪录与统计
²
相同功能:
均可以记录结果与统计。
²
BugFree
:
统计报表功能较强大。
²
Testlink
:
统计功能一般。