pytest使用allure测试报告详解

最近通过群友了解到了allure这个报告，开始还不以为然，但还是逃不过真香定律。

经过试用之后，发现这个报告真的很好，很适合自动化测试结果的展示。下面说说我的探索历程吧。

选用的项目为Selenium自动化测试Pytest框架实战，在这个项目的基础上说allure报告。

allure安装

首先安装python的allure-pytest包

pip install allure-pytest

然后安装allure的command命令行程序

MacOS直接使用homebrew工具执行 brew install allure 即可安装，不用配置下载包和配置环境

在GitHub下载安装程序https://github.com/allure-framework/allure2/releases

但是由于GitHub访问太慢，我已经下载好并放在了群文件里面

下载完成后解压放到一个文件夹。我的路径是D:\Program Files\allure-2.13.3

然后配置环境变量： 在系统变量path中添加D:\Program Files\allure-2.13.3\bin，然后确定保存。

打开cmd，输入allure，如果结果显示如下则表示成功了：

1. C:\Users\hoou>allure

3. Usage: allure [options] [command] [command options]

5. Options:

7. --help

9. Print commandline help.

11. -q, --quiet

13. Switch on the quiet mode.

15. Default: false

17. -v, --verbose

19. Switch on the verbose mode.

21. Default: false

23. --version

25. Print commandline version.

27. Default: false

29. Commands:

31. generate Generate the report

33. Usage: generate [options] The directories with allure results

35. Options:

37. -c, --clean

39. Clean Allure report directory before generating a new one.

41. Default: false

43. --config

45. Allure commandline config path. If specified overrides values from

47. --profile and --configDirectory.

49. --configDirectory

51. Allure commandline configurations directory. By default uses

53. ALLURE_HOME directory.

55. --profile

57. Allure commandline configuration profile.

59. -o, --report-dir, --output

61. The directory to generate Allure report into.

63. Default: allure-report

67. serve Serve the report

69. Usage: serve [options] The directories with allure results

71. Options:

73. --config

75. Allure commandline config path. If specified overrides values from

77. --profile and --configDirectory.

79. --configDirectory

81. Allure commandline configurations directory. By default uses

83. ALLURE_HOME directory.

85. -h, --host

87. This host will be used to start web server for the report.

89. -p, --port

91. This port will be used to start web server for the report.

93. Default: 0

95. --profile

97. Allure commandline configuration profile.

101. open Open generated report

103. Usage: open [options] The report directory

105. Options:

107. -h, --host

109. This host will be used to start web server for the report.

111. -p, --port

113. This port will be used to start web server for the report.

115. Default: 0

119. plugin Generate the report

121. Usage: plugin [options]

123. Options:

125. --config

127. Allure commandline config path. If specified overrides values from

129. --profile and --configDirectory.

131. --configDirectory

133. Allure commandline configurations directory. By default uses

135. ALLURE_HOME directory.

137. --profile

139. Allure commandline configuration profile.

allure初体验

改造一下之前的测试用例代码

1. #!/usr/bin/env python3

3. # -*- coding:utf-8 -*-

5. import re

7. import pytest

9. import allure

11. from utils.logger import log

13. from common.readconfig import ini

15. from page_object.searchpage import SearchPage

21. @allure.feature("测试百度模块")

23. class TestSearch:

25. @pytest.fixture(scope='function', autouse=True)

27. def open_baidu(self, drivers):

29. """打开百度"""

31. search = SearchPage(drivers)

33. search.get_url(ini.url)

37. @allure.story("搜索selenium结果用例")

39. def test_001(self, drivers):

41. """搜索"""

43. search = SearchPage(drivers)

45. search.input_search("selenium")

47. search.click_search()

49. result = re.search(r'selenium', search.get_source)

51. log.info(result)

53. assert result

57. @allure.story("测试搜索候选用例")

59. def test_002(self, drivers):

61. """测试搜索候选"""

63. search = SearchPage(drivers)

65. search.input_search("selenium")

67. log.info(list(search.imagine))

69. assert all(["selenium" in i for i in search.imagine])

73. if __name__ == '__main__':

75. pytest.main(['TestCase/test_search.py', '--alluredir', './allure'])

77. os.system('allure serve allure')

然后运行一下：

注意：如果你使用的是pycharm编辑器，请跳过该运行方式，直接使用.bat或.sh的方式运行

1. ***

7. ------------------------------- generated html file: file://C:\Users\hoou\PycharmProjects\web-demotest\report.html --------------------------------

11. Results (12.97s):

13. 2 passed

15. Generating report to temp directory...

17. Report successfully generated to C:\Users\hoou\AppData\Local\Temp\112346119265936111\allure-report

19. Starting web server...

21. 2020-06-18 22:52:44.500:INFO::main: Logging initialized @1958ms to org.eclipse.jetty.util.log.StdErrLog

23. Server started at <http://172.18.47.241:6202/>. Press <Ctrl+C> to exit

命令行会出现如上提示，接着浏览器会自动打开：

点击左下角En即可选择切换为中文。

是不是很清爽很友好，比pytest-html更舒服。

allure装饰器介绍

报告的生成和展示
刚才的两个命令：

生成allure原始报告到report/allure目录下，生成的全部为json或txt文件。

pytest TestCase/test_search.py --alluredir ./allure

在一个临时文件中生成报告并启动浏览器打开

allure serve allure

但是在关闭浏览器之后这个报告就再也打不开了。不建议使用这种。

所以我们必须使用其他的命令，让allure可以指定生成的报告目录。

我们在项目的根目录中创建run_case.py文件，内容如下：

1. #!/usr/bin/env python3

3. # -*- coding:utf-8 -*-

5. import sys

7. import subprocess

11. WIN = sys.platform.startswith('win')

17. def main():

19. """主函数"""

21. steps = [

23. "venv\\Script\\activate" if WIN else "source venv/bin/activate",

25. "pytest --alluredir allure-results --clean-alluredir",

27. "allure generate allure-results -c -o allure-report",

29. "allure open allure-report"

31. ]

33. for step in steps:

35. subprocess.run("call " + step if WIN else step, shell=True)

41. if __name__ == "__main__":

43. main()

命令释义：

1、使用pytest生成原始报告，里面大多数是一些原始的json数据，加入--clean-alluredir参数清除allure-results历史数据。

pytest --alluredir allure-results --clean-alluredir

--clean-alluredir 清除allure-results历史数据

2、使用generate命令导出HTML报告到新的目录

allure generate allure-results -o allure-report

-c 在生成报告之前先清理之前的报告目录

-o 指定生成报告的文件夹

3、使用open命令在浏览器中打开HTML报告

allure open allure-report

好了我们运行一下该文件。

1. Results (12.85s):

3. 2 passed

5. Report successfully generated to c:\Users\hoou\PycharmProjects\web-demotest\allure-report

7. Starting web server...

9. 2020-06-18 23:30:24.122:INFO::main: Logging initialized @260ms to org.eclipse.jetty.util.log.StdErrLog

11. Server started at <http://172.18.47.241:7932/>. Press <Ctrl+C> to exit

可以看到运行成功了。

在项目中的allure-report文件夹也生成了相应的报告。

allure发生错误截图

上面的用例全是运行成功的，没有错误和失败的，那么发生了错误怎么样在allure报告中生成错误截图呢，我们一起来看看。

首先我们先在config/conf.py文件中添加一个截图目录和截图文件的配置。

1. +++

5. class ConfigManager(object):

9. ...

13. @property

15. def screen_path(self):

17. """截图目录"""

19. screenshot_dir = os.path.join(self.BASE_DIR, 'screen_capture')

21. if not os.path.exists(screenshot_dir):

23. os.makedirs(screenshot_dir)

25. now_time = dt_strftime("%Y%m%d%H%M%S")

27. screen_file = os.path.join(screenshot_dir, "{}.png".format(now_time))

29. return now_time, screen_file

33. ...

35. +++

然后我们修改项目目录中的conftest.py：

1. #!/usr/bin/env python3

3. # -*- coding:utf-8 -*-

5. import base64

7. import pytest

9. import allure

11. from py.xml import html

13. from selenium import webdriver

17. from config.conf import cm

19. from common.readconfig import ini

21. from utils.times import timestamp

23. from utils.send_mail import send_report

27. driver = None

33. @pytest.fixture(scope='session', autouse=True)

35. def drivers(request):

37. global driver

39. if driver is None:

41. driver = webdriver.Chrome()

43. driver.maximize_window()

47. def fn():

49. driver.quit()

53. request.addfinalizer(fn)

55. return driver

61. @pytest.hookimpl(hookwrapper=True)

63. def pytest_runtest_makereport(item):

65. """

66. 当测试失败的时候，自动截图，展示到html报告中

67. :param item:

68. """

70. pytest_html = item.config.pluginmanager.getplugin('html')

72. outcome = yield

74. report = outcome.get_result()

76. report.description = str(item.function.__doc__)

78. extra = getattr(report, 'extra', [])

82. if report.when == 'call' or report.when == "setup":

84. xfail = hasattr(report, 'wasxfail')

86. if (report.skipped and xfail) or (report.failed and not xfail):

88. screen_img = _capture_screenshot()

90. if screen_img:

92. html = '<div><img src="data:image/png;base64,%s" alt="screenshot" style="width:1024px;height:768px;" ' \

94. 'onclick="window.open(this.src)" align="right"/></div>' % screen_img

96. extra.append(pytest_html.extras.html(html))

98. report.extra = extra

104. def pytest_html_results_table_header(cells):

106. cells.insert(1, html.th('用例名称'))

108. cells.insert(2, html.th('Test_nodeid'))

110. cells.pop(2)

116. def pytest_html_results_table_row(report, cells):

118. cells.insert(1, html.td(report.description))

120. cells.insert(2, html.td(report.nodeid))

122. cells.pop(2)

128. def pytest_html_results_table_html(report, data):

130. if report.passed:

132. del data[:]

134. data.append(html.div('通过的用例未捕获日志输出.', class_='empty log'))

140. def pytest_html_report_title(report):

142. report.title = "pytest示例项目测试报告"

148. def pytest_configure(config):

150. config._metadata.clear()

152. config._metadata['测试项目'] = "测试百度官网搜索"

154. config._metadata['测试地址'] = ini.url

160. def pytest_html_results_summary(prefix, summary, postfix):

162. # prefix.clear() # 清空summary中的内容

164. prefix.extend([html.p("所属部门: XX公司测试部")])

166. prefix.extend([html.p("测试执行人: 随风挥手")])

172. def pytest_terminal_summary(terminalreporter, exitstatus, config):

174. """收集测试结果"""

176. result = {

178. "total": terminalreporter._numcollected,

180. 'passed': len(terminalreporter.stats.get('passed', [])),

182. 'failed': len(terminalreporter.stats.get('failed', [])),

184. 'error': len(terminalreporter.stats.get('error', [])),

186. 'skipped': len(terminalreporter.stats.get('skipped', [])),

188. # terminalreporter._sessionstarttime 会话开始时间

190. 'total times': timestamp() - terminalreporter._sessionstarttime

192. }

194. print(result)

196. if result['failed'] or result['error']:

198. send_report()

204. def _capture_screenshot():

206. """截图保存为base64"""

208. now_time, screen_file = cm.screen_path

210. driver.save_screenshot(screen_file)

212. allure.attach.file(screen_file,

214. "失败截图{}".format(now_time),

216. allure.attachment_type.PNG)

218. with open(screen_file, 'rb') as f:

220. imagebase64 = base64.b64encode(f.read())

222. return imagebase64.decode()

来看看我们修改了什么：

我们修改了_capture_screenshot函数

在里面我们使用了webdriver截图生成文件，并使用allure.attach.file方法将文件添加到了allure测试报告中。

并且我们还返回了图片的base64编码，这样可以让pytest-html的错误截图和allure都能生效。

运行一次得到两份报告，一份是简单的一份是好看内容丰富的。

现在我们在测试用例中构建一个预期的错误测试一个我们的这个代码。

修改test_002测试用例

        assert not all(["selenium" in i for i in search.imagine])

运行一下：

可以看到allure报告中已经有了这个错误的信息。

再来看看pytest-html中生成的报告：

可以看到两份生成的报告都附带了错误的截图，真是鱼和熊掌可以兼得呢。

好了，到这里可以说allure的报告就先到这里了，以后发现allure其他的精彩之处我再来分享。

 

感谢每一个认真阅读我文章的人，礼尚往来总是要有的，虽然不是什么很值钱的东西，如果你用得到的话可以直接拿走：

这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你!有需要的小伙伴可以点击下方小卡片领取