python(BeautifulSoup)爬取wiki页面内容，并写入EXCEL中

最新推荐文章于 2023-10-25 15:31:45 发布

python_Ssane

最新推荐文章于 2023-10-25 15:31:45 发布

阅读量2.7k

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python爬虫 BeautifulSoup contents wiki 测试管理

本文链接：https://blog.youkuaiyun.com/weixin_44530778/article/details/88320112

本文介绍了如何使用Python的BeautifulSoup库爬取wiki页面的功能点内容，通过解析HTML，提取内容并整理成数组列表，然后将数据写入Excel表格，以改善测试管理效率，实现自动化测试数据的汇总整理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、每个版本都会发布n多个功能点，功能点全部列在wiki上，但是发现wiki使用起来并不是很方便，尤其列在上面的内容有长、有短，内容参差不齐。所以，就想到了用python爬取页面内容，寻找规律，将爬取的数据写入到excel表中，查看和统计数据方便很多。提升了测试管理效率，尽量通过自动化实现测试数据的汇总整理。

2、主要应用contents属性，contents能够获取到的是标签下的第一个标签，得到的是一个数组列表，且是一个bs4.element.Tag，支持取text属性值

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
import xlwt
import xlrd
from xlutils import copy
import os

# 功能点wiki
url_api = 'http://wiki.xxx.com/pages/viewpage.action?pageId=33884117'


#文件存放路径
file_path ='E:\\003spider\\commit_testlist_ok\\'
excel_name = 'testlist_commit.xlsx'

#判断文件目录的存在性
def dir_exists(file_path):
    is_exists = os.path.exists(file_path)
    if not is_exists:
        os.makedirs(file_path)
        return file_path
    else:
        return file_path

#判断excel文件的存在性
def file_excel_exists(file_name):
    #调用判断文件目录存在性的方法
    file_path_name = dir_exists(file_path)
    file_excel_name = os.path.join(file_path_name,file_name)