python 用爬虫写网页测试

最新推荐文章于 2025-10-17 22:30:03 发布

原创

最新推荐文章于 2025-10-17 22:30:03 发布 · 1.3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #测试

本文通过实例展示了如何使用Python爬虫对维基百科页面进行测试，包括检查页面标题是否为'Monty Python'及是否存在指定ID的div节点。测试中利用unittest的setUpClass方法确保页面内容只加载一次，提高了效率。

以测试维基百科为例：

from urllib.request import urlopen
from bs4 import BeautifulSoup
import unittest

class TestWikipedia(unittest.TestCase):
    bsObj = None
    def setUpClass():
        global bsObj
        url = 'http://en.wikipedia.org/wiki/Monty_Python'
        bsObj = BeautifulSoup(urlopen(url))
        print('setting up the test')