爬虫爬取网页上的表格

最新推荐文章于 2024-08-18 22:49:52 发布

幸运的Alina

最新推荐文章于 2024-08-18 22:49:52 发布

阅读量1.1w

点赞数 4

CC 4.0 BY-SA版权

分类专栏：爬虫 python学习笔记文章标签： BeautifulSoup

本文链接：https://blog.youkuaiyun.com/qq_27575895/article/details/88415358

本文介绍了一种利用BeautifulSoup库高效提取网页表格内容的方法，详细阐述了在爬虫项目中针对表格数据的抓取技巧，方便后续查阅。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近有个爬虫的需求，然后在做爬虫的过程中涉及到要去爬取网页中的表格内容，鉴于直接采用常规方法有点傻，于是记录了如何直接提取表格内的方法在此，以便后续再回顾。

from bs4 import BeautifulSoup
import urllib
import re
import config  #自己定义的配置文件

def spider_data(url):
    head = {}
    head['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36'
    data=urllib.request.Request(url=url,headers=head)
    file= urllib.request.urlopen(data)
    res=file.read().decode('utf8','ignore')
    soup=BeautifulSoup(res,'html.parser')
    return soup
  
def split_table(soup):  
    res= []
    if soup.tbody !=None:

        a = soup.tbody.children
        reg = re.compile(("<[^>]*>"))  # 清除html标签,提取文本，这里查找的是介于'<>'之间的表达式
        row0 = []  # row0用于保存上一行的信息
        flag = True  # row0未初始化
        for child in a:
              # 保存表格提取结果
            if child.find('th'):  # 提取表格字段
                for value in child.children: