1.准备工作:
安装环境:python3,selenium库,xlsxwriter库,chorme浏览器,chormedriver(具体安装步骤自行百度)
2.开始编写代码
首先导入我们必须要的库:
from selenium import webdriver
import xlsxwriter
from selenium.webdriver.common.keys import Keys
接着编写一个打开网址的方法:
def OpenChorme(url):
chorm_drive = r'E:\python\chromedriver.exe' # 此处是我chormedriver放的位置
driver = webdriver.Chrome(executable_path=chorm_drive)
driver.get(url) # url你选择要打开的网址
return driver
我要打开的一个网站是我们这里内网的一个网址,就不给出来了。我们要抓取网站上的表格数据如下图:
通过chorme的开发者工具,我们可以定位到该table标签的 id 为 list
然后再查看其包含的子标签tbody>tr
其中,每一行tr标签又包含列td
每一行tr标签里的子标签td就包含着我们需要抓取的数据,那么我们就可以通过selenium的定位方法去定位标签,获取标签里的数据。
接下来,我们写一个获取所有表格数据的方法:
def find_all_data(driver):
dat = []
lst = []
# 通过css选择

本文介绍了一种使用Selenium和xlsxwriter库从网页抓取表格数据并将其保存到Excel文件的方法。通过定位table标签和其子标签,实现了数据的批量抓取。同时,通过输入页码实现分页数据的获取。
最低0.47元/天 解锁文章
3871





