利用Python爬取网页表格数据并存到excel
1、具体要求:
读取教务系统上自己的成绩单,并保存到本地的excel中
2、技术要求:
利用Selenium+Python获取网页,自动登陆并操作到成绩单页面
通过xlwt模块,将表格保存到本地excel
(其中xlwt模块通过cmd打开命令框,输入pip install xlwt下载)
3、主要代码:
#创建工作簿
wbk = xlwt.Workbook(encoding='utf-8', style_compression=0)
#创建工作表
sheet = wbk.add_sheet('sheet 1', cell_overwrite_ok=True)
#表头(table_top_list包含表头每一列的值)
table_top_list = driver.find_element_by_xpath("//form[@name='studentForm']/div[3]/fieldset/table/thead/tr").find_elements_by_tag_name('td')
#写入表头到sheet 1中,第0行第c列
for c,top in enumerate(table_top_list):
sheet.write(0, c, top.text)
# 表的内容
#将表的每一行存在table_tr_list中
table_tr_list = driver.find_element_by_xpath("//form[@name='studentForm']/div[3]/fieldset/table/tbody").find_elements_by_tag_name('tr')
for r,tr in enumerate(table_tr_list,1):
#将表的每一行的每一列内容存在table_td_list中
table_td_list = tr.find_elements_by_tag_name('td')
#写入表的内容到sheet 1中,第r行第c列
for c,td in enumerate(table_td_list):
sheet.write(r, c, td.text)
#保存表格到已有的 excel
wbk.save(r'C:\xxx\test.xls')
4、全部代码:
#coding:utf-8 from selenium import webdriver import time import xlwt driver = webdriver.Chrome() driver.get("http://xxxx/") time.sleep(2) #登陆研究生系统 driver.find_element_by_name("userName").send_keys("xxx") driver.find_element_by_name("password").send_keys("xxx") time.sleep(2) driver.find_element_by_xpath("html/body/div[2]/div[1]/form/div/dl/dt[3]/input[3]").click() time.sleep(2) driver.find_element_by_class_name("img_dl").click() #跳转到成绩查询按钮的frame frame1 = driver.find_element_by_name("leftFrame") driver.switch_to.frame(frame1) iframe1 = driver.find_element_by_name("zbFrame") driver.switch_to.frame(iframe1) time.sleep(3) #点击成绩查询-学期成绩查询 driver.find_element_by_xpath("html/body/table/tbody/tr/td/div/div/table[4]/tbody/tr/td/a").click() driver.find_element_by_xpath("html/body/table/tbody/tr/td/div/div/div[4]/table/tbody/tr/td/a").click() #先回到原来的页面 driver.switch_to.default_content() #载跳转到查询按钮所在的frame frame2 = driver.find_element_by_name("mainFrame") driver.switch_to.frame(frame2) #点击查询按钮 driver.find_element_by_xpath("//button[@class='button2']").click() #创建工作簿 wbk = xlwt.Workbook(encoding=