python+selenium抓取网页新闻列表元素，保存到excel文档中

喵霓

于 2021-09-17 14:55:53 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python selenium 爬虫

本文链接：https://blog.youkuaiyun.com/huan_128/article/details/120349083

python+selenium:抓取网页新闻列表元素，并记录标题和链接地址，保存到excel文档中

#!/usr/local/bin/python3
# !python3.9
# -*- coding: UTF-8 -*-
'''
@File:xwzx1.py
@Time:2021-09-09 18:32
@Author:user
抓取网页新闻列表元素，并记录标题和链接地址，保存到excel文档中
'''
from selenium import webdriver
from os.path import join
import os
import sys
from time import strftime
from time import sleep
import xlrd
import xlwt

excel_dir=os.path.dirname(os.path.abspath(__file__))
now_time=strftime("%Y-%m-%d-%H-%M")


class text_xwzx():
    def __init__(self):

        self.url="http://www.sinopecgroup.com/group/xwzx/"
        self.filename=now_time+".xls"
        self.path=join(excel_dir,'data/')

    def getUTitle(self,driver,excel,row=0,col=0,rowlen=0):

        # 先找到ul->li，再找li->span.title->a,根据标签<a>属性，得到title和url
        ul = driver.find_element_by_css_selector("ul.w_