利用python提取excel中网页链接并下载对应网页

最新推荐文章于 2025-06-25 16:33:47 发布

原创最新推荐文章于 2025-06-25 16:33:47 发布 · 1.6k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python #chrome #开发语言

Python 专栏收录该内容

12 篇文章

订阅专栏

该代码段展示了一个使用Python的xlrd、selenium和正则表达式库来从Excel表格中提取网址，然后下载对应网页并保存为MHTML文件的过程。它首先读取Excel工作簿，对每个工作表，检查是否存在对应的文件夹，如果不存在则创建。接着，遍历单元格查找URL，用Chrome浏览器获取网页内容，并将其保存为MHTML格式。如果文件已存在，则跳过下载。

1.提取各个表链接

2.下载对应的网页并保存到对应的文件夹

小白，不保证准确性

import xlrd
import re
from jieba import xrange
from selenium import webdriver
import os


wb = xlrd.open_workbook('xxxx.xlsx')

p = wb.sheet_names()
obj = re.compile(r"https:/.*?\d+")

for y in p:
    print(y)
    base_dir = os.path.dirname(__file__)

    if os.path.exists(base_dir + '/' + y):
        print('exist')
    else:
        os.mkdir(base_dir + '/' + y)  # 创建
    sh = wb.sheet_by_name(y)
    sheet_data = []
    for rownum in xrange(sh.nrows):
        sheet_data.append((sh.row_values(rownum)))
        found_list = []
        rows_to_be_saved = []
        for i in sheet_data:
            for cell in i:
                ret = obj.finditer(str(cell))
                for it in ret:
                    # print(it.group())
                    # found_list.append(it.group())

                    filename = os.path.join(base_dir + '/' + y.strip(), re.search(r"\d+", it.group()).group() + '.mhtml')
                    if os.access(filename,os.F_OK):
                        print('Given file path is exist.')
                    else:
                        driver = webdriver.Chrome()
                        driver.get(it.group())
                    # 1. 执行 Chome 开发工具命令，得到mhtml内容
                        res = driver.execute_cdp_cmd('Page.captureSnapshot', {})

                    # 2. 写入文件

                        with open(filename, 'w', newline='') as f:
                            f.write(res['data'])
                        driver.quit()
                # result = obj.findall(str(cell))
                # print(result)
                # if cell.value == "string1" or i[2] == "string2" or i[2] == "string3" or i[2] == "string4" or i[2] == "string5":

            # else:

            # rows_to_be_saved.append(i)

print("over")