快速获取网站历史数据

Python爬取网站历史数据并存储

firefox_yau

已于 2022-04-28 15:25:10 修改

阅读量991

点赞数

CC 4.0 BY-SA版权

分类专栏： # python 网络公开数据实战文章标签： python

于 2022-04-25 10:46:03 首次发布

本文链接：https://blog.youkuaiyun.com/firefox_yau/article/details/124399469

python 网络公开数据实战专栏收录该内容

33 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍如何使用Python快速获取网站的历史数据，并将其保存为Excel或CSV格式，便于后续分析。

通过访问公开网页，快速获取网站历史数据，并保存在excel或者csv文件中，为进一步处理提供方便。

一、结果

获取大乐透数据
读取网页成功!
d:\yypy\yydlt2022425103330.xls
正在提取保存数据......
写入EXCEL表 d:\yypy\yydlt2022425103330.xls 成功!
获取双色球数据
读取网页成功!
d:\yypy\yyssq2022425103338.xls
正在提取保存数据......
写入EXCEL表 d:\yypy\yyssq2022425103338.xls 成功!
整个过程用时 19.94329071044922 秒

二、代码

import requests #爬虫库
import xlwt #写excel表库
import time #时间获取转换
from bs4 import BeautifulSoup #爬虫库

# 获取网页内容
def get_html(url):
    #这是一个UA伪装,告诉网站你浏览器和操作系统系统
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/6

了解本专栏