通过访问公开网页,快速获取网站历史数据,并保存在excel或者csv文件中,为进一步处理提供方便。
一、结果
获取大乐透数据
读取网页成功!
d:\yypy\yydlt2022425103330.xls
正在提取保存数据......
写入EXCEL表 d:\yypy\yydlt2022425103330.xls 成功!
获取双色球数据
读取网页成功!
d:\yypy\yyssq2022425103338.xls
正在提取保存数据......
写入EXCEL表 d:\yypy\yyssq2022425103338.xls 成功!
整个过程用时 19.94329071044922 秒
二、代码
import requests #爬虫库
import xlwt #写excel表库
import time #时间获取转换
from bs4 import BeautifulSoup #爬虫库
# 获取网页内容
def get_html(url):
#这是一个UA伪装,告诉网站你浏览器和操作系统系统
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36