python爬虫实战-爬取笑话大全并保存至本地（xpath）

最新推荐文章于 2020-11-24 14:31:41 发布

原创

最新推荐文章于 2020-11-24 14:31:41 发布 · 1.3k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

本文介绍如何使用Python爬虫技术，结合XPath解析，从在线笑话大全网站抓取内容，并将其完整保存到本地文件中，为Python初学者提供实践指导。

python爬虫实战-爬取笑话大全并保存至本地（xpath）

import urllib.parse
import urllib.request
from lxml import etree
import time
import json

item_list=[]
def handle_request(url,page):
	headers={
   
   
		'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
	}
	# 拼接url
	# url=url % page
	url=url.format(page)
	request=urllib.request.Request(url=url,headers