八步爬取租房信息

最新推荐文章于 2024-05-25 01:07:28 发布

原创

最新推荐文章于 2024-05-25 01:07:28 发布 · 697 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #多进程 #多协程 #爬虫

本文详细介绍了使用Python进行网络爬虫，通过多进程和协程技术爬取链家网站上的租房信息，包括每页源码爬取、页码遍历、城市区域获取、目标信息解析、数据保存到CSV文件以及主程序的设计和运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用python的多进程+协程爬取链家所有租房信息

一、首先完成每张网页的源代码爬取

代码的功能和解释写在代码注释中

def urlgo(url):
	#使用ssl模块，主要是为了能爬取https开头的网站
    context = ssl._create_unverified_context()
    #爬取网页时加上请求头，模拟正常访问网页
    header = {
   
   
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"}
    requset = urllib.request.Request(url, headers=header)
    response = urllib.request.urlopen(requset, context=context)
    data = response.read().decode("utf-8")
    #返回值为网页的源代码
    return data

二、获取网页中所有的页码，并再次爬取

def getpage(url):
	'''
    :param url: 该参数为某个地区的网址
    :return: 指定地区的最大页码
    '''
    data = urlgo(url)
    pageList = re.findall(r'data-totalPage=(\d{1,3})',data