PYTHON_爬虫_贝壳二手房

最新推荐文章于 2025-04-02 14:10:24 发布

原创

最新推荐文章于 2025-04-02 14:10:24 发布 · 910 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

本文介绍如何使用Python进行网络爬虫，详细解析了针对贝壳二手房网站的数据抓取过程，包括请求发送、网页解析、数据提取等关键步骤，通过实例展示了Python爬虫在房地产信息获取中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
from lxml import etree
import re


# 存放重庆的市区拼写的列表
regions = ['yubei']

# 自定义一个爬虫函数

def findInfo(url):

    with open(r'C:\Users\Administrator\Desktop\python爬虫\HouseData.csv', "a", encoding='utf-8') as f:  # 打开一个csv文件将爬取的数据存放到文件中

        user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ' \
                     '(KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'

        headers = {'User-Agent': user_agent}
        resp = requests.get(url, headers=headers).text
        # print(resp)  # 打印网页代码内容

        # 对网页进行解析，解析为Element对象，可以使用xpath方法
        tree = etree.HTML(resp, etree.HTMLParser())
        print("tree:", tree)

        # 将找到的li标签（一套房子的信息）内容存放到列表中
        infos = tree.xpath('//li[@class="clear"]')
        print("infos:" , infos)

        for info in infos:
            # 详情页
            # xpath("//a/@href")  # www.some.com
            Detail= str(info.xpath('./a/@href'))
            print("Detail：",Detail)

            # 一层