python爬虫—使用xpath方法进行数据解析

最新推荐文章于 2024-08-16 00:28:12 发布

学习中i。。。。。。

最新推荐文章于 2024-08-16 00:28:12 发布

阅读量288

点赞数 1

文章标签： python 爬虫开发语言

本文链接：https://blog.youkuaiyun.com/jiangxiuying06/article/details/134116176

版权

本文介绍了如何通过Python的requests和lxml库，利用XPath解析技术，从安居客网站上爬取武汉二手房源的信息，保存到文本文件中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 背景信息

爬取安居客二手房源信息
URL地址：https://wuhan.anjuke.com/sale/?from=navigation
在这里插入图片描述

2. 代码实现

import requests
from lxml import etree

if __name__ == '__main__':
    # 1.指定URL
    url = "https://wuhan.anjuke.com/sale/?from=navigation"
    # 2.UA伪装（模拟浏览器）
    headers = {
        'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36'
    }
    # 3.发起请求并获取响应内容
    page_text = requests.get(url=url,headers=headers).text
    # print(page_text)

    # 4.使用etree进行数据解析
    tree = etree.HTML(page_text)
    # 5.存储div标签的对象
    div_list = tree.xpath('//section[@class="list"]/div')
    # print(div_list)
    fp = open('58.txt','w',encoding='utf-8')
    for div in div_list:
        # 局部解析
        title = div.xpath('./a/div[2]/div[1]/div[1]/h3/text()')[0]
        print(title)
        fp.write(title+'\n')