爬虫-xpath-全国城市名称爬取

原创

于 2021-04-24 17:51:42 发布 · 616 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #xpath

本文介绍了如何使用Python的requests模块和XPath进行网页数据抓取，目标是获取某网站上的全国城市名称。通过分析需求，首先获取指定URL的网页数据，接着利用XPath表达式解析出包含城市名的元素，最终将这些数据存储到本地列表中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

1）需求分析
2）基本思路
3）程序
4）运行效果

1）需求分析

url = ‘https://www.aqistudy.cn/historydata/’
在这里插入图片描述

2）基本思路

首先使用requests模块获取网页数据；
其次，利用xpath解析数据，获取热门城市和所有城市的名字；
最后，将数据保存到列表中；
在这里插入图片描述
ul_list = ‘//div[@class=“all”]/div[@class=“botton”]ul’
li_list = ‘./div[2]/li’

在这里插入图片描述

3）程序

（1）导包

import requests
from lxml import etree

（2）使用requests发起响应，获得网页数据

# 使用requests发起响应，获得网页数据
def get_one_page(url):
    """
    获取某一页的数据
    """
    try:
        response = requests.get(url=url, headers

最低0.47元/天解锁文章

200万优质内容无限畅学