Python爬虫学习笔记（七）

Kaaaakaki

于 2020-10-31 21:03:54 发布

阅读量117

点赞数

分类专栏： Python爬虫文章标签： python

本文链接：https://blog.youkuaiyun.com/Kaaaakaki/article/details/109104114

版权

Python爬虫专栏收录该内容

19 篇文章

订阅专栏

该代码段使用Python的requests和lxml库抓取了一个网址的历史数据页面，通过XPath表达式选取了含有城市名称的li元素，并将这些城市的名称存储到列表中。程序主要涉及网络请求和HTML解析，适用于数据抓取和Web爬虫相关的任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#抓取所有城市名称
import requests
from lxml import etree
if __name__=="__main__":
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36"}
    url='https://www.aqistudy.cn/historydata/'
    resp_text = requests.get(url=url,headers=headers).text
    etree = etree.HTML(resp_text)
    #多个xpath表达式之间可用 | 分隔
    li_list = etree.xpath('//div[@class="bottom"]/ul/li   |    //div[@class="bottom"]/ul/div[2]/li')
    cities_name_list = []
    for li in li_list:
        city = li.xpath('./a/text()')
        cities_name_list.append(city)
    print(cities_name_list)