《xpath下载百度新闻链接》路径匹配 csv文件保存

最新推荐文章于 2022-05-29 20:55:46 发布

huanghong6956

最新推荐文章于 2022-05-29 20:55:46 发布

阅读量330

点赞数

CC 4.0 BY-SA版权

分类专栏：网络多线程爬虫

本文链接：https://blog.youkuaiyun.com/huanghong6956/article/details/86691388

爬虫同时被 2 个专栏收录

13 篇文章

订阅专栏

网络多线程

9 篇文章

订阅专栏

本文介绍了一种使用Python的requests和lxml库从百度获取热门搜索关键词及其URL的方法，并将数据保存为CSV文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#conding=utf-8

from lxml import html
import requests
import csv

header={
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
}

response=requests.get('http://top.baidu.com/buzz?b=1&fr=20811',headers=header)

response.encoding=response.apparent_encoding
tree=html.fromstring(response.text)

name=tree.xpath('//td[@class="keyword"]/a[1]/text()')
url=tree.xpath('//td[@class="keyword"]/a[1]/@href')
print(name)
print(url)
colum=['名称','地址']
date=zip(name,url)
with open('data.csv',mode='w',encoding='utf-8',newline='') as file:
    writer=csv.writer(file)
    writer.writerow(colum)
    writer.writerows(date)