requests库爬取汽车之家(get请求)并存入csv文件

最新推荐文章于 2024-04-08 19:32:13 发布

周攀panda

最新推荐文章于 2024-04-08 19:32:13 发布

阅读量1.4k

点赞数 4

分类专栏：爬虫 request库get请求 csv文件文章标签： python xpath

本文链接：https://blog.youkuaiyun.com/zp1534074749/article/details/110072175

版权

requests库爬取汽车之家（get请求）

首先分析网页结构

查看网页源代码发现标题，图片url，福利和购买跳转链接id都在源码里有：
在这里插入图片描述

在这里插入图片描述
所以对于标题，福利，和图片url都在标签里，我们可以用xpath进行提取，而购买跳转链接id在json形式的字符串里，所以我们用正则表达式提取
代码如下：

title=etree.HTML(req.text).xpath('//*[@id="list"]/ul/li[1]/a/div[4]/text()')
newtitle=title[0].replace('\r\n\t','').replace(' ','')
print('标题：',newtitle)
fl=etree.HTML(req.text).xpath('//*[@id="list"]/ul/li[1]/a/div[5]/text()')
fuli=fl[0].replace('\r\n\t','').replace(' ','')
print('福利：',fuli)
photourl=etree.HTML(req.text).xpath('//*[@id="list"]/ul/li[1]/a/div[2]/img/@data-original')
tpurl='https:{}'.format(photourl[0])
print('图片url:',tpurl)
href=re.findall(',"itemId":(.*?),',req.text)
print('跳转链接id：'href)