python爬虫——爬取抽屉新热榜

爬取抽屉新热榜

爬取段子

抽屉网址https://dig.chouti.com/r/scoff/hot/
这里写图片描述
爬虫的常规操作,根据需求进行分析。我们要爬取段子,也就是每条段子信息。先按F12查看一下网页,审查元素。
这里写图片描述
这里写图片描述
我们刚好找到段子信息,看看其他段子是不是也在这个位置。我们发现了25条一样的这里写图片描述标签。每条标签下都有段子信息,刚好和这页的25条信息相对应。

这里写图片描述
提取这些信息,我们同样使用BeautifulSoup。BeautifulSoup的用法我在另一篇文章中有所介绍BeautifulSoup用法

这是一页的信息,如何获取多页呢,看看第二页的网址。
这里写图片描述
再看看第三页的网址。
这里写图片描述
我们发现了规律,用表达式写出来
url = 'http://dig.chouti.com/r/scoff/hot/'+str(i)
这样就可以获取多页的段子信息了。

直接上代码

完整代码

import requests
from bs4 import BeautifulSoup

headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:58.0) Gecko/20100101 Firefox/58.0'}
for i in range(10):
    url = 'http://dig.chouti.com/r/scoff/hot/'+str(i)
    html=requests.get(url,headers=headers)
    html.encoding=html.apparent_encoding


    soup=BeautifulSoup(html.text,'html.parser')
    div=soup.find(id='content-list')
    div2=div.find_all('div',class_="item")


    for i in div2:
        a=i.find('div',class_="part2")
        b = a.get('share-title')
        print(b)
        with open('duanzi.txt','a',encoding='utf-8')as f:
            f.write(b)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

乐亦亦乐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值