爬虫实践一：利用python爬取百度贴吧内容

最新推荐文章于 2021-01-30 11:54:02 发布

ID：Bu1

最新推荐文章于 2021-01-30 11:54:02 发布

阅读量2.1k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：爬虫学习文章标签： python爬虫

本文链接：https://blog.youkuaiyun.com/Bu1_6636/article/details/88897287

本文记录了一位初学者在尝试Python爬虫时遇到的问题及解决过程。通过修正headers和HTML class错误，成功爬取了百度贴吧的内容。作者分享了找错方法，包括格式化输出HTML和关键词定位。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#学了python后老想折腾点东西，便在网上找了一些教程。= =
找到一个大佬写的关于爬虫入门的知乎专栏，但是在实际操作是发现并不能实现和作者一样的效果，经过自己的找错改错，最后成功实现。因此，有了这篇文章。本人小萌新，各位路过的大神轻喷。

大佬的原贴地址：从零开始写Python爬虫

在原实例中，最后无法成功爬取贴吧内容。
经过查找相关信息，我在代码中添加了headers头。
但是还是无法提取到信息
最后我发现原来在使用soup函数时后面的class里的内容填的不正确。。。
所以导致在li列表一直为空。

在这个找错的过程中我用到了一个办法（具体看代码30行与31行）
就是输出格式化后的整个html文档，然后利用关键词快速定位，
这样可以快速且正确找出我们所需要的便签内容。

ps：如果有更好的方法请留言告知。感谢！

修改后的代码：

'''''
百度贴吧内容抓取
讲一下大致的思路：
首先用requests抓取整个网页
再用Bs4格式化这个网页
最后提取我们的内容并输出

'''''

import requests
import time
from bs4 import BeautifulSoup
#首先抓取整个网页
def get_html(url):
    try:
        kv = {'user-agent':'Mozilla/4.0'} #伪装客户端
        r = requests.get(url,headers = kv,timeout=30)
        r.raise_for_status()
        r.encoding = 'UTF-8'
        #print(r.text[:1000])
        return r.text
    except:
        return "ERROR"

#对网页数据进行处理
def get_content(url):
    comments = [