本文介绍了如何使用Python爬虫抓取百度贴吧的帖子标题、链接及评论内容。首先确定请求地址，然后通过正则表达式处理被注释的HTML代码来提取信息。接着，对详情页进行爬取，获取每个帖子的评论文字和图片。通过分析URL规律，实现了爬取任意主题贴吧的功能。开发环境为PyCharm，使用的Python版本为3.6，需要安装requests和lxml库。
目标是steam吧，原始网页长这样
首先确定请求地址
然后写一个类，把需要用到的功能函数先着出来准备着
查看网页源代码后，发现帖子的标题及链接是绿色的，用xpath提取不到（网上查过了是因为这段代码被注释掉的问题，解决方案是用正则的替换把注释符号去掉，然后就可以正常匹配）
使用正则可以找到
改变提取策略，用正则匹配内容
最低0.47元/天 解锁文章
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
