【爬虫学习5】使用BeautifulSoup改进对知乎的爬取

EmpGro

于 2017-10-22 16:20:00 发布

阅读量711

点赞数

CC 4.0 BY-SA版权

分类专栏： ======python====== 网络爬虫文章标签： selenium beautiful 爬虫

本文链接：https://blog.youkuaiyun.com/linangfs/article/details/78310870

本文介绍了在爬取知乎timeline时，如何利用BeautifulSoup替代selenium解决复杂HTML结构解析的问题。通过学习官方文档，作者发现并记录了使用BeautifulSoup的几个关键点：如处理.strings、NavigableString类型、对象类型判断、筛选含-data属性的元素以及list操作。代码已上传至Git，包括使用BeautifulSoup的源码和爬取结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在上一篇文章“使用selenium爬取知乎timeline“时，碰到一个问题：
知乎的timeline中得news有三类：
第一类
第二类
第三类

这三类都是分别包含在

<div class='Card TopstoryItem TopstoryItem--experimentExpand TopstoryItem--experimentButton'>...</div>

这样一个card里面，但是div内部具体实现不同。

直观地说
第一类是赞同、评论
第二类是发表文章
第三类是关注问题
这三类在div中包

最低0.47元/天解锁文章