静态网页爬虫教程（4）同一页面多篇文章内容提取和保存

最新推荐文章于 2023-11-09 13:31:19 发布

ryo007gnnu

最新推荐文章于 2023-11-09 13:31:19 发布

阅读量718

点赞数 1

分类专栏：爬虫文章标签： python

本文链接：https://blog.youkuaiyun.com/ryo007gnnu/article/details/109022414

版权

前面的文章中，我们已经成功的完成了对一篇文章的内容提取和保存。现在新的问题又来了，之前我们提取过的超链接有那么多，标题也有不少，怎么能只提取一篇文章而放弃一堆呢？别急，下面我们就开始说说多篇文章的内容提取和保存。聪明的朋友肯定早就猜到了，接下来我们要做的就是循环，话不多说，开始折腾。

        for k in range(len(reh)):
            urlt=reh[k]
            req=requests.get(urlt)         
            req.encoding=requests.utils.get_encodings_from_content(req.text)
            text2=re.findall('<div id="ctrlfscont" class="article-content"><p>(.*?)</p></div>',req.text,re.S)
            text2=re.sub('<p>|</p>|&ldquo;|&rdquo;','',str(text2).replace('\\n',''