知足常乐的博客

开始之前先安装我们需要的库：bs4库内的Beautiful Soup 的方法可以用pip命令：pip install beautifulsoup4或者在pycharm中 settings–>Project:py–>Project interpreter–>点击右侧+ –>查询并install要爬取的维基百科url–>https://zh.wikipedia.org/wiki/Wikipedia:%E

我们要爬取的是百度贴吧 –神盾局吧–中的帖子信息url = “http://tieba.baidu.com/f?kw=%E7%A5%9E%E7%9B%BE%E5%B1%80&ie=utf-8”我们往后翻页发现第二页url = “http://tieba.baidu.com/f?kw=%E7%A5%9E%E7%9B%BE%E5%B1%80&ie=utf-8&pn=50”往后页数依次累加50， 这就说明