python 运用requests库 以及 正则表达式 爬取小说实例以及心得

笔者标注部分：

笔者技艺不精，若文章中有错误之处，还望各位大佬海涵，笔者希望与大家共同进步
此外笔者推荐python3以上的编辑器，因为过程中会出现一些编码问题,python2系列可能会将问题复杂化，

笔者采用python3.6进行演示

爬取网站内容：某网站小说（至于哪个网站，自行看代码）
robots协议：人工查看,无robots协议,可合法的对网站的爬取（若您对robots协议不熟悉，可询问小杜）

整体过程是，我们先通过requests库，得到网页源代码，再通过re（正则表达式）的筛选得到文章，

然后循环写入txt文件中。

废话不多说，我们直接开始。

# 笔者采用了pycharm来进行脚本的编写

如您未安装requests库，可在终端输入