Linging_24的博客

转载：https://www.cnblogs.com/z-x-y/p/9494795.html1.centos7自带python2.7的环境。下面开始安装python3.6.3（说明：可以whereis python 看到python的所在路径）2.安装依赖包,执行如下2条命令yum -y groupinstall "Development tools"yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite.

摘要随着网络迅速发展，人们在网络上发表自己的观点和看法，记录自己的生活和学习经历在博客上，对于大量的博客，如何进行搬家和处理，那是一个很让人头大的事情，在这样的情形下，提出采用基于Scrapy的python爬虫对大量的博客内容进行快速搬家，来适应如今大规模、海量数据的发展。1．引言随着网络的迅速发展，万维网成为大量信息的载体，人们通过网络记录自己的博客，简易迅速便捷地发布自己的心得或学习笔记，当你在某平台写了大量博客后，想要将博客搬家，移到别的平台，或者自己的个人网站上，或者你想将博客下载下来，进行保

#原生爬虫from urllib import requestimport re#F5启动程序debugclass Splider(): url = 'https://www.huya.com/g/wzry' root_pattern = '<li class="game-live-item" gid="2336">([\\s\\S]*?)</li&g...