CentOS7中安装Scrapy以及常用的包

最新推荐文章于 2023-10-13 17:49:11 发布

转载最新推荐文章于 2023-10-13 17:49:11 发布 · 420 阅读

35 篇文章

订阅专栏

本文介绍如何在CentOS7上安装配置Scrapy爬虫环境，包括使用阿里云源加速pip安装、安装编译器及开发库、解决mysql_config未找到的问题，并安装MySQL、Redis等数据库。

博客链接 https://uublog.com/article/20170308/centos7-install-scrapy/
讯云这几天搞活动，免费领了三个月的免费VPS。所以想把本地虚拟机的scrapy爬虫迁移上去。

Scrapy是基于Python写的。本来是要安装Python的，但是现在Linux基本都默认安装到Python了，所以这步略过。

我本地是Ubuntu，服务器我装了CentOS7.2。别问我为啥不用Debian，我瞎选的，没啥特别理由。

自己私人使用，为了方便，直接是root开干。

安装pip包管理

yum install -y python-pip

我觉得这是天朝必备的一个步骤，否则安装软件那龟速不忍直视。

mkdir ~/.pip
vim ~/.pip/pip.conf

# 改为如下内容
[global]
index-url = http://mirrors.aliyun.com/pypi/simple/

[install]
trusted-host=mirrors.aliyun.com

安装编译器和开发库之类的，假如你们也没安装的话

yum -y install gcc gcc-c++ kernel-devel python-devel libxslt-devel libffi-devel openssl-devel

安装主角Scrapy

pip install scrapy

安装MySQL-python

Python连接MySQL的模块

easy_install MySQL-python

如果遇到mysql_config not found
之前的博文有提过这个错误，不过是在Ubuntu下的解决方案-安装libmysqlclient-dev
然而在CentOS的源中并没有这个包。而安装mysql-devel即可。

yum install -y mysql-devel

安装MySQL数据库 yum groupinstall mariadb mariadb-client

MariaDB其实可以看做MySQL新版吧，具体缘由自行百度。

安装redisNoSQL数据库
会用到配合bloomfilter做url去重。

yum install -y redis

安装 BloomFilter 模块

pip install bloomfilter