Python网络爬虫实战——实验8：Python爬虫项目部署与kafka消息队实战

【实验内容】

本实验主要介绍关于在Linux云环境下部署和运行爬虫项目并使用kafka发送消息队列。

【实验目的】

1、学会在云环境中部署爬虫项目
2、掌握Kafka消息队列的基本使用
3、实现爬虫与消息队列的集成

【实验步骤】

步骤1 在Linux上部署爬虫项目
步骤2 Kafka消息队列的基本使用
步骤3 在python中向kafka推送消息

步骤1：在云环境中部署爬虫项目
(1) 使用pycharm部署爬虫项目
在pycharm中点击如上图所示的Configuration
-*******************************************************************************
-********************************************************************************
点击上图所示按钮进入云服务器的配置。
-***************************************************************************
输入域名、用户名、地址后点击Test Connection测试连接
-**********************************************************************************
连接成功后，点击Mappings配置路径映射，local path 表示window 上爬虫项目的路径，Deployment path 是Linux服务器上项目存放的路径。
-***************************************************************************************
右击项目根目录，选择将整个项目上传至你所连接的服务器。如下图所示
-*********************************************************************************

(2) 数据库迁移

---

使用navicat将本地数据库转存为sql文件，保存结构和数据。然后连接上我们的linux服务器，运行sql文件（如下图所示）即可完成数据表和数据内容的迁移。
-*********************************************************************

(3) python虚拟环境
(4) 项目运行
Python manage.py runserver
后台运行 nohup python manage.py runserver 2>&1 &
/========================&