分享一个python爬虫多服务器部署脚本

最新推荐文章于 2025-03-12 23:18:18 发布
原创 最新推荐文章于 2025-03-12 23:18:18 发布 · 2k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何使用aiohttp和beautifulsoup4构建的Python爬虫，通过redis队列实现多服务器部署以提升爬取效率。文中详细讲解了管理脚本startup.sh和spiderBuild.sh的功能，包括代码分发、节点启动、停止和重启操作。假设环境已配置Python3，并将项目置于/opt目录下。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近接手一个python爬虫，使用aiohttp + beautifulsoup4 + redis简单实现，任务保存在redis中队列，故如果要提高爬取效率可通过部署多个节点实现，现有多台服务器，于是写了如下管理脚本，实现批量更新代码，全部启动，停止等功能

  • 一个 startup.sh负责单节点爬虫启动，关闭
  • 一个 spiderBuild.sh 负责分发最新代码（scp实现），以及调用startup.sh
  • 默认python3环境变量已配置
  • 默认项目放于/opt目录
项目结构：
  • crawler
    • ….
    • app.py (爬虫启动入口)
    • startup.sh （该节点上启动，停止脚本）
  • startup.sh脚本内容，可管理本机爬虫节点,命令为 /opt/crawler/startup.sh start|stop|restart
#!/usr/bin/env sh
#ckconfig: 2345 80 90
#description:start spider server


rootDir=$(dirname "$bin")
export APP_HOME=$rootDir
最低0.47元/天 解锁文章

200万优质内容无限畅学
Python爬虫自动化部署：从开发到生产环境的完整流程
专注于Python爬虫开发，分享爬虫技巧、项目实战与反爬经验，使用Scrapy、BeautifulSoup等工具，解决数据抓取难题。
06-30 717
本文介绍了Python爬虫从开发到自动化部署的全流程。首先讲解了Scrapy、Selenium等常用框架的选择和使用方法，随后详细说明了爬虫在服务器上的部署方案，包括使用Cron定时任务、Celery任务队列和Docker容器化部署。文章还涵盖了日志记录、监控告警设置以及性能优化技巧，如异步处理、代理池等。通过完整的部署流程和优化方法，帮助开发者构建高效稳定的爬虫系统，实现大规模数据采集的自动化管理。
爬虫程序简单部署到云服务器
秀才的专栏
04-28 4738
在完成爬虫任务，经常遇到一个程序需要运行几分钟，几小时，甚至几天的情况，所以我们需要这段程序能够尽量运行到云服务器中。 一、写好爬虫程序 二、把程序上传到云服务器中（建议使用宝塔面板，操作简单） 三、使用python项目管理器工具添加项目，配置信息如下图，确定信息后会自动安装python虚拟环境 四、安装所需要的模块和版本 五、启动项目即可 查看最终爬取的结果： ...
Linux部署python爬虫脚本,并设置定时任务的方法
01-10
去年因项目需要，用python写了个爬虫。因爬到的数据需要存到生产环境的PG数据库。所以需要将脚本部署到CentOS服务器，并设置定时任务，自动启动脚本。 实施步骤如下： 1.安装pip（操作系统自带了python2.6可以直接用，但是没有pip） # 下载pip安装包 wget https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb --no-check-certificate # 解压安装包并安装 tar -xzvf pip-1.5.4.ta
Python 数据爬虫 windows 服务器部署（工作笔记）
jacky_zhuyuanlu的博客
08-16 1028
（一）python 环境部署与配置 官网下载 python 安装包，选择了3.6.7的离线安装包，根据系统位数下载。 在 windows 服务器上，点击右键“以管理员身份运行”，不以管理员身份运行可能会出现系统禁止安装的阻止。 勾选Add Python 3.6 to PATH ，用来快速的配置环境变量。 （二）python 脚本虚拟环境部署 安装virtualenv pip install virtualenv 创建虚拟环境 cd www cd Scripts activate.bat （
Python 实现一个简单的http服务器
热门推荐
ordeder的专栏
03-29 5万+
背景 写一个python脚本，实现简单的http服务器功能： 1.浏览器中输入网站地址：172.20.52.163:20014 2.server接到浏览器的请求后，读取本地的index.html文件的内容，回发给浏览器  代码实现 server.py #!/usr/bin/python import socket import signal import errno from time
Python爬虫从编码到部署（这么一篇就够了！！！）
qq_48081868的博客
08-18 2371
Python爬虫从编码到部署（这么一篇就够了！！！） 文章目录Python爬虫从编码到部署（这么一篇就够了！！！）一、导论二、http协议三、request模块四、数据解析一、bs4进行数据解析二、xpath解析五、反爬与反反爬一、反爬机质：二、识别验证码的操作：三、实战：六、模拟登录一、爬取某些用户的用户信息七、scrapy框架的使用1. 环境的安装2. scrapy的使用3.持久化存储4. 基于Spider的全站数据爬取5. 五大核心组件6. 请求传参7.ImagesPipeline:8. 中间件9.
一个脚本可以在几个服务器上运行,如何在Python中从同一个脚本运行两个服务器...
weixin_42674361的博客
07-30 397
我正在构建一个解决方案，它依赖于来自现场物联网设备的发布/订阅事件来启动一些处理。出于我的目的，我使用flaskas来运行我的主应用程序。然后运行mqtt客户机连接到mqtt服务器并侦听事件。在当我打开主瓶的时候应用程序副本它使用python app.py同时启动Flask服务和MQTT客户机。但是，当我尝试使用gunicorn运行时，它只启动Flask服务，而不启动MQTT客户机。在我可以使用什...
Python3网络爬虫开发实战（17）爬虫的管理和部署（第一版）
bigcrab的博客
09-17 2856
第一版的爬虫的管理和部署，有时间更新第二版的
非框架爬虫代码部署到服务器步骤
new_proced_ape的博客
04-29 293
非框架爬虫代码部署到服务器步骤 Python Linux环境安装、爬虫脚本部署和定时执行爬虫脚本 一、Linux环境下安装python 1、下载python Linux安装包，最好和Windows版本一样 wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tar.xz 也可以直接去官方网站直接下载 下载地址：https://www.python.org/downloads/source/ 2、进入linux cmd，安装依赖环境，出现Comp
分布式爬虫-部署
weixin_45905671的博客
09-06 572
分布式爬虫-部署 打开ubuntu sudo su 转换成root用户，不转输入命令需要加sudo 安装python3 :apt pip install python3-pip 安装scrapyd : pip3 install scrapyd 报以下错误码， 需要更新setuptools见下图 ：pip3 install --upgrade setuptools 再次执行: pip3 install scrapyd 成功 进入安装目录：root@ellen-virtual-machine:/#
Scrapy-Redis分布式爬虫库模拟多台服务器进行百万级别大数据爬取
Polaris16的博客
03-28 317
【代码】Scrapy-Redis分布式爬虫库模拟多台服务器进行百万级别大数据爬取。
【如何简单优雅的来用Docker布置Python环境跑脚本【Linux / 宝塔】】
pepCodeTrader的博客
10-10 6793
Linux, Centos, 腾讯云, 阿里云, 宝塔, Python, Docker, 让我们用简单的方式来运行Docker，对于像我一样的CS小白也能够很好的掌握Docker的部署与使用，这是一件非常开心的事情。
服务器部署 Python 项目总结
凡的博客
07-17 1511
服务器部署 Python 项目总结
Python Web项目的服务器部署
最新发布
2401_83769134的博客
03-12 1190
安装Miniconda、系统依赖、配置项目环境、使用宝塔面板、数据库设置，以及通过脚本自动化部署Nginx、Gunicorn和Supervisor。优化部分提到了性能调优和安全性增强。
py脚本部署到服务器定时启动
Yima_Dangxian的博客
12-17 1370
py脚本部署到服务器定时启动
MDM专栏一（MDM证书申请）
mygrilzhuyulin的专栏
02-15 5313
参考博客： http://blog.youkuaiyun.com/zhaoxy_thu/article/details/10473193/ http://blog.youkuaiyun.com/kmyhy/article/details/23170539 MDM介绍 MDM全称是Mobile Device Management，顾名思义是移动设备管理，帮助企业将IT管理能力从传统的PC延伸到移动设备甚
MDM 介绍 一
weixin_33716941的博客
07-21 408
主数据是指在整个企业范围内各个系统(操作/事务型应用系统以及分析型系统)间要共享的数据， 比如，可以是与客户(customers)， 供应商(suppliers)， 帐户(accounts)以及组织单位(organizational units)相关的数据。主数据通常需要在整个企业范围内保持一致性(consistent)、完整性(complete)、可控性 (controlled)，为了达成这一目...
windows+python实现自动化部署
qq_37604998的博客
08-12 1864
这段时间遇到一个需求是如果库里面有没有图片的数据，则访问我们的网站生成图片数据并更新库，要求每隔一段时间就要检测。 该需求主要为两个部分：一是python脚本执行；二是windows部署定时任务；...
生产级部署 Python 脚本，崩溃可自启
weixin_73136678的博客
12-25 1555
今天介绍一个生产级的流程管理工具 PM2，通常我们说到 PM2 的时候，都是在说如何部署 Node.js 程序，但是实际上 PM2 很强大，不仅仅可以用来管理 Node.js，它还可以用来管理 Python、PHP、Ruby、perl 等等。这里就以 Python 举例子，来看看 PM2 如何部署管理 Python 脚本。
Python Scrapy爬虫开发与部署实践指南
一个标准的Scrapy项目包含多个文件和目录，例如：items.py（定义爬取的数据结构）、middlewares.py（定义请求和响应的中间件）、pipelines.py（定义数据处理流程）、settings.py（配置项目设置）、spiders（放置爬虫...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值