含有大量爬虫的scrapy项目部署到Linux服务器并设置定时启动

本文介绍了如何在Linux服务器上部署含有大量爬虫的Scrapy项目,通过逐个运行避免端口不足问题。详细步骤包括配置环境、编写运行爬虫的run.py文件、创建执行脚本myshell.sh,以及设置定时启动脚本的cron任务,确保每日16:30自动执行爬虫,并将日志记录在spider.log中。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前言

当scrapy爬虫项目中含有大量爬虫时(几百甚至更多),我们使用网上所介绍的scrapy同时启动多个爬虫方法会造成因端口不足而使爬虫运行失败。所以当我们的项目中含有大量爬虫时,可以考虑逐个运行爬虫,这样虽然运行时间长了一些但是可以令所有的爬虫都能运行。

一、配置环境

安装爬虫所需要的一些库,这里不再详述。我们主要讲述爬虫的部署以及如何让爬虫在服务器上定时自动运行。

二、编写爬虫运行程序

在spiders文件夹的同级下创建一个新的py文件,命名为run.py,然后编写这个文件,代码如下:

#-*- coding:utf8 -*-
import os
import re
import time
import subprocess

for filename in os.listdir(r'/home/Spidernet/Spider/peoplenet/peoplenet/spiders'):
	file_path = os.path.join(r'/home/Spidernet/Spider/peoplenet/peoplenet/spiders',filename)
	if os.path.splitext(file_path)[1] == '.py' and filename != 'run.py' and filename != '__init__.py':
		temp = ['scrapy','crawl']
		ru1 = re.compile(r'(.*).py')
		spiderName = ru1.search(filename).group(1)
		print(spiderName)
		temp.append(spiderName)
		subprocess.run(temp)
		#	subprocess.call("scrapy crawl "+spiderName)
		time.sleep(1)
Ttime = time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(ti
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值