用Crontab定时运行scrapy爬虫

最新推荐文章于 2025-09-18 04:22:23 发布
转载 最新推荐文章于 2025-09-18 04:22:23 发布 · 802 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://www.jianshu.com/p/df48debb771d
文章标签：

#python #scrapy

本文介绍如何利用Cron定时任务自动化运行Scrapy爬虫，包括环境配置、脚本编写及常见问题解决。通过设置环境变量、激活虚拟环境、切换工作目录等步骤，确保爬虫稳定运行。

脚本如下：

export LANG=zh_CN.UTF-8
spider1='spider1'
kill -9 `ps -ef | grep $spider1 | grep -v grep | awk '{print $2}'`
cd ~/work/virtual/  # 切换到虚拟环境的目录,如果没有使用虚拟环境，则不需要
/usr/local/bin/pipenv shell  # 激活虚拟环境
cd ~/work/spider  # 进入scrapy爬虫项目的目录
nohup ~/.local/share/virtualenvs/spider-MGYoPRkA/bin/scrapy crawl $spider1 > out.file 2>&1 &

解释：

  1. 由于crontab里没有tty/pts（终端）这个事实，即不会执行$HOME/下的一些环境初始工作，所以需要设置export LANG=zh_CN.UTF-8，不然会报UnicodeEncodeError: 'ascii' codec can't...的错误；
  2. kill的作用为每次执行前，先停掉正在运行的爬虫；
  3. 由于crontab在运行时，有他自己的工作目录，所以需要切换到相应目录才能执行相应命令；

本人每五分钟跑一次，crontab代码为

*/5 * * * * bash ~/work/start.sh

参考：

crontab文档

https://blog.youkuaiyun.com/kai404/article/details/53287563

部署scrapy爬虫到AWS Ubuntu 18.04，用crontab定时执行
juwikuang的专栏
03-23 1247
本文介绍了如何把windows下面的scrapy脚本部署到AWS Ubuntu上，并使用crontab定时执行。 申请AWS EC2 Ubuntu虚拟机 首先安装Miniconda https://docs.conda.io/en/latest/miniconda.html 然后按装scrapy conda install scrapy 安装MSSQL Driver 不要看网上乱七八糟的文章，直...
crontab定时任务执行Scrapyd爬虫以及日志查看
花臂不花Home
10-20 2387
crontab系统自带的调度命令，通过crontab命令，我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周期性的日志分析或数据备份等工作。
crontab定时启动scrapy爬虫
qq_41911048的博客
05-22 631
部署到测试环境，并设置定时启动任务 通过FileZille工具，将本地的文件上传到测试服务器上面的python文件夹中 在与spider同级目录下写一个shell脚本，启动所编辑的运行爬虫文件 vi run.sh 1 #! /bin/sh 2 export PATH=$PATH:/usr/local/bin 3 cd /data/project/python/...../run...
crontab爬虫定时启动
apollo_miracle的博客
12-17 1399
目标 掌握crontab的使用 1 crontab的安装和介绍 2 crontab在爬虫中的使用 2.1 使用流程 把爬虫启动命令写入.sh 文件 给.sh脚本添加可执行权限 把.sh 添加到crontab脚本正 2.2 myspier.sh例子 执行命令写入脚本 其中>>表示重定向，把print等信息导入log中 2>&1表示把标准错误作为...
Scrapy定时任务：自动化爬虫执行与监控全攻略
最新发布
gitblog_00130的博客
09-18 1154
每天重复执行`scrapy crawl`命令监控爬虫状态？遇到网络波动导致任务中断需手动重启？数据采集时效性要求高却无法精准控制执行时间？本文将系统讲解如何基于Scrapy生态构建企业级定时爬虫系统，实现任务自动调度、状态监控、故障恢复与性能优化的完整闭环。 读完本文你将掌握： - 3种定时任务实现方案的技术选型与代码实现 - 基于信号机制的爬虫健康监控系统开发 - 分布式爬虫任务的状态持久化与...
Crontab爬虫定时执行
weixin_34049948的博客
12-30 221
转载于:https://www.cnblogs.com/weiwei-python/p/10199176.html
036-使用crontab定时爬虫
Lich Howger
12-11 236
不得不说 这次弄crontab花了很长时间 本来这种东西我是肯定会写一篇博客的 但是不知道为什么最近真的太懒了 连这么重要的知识点也不写博客 真的是服了 现在开始吧 先是看一下爬虫代码 比如我们现在要获取 https://www.d1xz.net/yunshi/today/Aries/ 这个网站的信息 那么现在我们来写一个get请求来获取信息 ...
爬虫定时任务crontab
学海无涯
06-07 1078
1. crontab的安装和介绍2. crontab在爬虫中的使用2.1 使用流程把爬虫启动命令写入sh文件给sh脚本添加可执行权限把sh添加到crontab脚本正2.2 myspier.sh例子先把要执行的命令写入脚本cd `dirname $0` || exit 1 python ./main.py >> run.log 2>&1 其中>>表示重定向，把p...
linux scrapy 定时任务_Scrapy定时执行爬取任务与定时关闭任务
weixin_29325515的博客
01-17 697
当我们利用Ｐython　scrapy框架写完脚本后，脚本已经可以稳定的进行数据的爬取，但是每次需要手动的执行，太麻烦，如果能自动运行，在自动关闭那就好了，经过小编研究，完全是可以实现的，今天小编介绍２种方案来解决这个问题由于scrapy框架本身没有提供这样的功能，所以小编采用了linux 中crontab的方式进行定时任务的爬取方案一：编写shell脚本文件cron.sh#! /bin/bashe...
scrapy框架爬虫定时爬取
热门推荐
Cristal_tina的博客
12-28 1万+
使用crontab来执行scrapy定时爬取的需求。原因是在scrapy框架中，没有定时爬取的设置选项。 1. 什么是Crontab？         Crontab命令是Unix系统和类Unix系统中，用来设置周期性执行的指令。该命令从标准输入设备读取指令，并将其存放在“Crontab”文件中，以供后期读取和执行。Crontab所存的指令，被守护进程激活。crond常常在后台运行，以
Linux下使用crontab定时执行爬虫任务
小树的博客
02-25 1553
爬虫程序点此链接 1. 查看当前系统的定时任务，使用命令：crontab -l 2.在编写定时任务时，crontab默认编辑器为nano，不方便使用，可以更改成 vim。 3.根据自己的需求编写定时任务，使用命令“crontab -e”进行编写定时任务。 上面的命令添加了一个任务，这个任务会每天23：00启动，这个任务要做得就是进入爬虫目录，并启动爬虫。 4.如果你不知道...
用Crontab实现定时爬取
weixin_33737134的博客
07-09 206
2019独角兽企业重金招聘Python工程师标准>>> ...
Scrapy学习笔记-使用Crontab定期执行爬虫
肥叔菌的博客
04-24 9084
通过前面的博客的讲解，我们学会了编写自己的第一个爬虫。下面介绍在redhat 6.5上使用Crontab定期执行该爬虫。 首先按照前面的步骤新建爬虫项目，然后再新建一个start.sh脚本文件。 测试crontab 编写脚本，并测试效果。我们先测试一下crontab的执行效果，在脚本文件中写上如下代码 cd /home/soft/tutorial echo test >> ./tes...
linux定时scrapy,Linux上使用crontab命令完成定时scrapy爬虫
weixin_35978903的博客
05-14 409
8种机械键盘轴体对比本人程序员，要买一个写代码的键盘，请问红轴和茶轴怎么选？使用scrapy的时候，有时候不想每次都手动敲命令行，就可以使用crontab配置scrapy定时任务在后台运行，这样不用人工干预，每个周期都可以定时自动执行啦。本文主要介绍两方面：1、crontab的用法 2、使用crontab配置scrapy定时任务。crontab是什么crontab 是 Linux 的一个计划任...
爬虫定时任务的是实现：Crontab
weixin_34290631的博客
04-19 162
2019独角兽企业重金招聘Python工程师标准>>> ...
爬虫程序定时启动crontab
xiaobai_IT_learn的博客
09-30 269
注意：第一次进入crontab，选择vim编辑器 如果不小心选择了其他编辑器，执行以下代码即可 export EDITOR="/usr/bin/vim" 1.添加***.sh文件 cd `dirname $0` || exit 1 python ./main.py >> run.log 2>&1 2.添加可执行权限 sudo chmod +x myspder.sh...
在服务器上（ubuntu）设置scrapy爬虫程序定时执行
靡不有初，鲜克有终
03-20 1638
1、编写执行程序的命令脚本如脚本命名cron.sh输入vi /etc/workspace/cron.sh输入i进入编辑状态，编辑内容，点击Esc退出编辑状态，然后输入:wq!保存退出（:q!不保存退出）。2、设定crontab执行的命令和执行的时间频率输入crontab -e编辑执行频率和命令如0 0 1,10,13 * * * sh /etc/workspace/cron.sh   设置程序每天...
Linux 使用 crontab 定时执行 Scrapy
weixin_42544006的博客
11-18 246
sh 文件 [root@mostchh-04 spider]# which scrapy /soft/python3/bin/scrapy #!/bin/bash cd /home/spider/news_spider/news_spider/spiders && /soft/python3/bin/scrapy crawlall echo 111 >> ....
mac定时执行python_Crontab mac环境中定时启动scrapy任务
weixin_39581099的博客
12-04 217
编写Crontab任务每一分钟启动一次任务*/1 * * * * /Users/myname/run.sh编写shell任务#!/bin/bashPATH=/Library/Frameworks/Python.framework/Versions/2.7/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/opt/X11/bin:/Users/wan...
scrapy如何让爬虫定时自动执行
09-10
<think> 我们参考了多个引用，尤其是引用[2]中详细描述了一个监控脚本的思路，引用[4]提到了使用APScheduler的方法。因此，我们可以提供两种主要方法： 方法1：使用外部监控脚本（如引用[2]所述） 方法2：使用APScheduler（如引用[4]所述） 下面分别介绍这两种方法： 方法1：外部监控脚本（适用于确保每天只运行一次，且运行时间不确定的情况） 步骤： 1. 编写一个监控脚本，该脚本在每天凌晨启动（比如00:01）。 2. 监控脚本检查爬虫是否正在运行（通过标记文件或进程判断）。 3. 如果爬虫没有运行，则启动爬虫；如果爬虫正在运行（可能是前一天还没结束），则等待一段时间后再检查。 4. 设置脚本的超时时间（24小时），超过24小时则自动退出（因为第二天的监控脚本会启动）。 示例代码（监控脚本）： ```python import os import time import subprocess from datetime import datetime, timedelta # 标记文件路径，用于记录爬虫是否正在运行 PID_FILE = "spider_running.pid" def is_spider_running(): # 判断标记文件是否存在，如果存在则认为爬虫在运行 return os.path.exists(PID_FILE) def run_spider(): # 创建标记文件 with open(PID_FILE, 'w') as f: f.write(str(os.getpid())) # 启动爬虫 subprocess.call(['scrapy', 'crawl', 'mySpider']) # 爬虫结束后删除标记文件 if os.path.exists(PID_FILE): os.remove(PID_FILE) def main(): # 设置脚本最长运行时间（24小时） start_time = datetime.now() timeout = timedelta(hours=24) # 每隔10分钟检查一次 check_interval = 600 # 10分钟，单位为秒 while datetime.now() - start_time < timeout: if not is_spider_running(): # 启动爬虫 run_spider() # 爬虫运行结束，退出监控脚本 break else: # 等待10分钟后再次检查 time.sleep(check_interval) # 24小时超时，自动退出 if __name__ == "__main__": main() ``` 方法2：使用APScheduler（更灵活，可以设置任意时间间隔） 步骤： 1. 安装APScheduler：`pip install apscheduler` 2. 创建一个Scrapy项目，然后在项目中添加一个调度器，用于定时启动爬虫。 示例代码（在Scrapy项目根目录下创建一个run_scheduler.py）： ```python from apscheduler.schedulers.blocking import BlockingScheduler from scrapy import cmdline # 创建调度器 scheduler = BlockingScheduler() # 添加定时任务，每天00:01执行 @scheduler.scheduled_job('cron', hour=0, minute=1) def scheduled_job(): # 执行爬虫命令 cmdline.execute('scrapy crawl mySpider'.split()) # 启动调度器 scheduler.start() ``` 注意：使用APScheduler时，调度器会一直运行，所以需要确保这个脚本在后台持续运行。 两种方法的比较： - 外部监控脚本：更适用于每天只运行一次，且运行时间较长（可能超过24小时）的情况，确保不会重复运行。 - APScheduler：适用于定时任务灵活（比如每小时、每天、每周等）的场景，但需要确保调度器脚本一直运行。 根据需求选择合适的方法。 §§相关问题§§ 1. 如何确保Scrapy爬虫在完成一次抓取后自动停止？ 2. APScheduler的定时任务有哪些配置方式？ 3. 如何监控Scrapy爬虫的运行状态？ 4. 如何防止Scrapy爬虫被重复启动？ </think> 根据引用内容，以下是两种实现Scrapy爬虫定时自动执行的主流方法： ### 方法1：使用外部监控脚本（引用[2]方案） **核心思路**：通过独立脚本监控爬虫状态，每日定时启动 ```python import time import os from datetime import datetime, timedelta from scrapy import cmdline # 标记文件路径（用于判断爬虫状态） STATUS_FILE = "spider_status.pid" def is_spider_running(): """检查爬虫是否在运行""" return os.path.exists(STATUS_FILE) def run_spider(): """执行爬虫并更新状态""" # 创建状态标记 with open(STATUS_FILE, 'w') as f: f.write(str(datetime.now())) # 启动爬虫 cmdline.execute('scrapy crawl your_spider'.split()) # 爬虫结束后删除标记 if os.path.exists(STATUS_FILE): os.remove(STATUS_FILE) def main(): start_time = datetime.now() timeout = timedelta(hours=24) # 脚本最长运行24小时 while datetime.now() - start_time < timeout: if not is_spider_running(): # 前置清理（如续爬文件） # os.remove("continuation.file") run_spider() break # 任务完成退出 else: # 每隔10分钟检测一次 time.sleep(600) if __name__ == "__main__": main() ``` **实现步骤**： 1. 每日凌晨通过系统定时任务（如crontab）启动脚本 2. 脚本检测爬虫状态标记文件是否存在 3. 若爬虫未运行： - 执行清理操作（如删除续爬文件） - 启动Scrapy爬虫 `cmdline.execute('scrapy crawl spider_name'.split())` 4. 若爬虫正在运行： - 每10分钟检测一次 - 24小时后自动退出（避免与新日任务冲突） --- ### 方法2：APScheduler定时框架（引用[4]方案） **核心思路**：使用APScheduler创建定时任务 ```python from apscheduler.schedulers.blocking import BlockingScheduler from scrapy import cmdline # 创建调度器实例 scheduler = BlockingScheduler() # 添加每日任务（凌晨00:01执行） @scheduler.scheduled_job('cron', hour=0, minute=1) def scheduled_crawl(): # 启动前清理（可选） cmdline.execute('scrapy crawl your_spider'.split()) # 启动调度器 scheduler.start() ``` **部署流程**： 1. 安装依赖：`pip install apscheduler` 2. 配置爬虫触发时间： - `cron`模式：`hour=0, minute=1`（每天00:01） - 间隔模式：`interval`（如`hours=24`） 3. 保持脚本持续运行： ```bash nohup python scheduler.py > /dev/null 2>&1 & ``` --- ### 两种方案对比 | **特性** | 监控脚本方案 | APScheduler方案 | |------------------|---------------------------------------|-------------------------------| | **实时性** | 依赖检测间隔（默认10分钟） | 精确到秒级触发 | | **依赖** | 仅需标准库 | 需安装`apscheduler` | | **维护难度** | 需处理状态标记文件 | 配置简洁 | | **适用场景** | 长时间运行任务（>24小时） | 常规定时任务 | | **系统资源占用** | 检测期间低占用 | 需常驻进程 | > 关键提示：无论哪种方案，都需确保爬虫代码支持幂等操作（重复执行不影响结果），并添加异常处理机制[^4]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值