linux下执行scrapy的爬虫定时任务

最新推荐文章于 2022-11-05 23:52:31 发布

weixin_34121282

最新推荐文章于 2022-11-05 23:52:31 发布

阅读量364

点赞数

文章标签： python 爬虫数据库

本文讨论了使用Linux的CronTab进行任务调度时遇到的问题：仅执行了连接MongoDB并创建索引的操作，而Scrapy爬虫任务未能执行。通过设置环境变量PATH，解决了这一问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

刚开始执行scrapy crawl zentaos可以完成扫描

但是通过linux的crontab任务，只执行了连接mongodb的操作，并创建了索引

也就是说scrapy crawl zentaos部分的任务没有执行

什么原因呢？

加上

export PATH=$PATH:/usr/local/bin

就可以解决问题

mongo会自动创建索引

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_34121282

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Python爬虫：设置定时任务定期抓取网站数据

2201_76125261的博客

04-15

993

在进行数据抓取时，很多时候我们并不希望只抓取一次数据，而是希望定期、自动化地抓取特定网站的数据。定时任务（也叫定时调度任务）指的是在指定的时间点或间隔内自动执行某项任务。例如，在每天的某个时间点抓取某个网站的数据，或每隔一定时间间隔抓取数据。将爬虫任务与定时任务结合，实际上就是将爬虫代码嵌入到定时任务的函数中。等定时任务调度工具，同时展示如何在定时任务中结合爬虫代码，自动化地抓取数据。的头条新闻，并且设置了一个定时任务，规定每天早上8点自动执行爬虫抓取任务。在爬虫中，网络错误、数据解析错误等是常见的问题。

含有大量爬虫的scrapy项目部署到Linux服务器并设置定时启动

WNxiaoning1的博客

02-10

2545

前言当scrapy爬虫项目中含有大量爬虫时（几百甚至更多），我们使用网上所介绍的scrapy同时启动多个爬虫方法会造成因端口不足而使爬虫运行失败。所以当我们的项目中含有大量爬虫时，可以考虑逐个运行爬虫，这样虽然运行时间长了一些但是可以令所有的爬虫都能运行。一、配置环境安装爬虫所需要的一些库，这里不再详述。我们主要讲述爬虫的部署以及如何让爬虫在服务器上定时自动运行。二、编写爬虫运行程序在s...

参与评论您还未登录，请先登录后发表或查看评论

linux上定时运行scrapy

weixin_34148508的博客

08-27

408

1 运行方式一 (proxy-ip) [root@192 ~]# cd /data/test-proxy-ip/ (proxy-ip) [root@192 test-proxy-ip]# scrapy list proxy_ip (proxy-ip) [root@192 test-proxy-ip]# scrapy crawl proxy_ip ... i...

linux定时scrapy,Linux上使用crontab命令完成定时scrapy爬虫

weixin_35978903的博客

05-14

390

8种机械键盘轴体对比本人程序员，要买一个写代码的键盘，请问红轴和茶轴怎么选？使用scrapy的时候，有时候不想每次都手动敲命令行，就可以使用crontab配置scrapy定时任务在后台运行，这样不用人工干预，每个周期都可以定时自动执行啦。本文主要介绍两方面：1、crontab的用法 2、使用crontab配置scrapy定时任务。crontab是什么crontab 是 Linux 的一个计划任...

linux下，用crontab定时执行scrapy任务

xw__cqx的博客

01-17

559

之前尝试过很多方法用crontab执行scrapy的爬虫任务，但是都没出成功，总结下来有两点错误与相应的解决方法： 1、手动执行时，在工程目录下输入scrapy crawl xxx就可以执行爬虫脚本了，但是用crontab时，如果直接在crontab -e中输入00 00 * * * scrapy crawl xxx，定时任务是不会生效的，因为我们不知道crontab执行时，其所处的目录，很有可能...

linux中用crontab命令定时执行scrapy项目

zaishijizhidian的博客

08-14

2242

进入文件所在目录为了保证此方法可行，我先在所在的目录创建一个测试小demo的脚本，想知道如何执行scrapy项目可以直接跳到后面 vi test.sh 编写一个每分钟往当前文件中的test.txt中写入111的脚本编写crontab命令 crontab -e */1 * * * * sh ~/python_file/paimai/PAIMAI/test.sh ...

crontab+scrapy+linux普通用户实现定时爬虫

weixin_41792971的博客

08-06

268

crontab+scrapy+linux普通用户实现定时爬虫第一步：创建一个可执行的linux脚本，后缀为.sh vim /home/luochuangjie/test.sh(你自己的工作路径) 第二步：在test.sh里边编写脚本命令 #run spider /home/luochuangjie/anaconda3/bin/python3 /home/luochuangjie/test.py ...

linux scrapy 定时任务_Scrapy定时执行爬取任务与定时关闭任务

weixin_29325515的博客

01-17

675

当我们利用Ｐython　scrapy框架写完脚本后，脚本已经可以稳定的进行数据的爬取，但是每次需要手动的执行，太麻烦，如果能自动运行，在自动关闭那就好了，经过小编研究，完全是可以实现的，今天小编介绍２种方案来解决这个问题由于scrapy框架本身没有提供这样的功能，所以小编采用了linux 中crontab的方式进行定时任务的爬取方案一：编写shell脚本文件cron.sh#! /bin/bashe...

linux下scrapy定时任务

04-05

在Linux下，可以使用crontab工具来设置定时任务。以下是设置Scrapy定时任务的步骤： 1. 打开终端，输入以下命令打开crontab编辑器： ``` crontab -e ``` 2. 在编辑器中添加以下内容： ``` # 每天早上8点执行一次...

如何在linux下对scrapy项目进行定时任务

04-01

在Linux下对Scrapy项目进行定时任务，可以使用crontab来实现。步骤如下： 1. 打开终端或登录到远程服务器。 2. 进入scrapy项目的根目录，找到运行爬虫的命令，例如： ``` scrapy crawl spider_name ``` 3. ...

Scrapy爬取在 linux系统上执行

weixin_44375768的博客

11-05

701

这里遇到一个错误urllib.error.URLError:

linux scrapy 定时任务_linux上定时运行scrapy

weixin_36241311的博客

01-17

448

1 运行方式一(proxy-ip) [root@192 ~]# cd /data/test-proxy-ip/(proxy-ip) [root@192 test-proxy-ip]# scrapy listproxy_ip(proxy-ip) [root@192 test-proxy-ip]# scrapy crawl proxy_ip...insert into proxy_ip(country...

在linux系统创建部署scrapy爬虫项目

开源世界

10-24

2551

我的主机最近一直出问题，所有的python环境全在物理机上面，现在装新的第三方库总是容易出问题，所以我决定把环境放到虚拟机的环境中，然后存个快照，我的编译器是pycharm，scrapy不像django一样能够直接创建，所以在创建项目的时候不能在本地创建，遇到了问题，不过现在已经解决，如果你也有这种问题，可以根据我的步骤继续操作。随意创建一个python的项目，但是注意选择好项目名字，最重要的...

Linux下使用crontab定时执行爬虫任务

小树的博客

02-25

1532

爬虫程序点此链接 1. 查看当前系统的定时任务，使用命令：crontab -l 2.在编写定时任务时，crontab默认编辑器为nano，不方便使用，可以更改成 vim。 3.根据自己的需求编写定时任务，使用命令“crontab -e”进行编写定时任务。上面的命令添加了一个任务，这个任务会每天23：00启动，这个任务要做得就是进入爬虫目录，并启动爬虫。 4.如果你不知道...

Ubuntu 16.04后台运行scrapy爬虫程序

ITcainiaoyizhan的博客

01-15

3623

某些爬虫程序需要运行很长时间才能将数据爬完，爬取太快呢又会被网站给封禁。你又不想一直开着电脑连续开几天，太麻烦。。。其实有个好方法，你可以把爬虫放在阿里云服务器运行，这样你就不需要管了，但是你如果在Ubuntu或阿里云上直接: scrapy crawl spider_name 或python run.py的话当你关闭链接阿里云的xshell时，程序会直接停掉不会继续运行。今天给大家分享一个...

linux 运行scrapy,linux下部署scrapy

weixin_28197941的博客

05-02

959

1.如何部署scrapy下载scrapy-client(下载地址 https://github.com/scrapy/scrapyd-client) 并进行安装,安装命令 python setup install进入项目目录执行scrapyd 启动服务查看project的deploy列表进入到project目录后执行下面的命令scrapyd-deploy -l如果有返回类似下面的内容的说明配置正...

linux 定时执行scrapy命令

weixin_30344995的博客

03-09

177

解决方案： 1.以管理员方式执行命令添加计划 sudo crontab -e 添加： 1 0 * * * sh /home/ubuntu/CRON/cron.sh 2. 重启cron服务 sudo service cron restart 3.编辑CRON目录下的cron.sh 如下 >#! /bin/sh >export PATH=$PATH:/usr/local/lib/pyt...

linux 定时任务 定时执行某脚本定期爬虫统计刷新 crontab -e

小河的专栏

10-16

3242

#!/bin/bash date >/home/caodi/Dropbox/#linux_linux/shell_ontime/test_sec uurl http://www.linkedin.com/in/wangkaikai -o html 步骤参照http://blog.youkuaiyun.com/caodiandxiaohe/article/details/12784271 #1.

利用脚本运行一个Scrapy网络爬虫

蘑菇菌的博客

05-21

2258

一.必要的知识简单介绍1.Apscheduler 调度器用于调度python代码，可以使脚本稍后执行、只执行一次或定期执行。可以添加或删除作业，主要在现有的应用程序内部运行。它集成Twisted、Qt、Gevent等。可以利用 pip install apscheduler 安装。三个内置的调度系统： 1.corn格式调度（可以选择开始/结束的时间） ...