RUN__IT # 定时任务操作

# 1.crontab安装 服务器自带 

  mac brew install cronolog
  unbutu apt-get install cron 
  winows  .exe下载




# 2.编辑任务 crontab -e
    任务格式
    分 时 日 月 星期 命令
    m  h  d m  week command
    30 *  * *  *    ls  每月8号7点半执行ls命令 

    * */5 * *   *  ls  每隔3分钟执行 ls命令

    注意点:
        星期0;指的是星期天
        * 代表每
        */n 代表隔

# 3.查看任务 crontab -l


# 定时爬虫操作
终端命令 进入项目

1. 在爬虫项目中 创建 .sh文件
2. 在.sh文件中 写执行命令
    cd `dirname $0` || exit 1
    python3 ./main.py >> run.log 2>&1
3. 添加可执行权限 sudo chmod +x run.sh
4. crontab -e
5.  */5 * * * * /home/ubuntu/..../myspider.sh >> /home/ubuntu/.../run2.log 2>&1


scrapy :

spiders:
 
# 一次性启动 多个爬虫]
from scrapy.cmdline import execute

for spider_name in ['so', 'baidu']:
    execute(['scrapy', 'crawl', spider_name])
"""


# 启动多个scrapy爬虫的方法二：在一个进程中开启多个爬虫
"""
# from scrapy.crawler import CrawlerProcess
# from scrapy.utils.project import get_project_settings
#
# process = CrawlerProcess(get_project_settings()) # 获取项目配置变量
#
# process.crawl('so') # 预先添加一个异步协程循环事件 参数是爬虫名字
# process.crawl('baidu') # 同上
#
# process.start() # 开始执行