定时任务调度（mongoDB）

最新推荐文章于 2024-11-28 13:31:10 发布
最新推荐文章于 2024-11-28 13:31:10 发布
阅读量5.9k 收藏 3
点赞数
分类专栏： mongodb
本文介绍了一个基于MongoDB和Crontab的定时任务系统实现方案，详细阐述了如何利用MongoDB进行数据存储、任务调度及结果记录，并通过Shell脚本与Crontab实现定时任务的自动触发。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

转载自：http://blog.chinaunix.net/uid-9460004-id-2002433.html

使用到工具:
 1. 存储 mongodb 
 2. 定时任务 crontab 

数据存储空间( database = fs )说明:
  collection = 
          functions(方法定义) 
          dispatch(调度定义) 
          joblist(待运行任务集) 
          result(结果)

0. 调度逻辑 :
   × 通过 定时任务 导入日志到 mongodb 
   × 根据个性统计需求，写 分析脚本 ( functions ) - 方法定义 ，参数说明 
   × 再 定义定时调度(dispatch) - 指定 定时周期 ，运行方法
   × crontab 触发 调度集合 生成job类表，再另一个crontab运行 joblist中的已经实例化好的任务
   × 结果存储到 result 中


*/2 * * * * sh /data/shell/gmodel/dw_model/cron_mongodb.sh joblist_create 
1,3,5,7,9,11,13,15,17,19,21,23,25,27,29,31,33,35,37,39,41,43,45,47,49,51,53,55,57,59 * * * *   sh /data/shell/gmodel/dw_model/cron_mongodb.sh job_run 

定时 系统调度 : 

#!/bin/sh

act=$1
echo " -$act----------------------- " >> /tmp/mongo.log
if [ $act = "joblist_create" ]; then
 echo "joblist_create run .." >> /tmp/mongo.log 
 echo `ps -ef|grep -v grep |grep cron_mongodb |grep joblist_create|wc -l` ;
 if [ `ps -ef|grep -v grep |grep cron_mongodb |grep joblist_create|wc -l` -lt"5" ] ;then 
  /root/tools/mongodb-linux-x86_64-1.4.0/bin/mongo --eval " 
    load('/data/shell/gmodel/dw_model/utils/utils.js'); 
    print( 'joblist_create ',new Date,tojson(joblist_create()) ); " >>/tmp/mongo.log
 fi
fi



if [ $act = "job_run" ]; then
 echo "job_run run .." >> /tmp/mongo.log
 if [ `ps -ef|grep -v grep |grep cron_mongodb |grep job_run|wc -l` -lt "5" ];then 
 /root/tools/mongodb-linux-x86_64-1.4.0/bin/mongo --eval " 
    load('/data/shell/gmodel/dw_model/utils/utils.js'); 
    print( 'job_run ',new Date,tojson( job_run() ) ); " >> /tmp/mongo.log 
 fi
fi




1. 初始化( init_mong.js ) collection  : 

var cfs = db.getMongo().getDB('fs').createCollection("functions") ;
var dfs = db.getMongo().getDB('fs').createCollection("dispatch") ;
var jfs = db.getMongo().getDB('fs').createCollection("joblist") ;
var rfs = db.getMongo().getDB('fs').createCollection("result") ;

var fs = db.getMongo().getDB('fs').functions ;
var ds = db.getMongo().getDB('fs').dispatch ;
var js = db.getMongo().getDB('fs').joblist ;
var rs = db.getMongo().getDB('fs').result ;

//方法名词 和版本号 联合 唯一
fs.ensureIndex({ "name":1,"version":1}, {unique: true});
//调度名称 唯一
ds.ensureIndex({ "name":1 }, {unique: true});
//任务list : 结果 = 名称 , 时间戳 , 动作戳( 方法参数 ) 联合唯一 
js.ensureIndex({ "name":1,"active_stamp":1,"timestamp":1 }, {unique: true});
rs.ensureIndex({ "name":1,"active_stamp":1,"timestamp":1 }, {unique: true});

/** */
fs.drop();
ds.drop();
rs.drop() ;
js.drop();



2. function 定义 :

fs.save({
    // 包名 
    "package" : "statistics" ,
    // function 名称 - 通过 utils 的 getf('statistics','test_statistics') 取得
    "name" : "test_statistics" ,
    // 描述 
    "desc" : "测试 调度，没有实现用处" , 
    // 方法 版本号 getf('statistics','test_statistics','0.0') 
    // 如果 getf 没有第3个参数 ，默认取最后一个版本
    "version" : "0.0" ,
    // 方法运行 参数 描述 
    "param":{
       "ab":"产品ID",
       "st":"开始时间",
       "et":"结束时间"
    },
    // 方法体 运行 取传参 为 this.param.ab ....
   "body" : function(){ 

     sleep(15000); 

     return {"ab":this.param.ab,"st":this.param.st,"et":this.param.et};

   }
});



3. 调度  定义 :

ds.save({
    // 调度 名称 描述
    "name" : "测试-1" ,
    "desc" : "" ,
    // 方法版本 和 方法名 
    "version" : "0.0" ,
    "fun_name" : "test_statistics" ,

    // 方法 参数 逻辑定义 
    "param" : {
          //调度当前时间 可以使用 内置 "dispatch_time" <时间对象> new Date ,
          //并且 可以使用 utils 中的方法 
          // 其 当参数 遇到 @ - 
          // 就会 load('utils.js') ; param.st = eval( .... ) ;
          "ab": "100008" ,
          "st": "@ time_displacement( dispatch_time ,'yyyy-MM-dd',-1 ) ",
          "et": "@ time_displacement( dispatch_time ,'yyyy-MM-dd' ) "
   },
   //定时调度 仿照( crontab )

   "run_timing" : {
     "minute" : "00" , //0-59
     "hour" : "*" , //0-23
     "day" : "*" , //1-31
     "weekday" : "*"//'Sunday','Monday','Tuesday','Wednesday','Thursday','Friday','Saturday'
   },
   // 调度当前是否可用 
   "is_use" : "true",
   // 此调度生成 job 最后次时间 
   // 作用 - 异常处理，可以通过 此属性，补没有生成的 joblist 
   "last_run" : "2010-04-21 00:00"
});




4. utils.js 时间操作 工具 
http://www.mattkruse.com/javascript/date/source.html
在其 load 上 添加一个 方法 

/* 时间位移
* time_displacement( new Date,'yyyy-MM-dd',-1 )
*/
function time_displacement(ndt,fmt,day,hour,min){
  if(typeof ndate == "string") ndt = parseDate(ndt) ;
  var ndate = new Date( ndt );

  if(typeof day != "undefined") ndate.setDate( ndate.getDate()+day );
  if(typeof hour != "undefined") ndate.setHours( ndate.getHours()+hour );
  if(typeof min != "undefined") ndate.setMinutes( ndate.getMinutes()+min );

  return formatDate(ndate,fmt);
}



5. utils.js  方法 function 取得

/**
* var fun = getf("assert","structure");
* fun.body fun.varsion 
*/
function getf(pack_age,fname,vers){
  var dbs = 'fs';
  var fs_coll = db.getMongo().getDB(dbs).functions ;
  if(typeof vers == "undefined")
     var fun = eval(' fs_coll.find({ "package":"'+pack_age+'", "name":"'+fname+'" }).sort({"version":-1})[0] ');
  else
    var fun = eval(' fs_coll.findOne({ "package":"'+pack_age+'", "name":"'+fname+'","version":"'+vers+'" }) ');

  fun._id = "~";
  return fun ;
}



6. 调度核心方法之一 : 调度时间戳生成 

/* 
    生成 时间戳 :
        根据 输入 时间差 ，
        根据 定时 minute,hour,day,weekday 中查看是否有可能，触发运行 
        比如 : 2010-04-10 00:01<> 2010-04-11 23:59 
                在 00 10 * * 中 有 两次次触发
    方法运行 : 
        get_timestamps( '2010-04-10 00:01','2010-04-11 23:59','00','10','*','*' )
        就是 2010-04-10 10:00 , 2010-04-11 10:00
    参数格式说明 :
        stime,etime > new Date \ 'yyyy-MM-dd'
        minute,hour,day = \d\d 
        weekday = 'Sunday','Monday','Tuesday','Wednesday','Thursday','Friday','Saturday'
*/
function get_timestamps( stime,etime,
        minute,hour,day,weekday ){
    if(typeof stime == "string") stime = parseDate(stime);
    if(typeof etime == "string") etime = parseDate(etime);

    if(stime.getTime() > etime.getTime() )return [];
    var et = formatDate(etime,'yyyy-MM-dd HH:mm');
    var min_cycle = null ;
    if( minute=="*" ) min_cycle = 1 ;
    else if( min_cycle == null && hour=="*" ) min_cycle = 1*60 ;
    else if ( min_cycle == null ) min_cycle = 1*60*24 ;

    print( "min_cycle = ",min_cycle );
    var tts = {};
    //stime.setMinutes( stime.getMinutes() + min_cycle ) ;
    while( stime.getTime() < etime.getTime() ){
        var st = formatDate(stime,'yyyy-MM-dd HH:mm');
        if( minute != "*" && minute!="" ) st =st.replace(/(.*)(\d{2})$/,"$1"+minute);
        if( hour != "*" && hour!="" ) st =st.replace(/(.*)(\d{2})(:\d{2})$/,"$1"+hour+"$3" ) ;
        if( day != "*" && day!="" )st =st.replace(/(\d{4}-\d{2}-)(\d{2})(.*)/,"$1"+day+"$3") ;

        if( ( weekday != "*" && weekday != ww ) || ( et < st) ) {
            stime.setMinutes( stime.getMinutes() + min_cycle ) ;
            continue ;
        }

        // yyyy-MM-dd HH:mm 
        tts[ st ] = 0;
        stime.setMinutes( stime.getMinutes() + min_cycle ) ;
    }
    var arr = [];
    for(var c in tts ) { arr.push(c); }
    return arr ;
}





joblist 生成 :

/* 生成调度
     ntime 调度运行 环境时间 默认当前
joblist 生成 格式
{
    "_id" : ObjectId("4bd55d4a6d623399d78fd793"),
    "name" : "测试-1",
    "timestamp" : "2010-04-22 00:00",
    "active_stamp" : "",
    "func_obj" : {
        "_id" : "~",
        "package" : "statistics",
        "name" : "test_statistics",
        "desc" : "测试 调度，没有实现用处",
        "version" : "0.0",
        "param" : {
            "ab" : "100008",
            "st" : "2010-04-21",
            "et" : "2010-04-22"
        },
        "body" : function cf__24__f_cf__12__f_() {
                    sleep(15000);
                    return {ab:this.param.ab, st:this.param.st, et:this.param.et};
                }
    },
    "running_time" : {
        "dispatch_start" : "",
        "start" : "",
        "end" : ""
    },
    "level" : "3",
    "run_status" : "init",
    "result" : ""
}
*/
function joblist_create(ntime){

  if(typeof ntime == "undefined") var nt = new Date ;
  else if ( typeof ntime == "object" ) var nt = ntime ;
  else var nt = parseDate(ntime);

  var run_stat = {"all":0, "success":0,"error":0};
  var dbs = 'fs';
  var ds = db.getMongo().getDB(dbs).dispatch ;
  var js = db.getMongo().getDB(dbs).joblist ;

  var ff = ds.find({"is_use":"true"}) ;
  //遍历出所有 可用 调度定义 

  while(ff.hasNext()){
    run_stat.all += 1 ;
    var disp = ff.next();
    try{
        //取得调度方法体 

        var fun = getf('statistics',disp.fun_name,disp.version);

        //调度最晚生成 joblist 时间 

        if(typeof disp.last_run == "undefined" || disp.last_run=="" ) disp.last_run = formatDate(nt,'yyyy-MM-dd HH:mm:ss');

        //根据 调度 最晚生成 joblist 时间 和 当前ntime 时间，取得 job 运行时间 

        var tks = get_timestamps( disp.last_run , nt ,
                    disp.run_timing.minute,disp.run_timing.hour,disp.run_timing.day,disp.run_timing.weekday) ;

        for(var i=0;i<tks.length;i++ ){

            // 调度参数生成中的 隐含对象 生成 

            var dispatch_time = parseDate( tks[i] ) ;
            fun = getf('statistics',disp.fun_name,disp.version);

            var pks = [];
            // 参数实例化 

            for(var pk in fun.param){
                pks.push(pk);
                var pv = disp.param[pk] ;
                if( /@/.test(pv) ) fun.param[pk] = eval( pv.replace(/^@(.*)$/,"$1") );
                else fun.param[pk]=pv ;
            }

            // 生成动作戳 

            var active_stamp = "" ;
            var pkss = pks.sort();
            for(var ii;ii<pkss.length;ii++){
                active_stamp += pkss[ii]+fun.param[pkss[ii]];
            }

            if( js.count({ "name": disp.name,"active_stamp":active_stamp ,"timestamp":tks[i]}) != 0 )continue ;
            js.save({
                "name": disp.name ,
                "timestamp" : tks[i] ,
                "active_stamp":active_stamp,

                "func_obj" : fun ,

                "running_time":{
                   "dispatch_start" : "" ,
                   "start" : "" ,
                   "end" : ""
                },

                "level" : "3" ,
                "run_status" : "init" ,// 初始等待 init ，计算等待 wait ， 运行中 running ， 异常结束 error ，正常结束 end 

                "result" : "" // 结果去向 - 扩展

            });
            run_stat.success += 1 ;
            disp.last_run = tks[i] ;
        }
        ds.save( disp );
    }catch(err){ print(err); run_stat.error += 1 ;}
  }
  return run_stat ;
}




job_run :

// 运行 

function job_run(ntime){


  if(typeof ntime == "undefined") var nt = new Date ;
  else if ( typeof ntime == "object" ) var nt = ntime ;
  else var nt = parseDate(ntime);

  var run_stat = {"all":0,"success":0,"error":0};
  var dbs = 'fs';

  var ds = db.getMongo().getDB(dbs).dispatch ;
  var js = db.getMongo().getDB(dbs).joblist ;
  var rs = db.getMongo().getDB(dbs).result ;

  var ajob = [];
  var ff = js.find({ "run_status":"init" }).sort({ "level":1 }).limit(5) ;
  var dispatch_start = formatDate(nt,'yyyy-MM-dd HH:mm');
  while(ff.hasNext()){
    run_stat.all += 1 ;
    try{
        var job = ff.next();
        job.run_status = "wait" ;
        job.running_time.dispatch_start = dispatch_start ;
        js.save(job);

        ajob.push(job);
    }catch(err){print(err);}
 }
 print("start run = ",run_stat.all );
 for(var i=0;i<ajob.length;i++){
    try{
        var job = ajob[i] ;
        if( rs.count({ "name":job.name,"active_stamp":job.active_stamp,"timestamp":job.timestamp }) != 0 ) continue ;

        var fun = job.func_obj;
        job.run_status = "running" ;
        job.running_time.start = formatDate(nt,'yyyy-MM-dd HH:mm');
        js.save(job);

        var res = fun.body() ;

        rs.save({
            "name" : job.name ,
            "param" : fun.param ,
            "timestamp" : job.timestamp ,
            "active_stamp":job.active_stamp ,
            "result" : res
        });

        job.running_time.end = formatDate(nt,'yyyy-MM-dd HH:mm');
        job.run_status = "end" ;
        js.save(job);
        run_stat.success += 1 ;
    }catch(err){
        print(err);
        job.run_status = "error" ;
        job.running_time.end = formatDate(nt,'yyyy-MM-dd HH:mm');
        js.save(job);
        run_stat.error += 1 ;
    }
 }
 return run_stat ;
} 

大数据定时任务调度常用工具
清平乐的技术专栏
04-15 2663
一、crontab 1.概述 crontab是一个命令，用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。用户所建立的crontab文件中，每一行代表一项任务，每行的每个字段代表一项设置，共分六个字段，前五段是时间设定段，第六段是要执行的命令段 # For details see man 4 crontabs # Example ...
Datax定时增量读取MongoDB到本地配置文件
weixin_43681796的博客
11-18 2139
Datax定时增量读取MongoDB到本地配置文件 功能 1> DataX实现读取MongDB 2> 按照时间增量读取 3> 定时执行 代码 { "job": { "content": [ { "reader": { "name": "mongodbreader", "parameter": {
基于Mongodb分布式锁简单实现，解决定时任务并发执行问题
m0_69632475的博客
04-19 584
我们日常开发过程，会有一些定时任务的代码来统计一些系统运行数据，但是我们应用有需要部署多个实例，传统的通过配置文件来控制定时任务是否启动又太过繁琐，而且还经常出错，导致一些异常数据的产生网上有很多分布式锁的实现方案，基于redis、zk、等有很多，但是我的就是一个用了mysql和mongo的小应用，不准备引入其他三方中间件来解决这个问题，撸一个简单的分布式锁来解决定时任务并发执行的问题,加锁操作的原子性和防死锁也都要支持，这里我使用mongodb写了AllInOne的工具类。
mongodb中cron定时任务
热门推荐
aiguoxin
10-14 1万+
需求： 每天定时清除mongodb中某一天之前的数据 思路： 采用shell脚本调用mongodb的命令执行js脚本即可。 步骤： 1.编写email.js文件，作用：清除mongodb某天之前数据，具体代码如下： Date.prototype.format = function(format) { var o = { "M+" : this.g
mongo自动备份脚本与恢复
qq_42189083的博客
12-17 1103
一、创建MongoDB备份目录 mkdir -p /data/mongodb_bak/mongodb_bak_now mkdir -p /data/mongodb_bak/mongodb_bak_list 二、新建MongoDB数据库备份脚本（/data/mongodb_bak/MongoDB_bak.sh） 脚本如下： #!/bin/bash #backup MongoDB   #m...
mongodb数据库定时任务自动备份
Zhooson的博客
10-09 2727
自行下载 yum install crontabs 创建文件夹 mkdir mb_data mkdir mb_data/crontab mkdir mb_data/mongodb mkdir mb_data/mongodb/mongodb_backup_list mkdir mb_data/mongodb/mongodb_backup_now 编写脚本 mb_data/crontab/mongod_backup.sh #!/bin/sh DUMP=/var/lib/mongo #mongod
【记录】celery + mongodb 动态添加、更新定时任务时间
qq_35567179的博客
11-05 1608
无框架 celery 动态更新定时任务时间
分布式定时任务调度系统_hy4.zip
最新发布
02-07
不过，一般而言，分布式定时任务调度系统可能会用到的技术栈包括但不限于分布式计算框架（如Apache Flink、Spark等）、消息队列（如Kafka、RabbitMQ等）、数据库（MySQL、MongoDB等）以及编程语言（Java、Python、Go...
Python定时任务与周期任务(任务调度)
Java/Python大数据随笔
08-27 2115
Event是APScheduler在执行任务时触发的事件，用户可以自定义一些函数来监听这些事件，当触发某些Event时(任务抛出异常后)，做一些具体操作。APScheduler包含四大组件：调度器(scheduler)，作业存储(job store)，触发器(trigger)，执行器(executor)sched是Python的标准库之一，sched是事件调度器，它通过Scheduler类来调度事件，可用于定时任务或周期任务。默认情况下调度器会等待所有正在运行的作业完成后，关闭所有的调度器和作业存储；
Java定时框架Quartz实例详解与定时任务的Mongodb、Mysql持久化实现（一）Quartz组件
Leeon的博客
08-12 5387
一、Quartz概述 Quartz是一个完全由Java编写的开源作业调度框架，为在Java应用程序中进行作业调度提供了简单却强大的机制。Quartz允许开发人员根据一定的时间间隔来调度作业。我学一样东西，从来都是从实践出发，边用边学，用起来自然就学会了。 二、使用Quartz 1、Quartz Jar 我推荐大家使用Maven来加入Jar依赖，方便而且可以对依赖有效地管理。
MongoDB中的定时索引示例详解
09-09
主要给大家介绍了关于MongoDB中定时索引的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用MongoDB具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
mongodb-cron：MongoDB集合为crontab
02-03
-cron MongoDB集合为crontab 该软件包提供了一个简单的API，用于计划任务和在集合上运行重复性作业。 任何集合都可以转换为作业队列或crontab列表。 它使用官方支持的。 它速度很快，最大程度地减少了处理开销，并且使用原子命令来确保安全的作业执行，即使在集群环境中也是如此。 这是用编写的的轻量级开源软件包。 它经过积极维护，经过良好测试，并且已经在生产环境中使用。 源代码在上，您还可以在其中找到我们的。 安装 这是的模块，可以通过安装。 它取决于软件包并使用promises。 $ npm install --save mongodb mongodb-cron 例 下面是一个简单的示例，展示了在Node.js项目中使用此包的好处。 让我们从初始化数据库连接开始。 import { MongoClient } from 'mongodb' ; const mongo = await MongoClient . connect ( 'mongodb://localhost:27017' ) ; const db = mongo . db ( 'test' )
job7、mongodb设计
05-20
根据E-R模型图，设计Mongodb的集合，并为每个集合提供若干测试记录，并测试功能。
定时任务删除MongoDB历史数据
11-28 885
这里是简单的删除历史数据逻辑，可以参考执行，分布式锁是为了防止重复调用，实际使用的时候也可以不用分布式锁。然后定时调用这个删除接口即可不断的删除历史数据了。
定时任务知多少（二）——持久化quartz到Mongodb中
zsd_31的专栏
03-28 459
原文地址：https://blog.youkuaiyun.com/liu765023051/article/details/48834893
springboot集成xxl-job定时任务实现mongodb日志表定期归
小米吃辣椒的博客
12-22 2329
目录 一、归档配置表设计 二、手动创建线程池工具类 和 MongodbArchiveService 类 三、xxl-job日志归档定时任务入口 四、日志归档处理子类ArchivePrinterLogService 在项目开发亦或是接口调用，异常记录，历史信息记录都难免不了日志的记录，随着时间的推移，日志表中的数据会变的越来越多，日志定期归档就显得尤为重要。 一、归档配置表设计 为了能够适应需求的变化，归档日期和日志的失效时间可能随时会有变更，我们需要设计一个归......
Ubuntu 18.0对MongoDB进行定时备份
yukunjiename的专栏
12-29 392
由于前段时间的披星戴月，项目是终于搞上线了，先庆祝一下 这里介绍下项目整体的框架：.NET5+SqlServer+MongoDB 管理后台用的ElementUI+VUE 好了，该切入正题了。 Ubuntu本身自带定时执行任务“Crontab”，利用这个可以每天可以对数据库进行备份。 首先看看备份脚本 代码如下： #!/bin/bash #backup MongoDB #mongodump命令路径 DUMP=/usr/bin/mongodump #临时备份目录 OUT_DI.
使用mongodb作为Quartz.Net下的JobStore实现底层的持久化机制
weixin_33694172的博客
06-26 236
　　我们都知道默认的Quartz底层采用的是RAMJobStore，所有的Job,Trigger,Calendar都是用Dictionary,SortSet等等这样的数据结构进行储存，相对来说性 能肯定快的没法说，但是面对灾难重启的时候还是很拿不出手的，而且都是全内存的，也没法实现多机器搭建Quartz集群，这一点还是很讨厌，虽然官方已经 提供了一些关系性持久化存储方案，但面对如今这么火的no...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值