作业管理、并发执行和 计划任务

计划任务和作业管理

总结：Linux进程：

1）进程相关概念

https://blog.youkuaiyun.com/wdirdo/article/details/100008396

2）进程工具 和 系统性能相关工具

https://blog.youkuaiyun.com/wdirdo/article/details/100008565

3）作业管理、并发执行和 计划任务

Linux的作业控制

• 前台作业 与 后台作业
     是否占据终端资源？

• Linux的作业控制
     前台作业：通过终端启动，且启动后一直占据终端
     后台作业：可通过终端启动，但启动后即转入后台运行（释放终端）
      

• 让作业运行于后台
     (1) 运行中的作业： Ctrl+z
       Ctrl+z将正在执行的命令放入后台，进程状态变为 stopped（PS显示为T：停止态）
  
  
     (2) 尚未启动的作业： COMMAND &
      将命令放入后台执行，进程状态为Running Man（PS显示为S：运行）eg：ping 127.2 & 但是这个命令有标准输出，此时为后台执行，输出仍旧，而且ctrl+c 不能停止此后台执行的命令，ctrl+c 可以终止处于前台的进程

• 查看当前终端所有作业：jobs （只能看到当前终端）

• 作业控制：
     fg [[%]JOB_NUM]：把指定的后台作业调回前台
     bg [[%]JOB_NUM]：让送往后台的作业在后台继续运行
     kill [%JOB_NUM]： 终止指定的作业

• 进程前后台切换
  

• 前台命令（占用终端资源） 后台命令（不占用终端资源）但都依赖于所开启的终端（PS命令查看tty）

• 后台作业虽然被送往后台运行，但其依然与终端相关；退出终端，将关闭后台作业。如果希望 送往后台后，剥离与终端的关系
     screen；COMMAND
     (COMMAND &> /dev/null &)
     nohup COMMAND &>/dev/null &
       nohup 默认会将标准输出放置于当前目录下的nohup.out文件中
  
  
     剥离与终端的关系即当进程所依赖的终端关闭后，其父进程为PID=1的进程（systemd or init）
  
  
  工作中执行一些时间较长的命令，例如备份，编译安装等，建议放到后台执行，而且剥离与终端的关系

并行执行

• 同时运行多个进程，提高效率

• 方法1
  vi all.sh
  f1.sh&
  f2.sh&
  f3.sh&
  
  
  后台执行的命令是同时执行的即并行执行

• 方法2
  (f1.sh&);(f2.sh&);(f3.sh&)

• 方法3
  { f1.sh& f2.sh& f3.sh& }
  
  
  { }在脚本中使用时需要注意：{ CMD;CMD; } 或者
  {
  CMD;CMD (这样可以最后少分号)
  }

eg：ping 127.2;ping 127.5;（想这俩命令同时执行）
    默认如果直接命令行输出命令时，第一个命令执行完成之后才会执行第二
    个命令，因此p由于ping命令使得ping 127.5 永远不会执行

使用同时执行，利用以上三种方式

利用此并行执行的特性可以加速脚本的执行效率：例如扫描一个网段的主机的在线情况
    ping -c1 -W1 IP
    但是就算1s 一个网段的主机数目过多，脚本执行时间也比较长
    此时可以考虑并行执行，加速脚本执行效率

    后台执行的程序执行完成之后不会自动退出，需要人为敲个回车才能看到
[root@centos7 data]# sleep 5 &
[1] 16545
[root@centos7 data]# 
[1]+  Done                    sleep 5
[root@centos7 data]#

若是执行的命令为脚本：并发执行，（放置于后台的）
它会卡在最后例如：等待人为回车
192.168.38.228 is down
192.168.38.250 is down

此时可以在程序完成后使用wait
    因此ping主机并发执行的脚本如下：
 IP=x.x.x（网段）
for i in {1..254};do
  { 
    ping -c1 -W1 $IP.$i &> /dev/null && echo $IP.$i is up || echo $IP.$i is down
  }&  
done
wait （注意wait的位置，需要放置循环外）

计划任务

• Linux任务计划、周期性任务执行

• 未来的某时间点执行一次任务
    at 指定时间点，执行一次性任务
  
  
    batch 系统自行选择空闲时间去执行此处指定的任务
      由于bash是系统空闲时执行一次，系统判断系统空闲，执行时间不可控，一般不使用

• 周期性运行某任务
    cron

计划任务：
①确定系统时间是准确的
②计划任务执行时即使系统处于关机，等待系统开机时也会执行，因为有周期性
的计划任务去查询是否有计划任务因为关机等未执行
③处于计划任务的脚本不应该出现标准输出，因为标准输出会以邮件的方式发送
④写在计划任务中的命令有时需要写绝对路径

at任务

• 包：at

• at 命令：at [option] TIME

• 常用选项：
  -V 显示版本信息 -t time 时间格式 [[CC]YY]MMDDhhmm[.ss]
  -l 列出指定队列中等待运行的作业；相当于atq
  -d 删除指定的作业；相当于atrm
  -c 查看具体作业任务
  -f /path/file 指定的文件中读取任务
  -m 当任务被完成之后，将给用户发送邮件，即使没有标准输出

• 注意：作业执行命令的结果中的标准输出和错误以邮件通知给相关用户

• TIME：定义出什么时候进行 at 这项任务的时间
  HH:MM [YYYY-mm-dd]
  noon, midnight, teatime（4pm）
  tomorrow
  now+#{minutes,hours,days, OR weeks}

at时间格式

• HH:MM 02:00
  在今日的 HH:MM 进行，若该时刻已过，则明天此时执行任务
• HH:MM YYYY-MM-DD 02:00 2016-09-20
  规定在某年某月的某一天的特殊时刻进行该项任务
• HH:MM[am|pm] [Month] [Date]
    04pm March 17
    17:20 tomorrow
• HH:MM[am|pm] + number [minutes|hours|days|weeks]
  在某个时间点再加几个时间后才进行该项任务
    now + 5 min
    02pm + 3 days

at任务

• 执行方式：（at 支持标准输入）
    1）交互式 ( ctrl+d结束 )
    2）输入重定向
    3）at -f 文件

• 依赖与atd服务,需要启动才能实现at任务

• at队列存放在/var/spool/at目录中

• /etc/at.{allow,deny}控制用户是否能执行at任务
  白名单：/etc/at.allow 默认不存在，只有该文件中的用户才能执行at命令
  黑名单：/etc/at.deny 默认存在，拒绝该文件中用户执行at命令，而没有在
  at.deny 文件中的使用者则可执行
  注意：如果两个文件都不存在，只有 root 可以执行 at 命令

• 当/etc/at.allow存在时，不会再去查询/etc/at.deny，即只有在/etc/at.allow存在的普通用户才能创建at计划任何

    at 包分析：at任务首先确认at包是否存在
    
~]# rpm -ql at
/etc/at.deny
/etc/pam.d/atd
/etc/sysconfig/atd
/usr/bin/at         创建一次性计划任务
/usr/bin/atq        查询一次性计划任务
/usr/bin/atrm       删除一次性计划任务
/usr/bin/batch
/usr/lib/systemd/system/atd.service
    
    ==>四个可执行文件/usr/bin/
    ==>一个服务/usr/lib/systemd/system/atd.service
    此atd.service服务必须启动，否则at计划任务不会执行
    确认服务是否启动~]# systemctl status atd.service
        active (running)
        enabled 开机自启动 

at计划任务相关

• at创建的计划任务会存放在/var/spool/at/目录下

• 删除at计划任务：
  at -d #
  atrn #

• 删除at计划任务的本质也是删除/var/spool/at/目录下对应的文件

• at计划任务执行后/var/spool/at/目录下对应的文件也就不存在了

周期性任务计划cron

• 周期性任务计划：cron

• 相关的程序包：
  cronie：主程序包，提供crond守护进程及相关辅助工具
  crontabs：包含CentOS提供系统维护任务
  cronie-anacron：cronie的补充程序，用于监控cronie任务执行状况，如
  cronie中的任务在过去该运行的时间点未能正常运行，则anacron会随后启动一次此任务 <服务器不关机，因此此包用处不大>

    cronie 安装包
[root@centos7 ~]# rpm  -ql cronie
/etc/cron.d
/etc/cron.d/0hourly
/etc/cron.deny
/etc/pam.d/crond        
/etc/sysconfig/crond    
/usr/bin/crontab     创建计划任务
/usr/lib/systemd/system/crond.service   启动此服务
/usr/sbin/crond     启动服务相当于运行此程序，保证系统中的
                    计划任务周期执行
/var/spool/cron     放置与此目录下（人为添加的周期性计划任务）

    crontabs包:提供了若干配置文件
 ~]#  rpm -ql crontabs
/etc/cron.daily     每天
/etc/cron.hourly    每小时
/etc/cron.monthly   每月
/etc/cron.weekly    每周
    以上目录中有系统的计划任务
/etc/crontab   ==>管理员才能创建的计划任务
/usr/bin/run-parts  shell脚本 ；功能是触发某目录下的所有可执行程序

eg：run-parts <如果希望某目录的可执行程序在某时间执行，使用此命令>
<注：脚本需要有执行权限>
    test]# ls
    1.sh  ls    
            <1.sh中内容为echo 1.sh>
            <ls 为系统中ls的副本>
    test]# run-parts /data/test/
    /data/test/1.sh:

    1.sh
    /data/test/ls:

    1.sh
    ls

cron计划任务

• 确保crond守护处于运行状态：
  CentOS 7:
    systemctl status crond
  CentOS 6:
    service crond status

• 计划周期性执行的任务提交给crond，到指定时间会自动运行
  系统cron任务：系统维护作业
    /etc/crontab
  用户cron任务：
    crontab命令

• 日志：/var/log/cron

系统计划任务

• 系统cron任务:/etc/crontab
• 注释行以 # 开头
• 详情参见 man 5 crontab
  
  
  # Example of job definition:
  # .---------------- minute (0 - 59)
  # | .------------- hour (0 - 23)
  # | | .---------- day of month (1 - 31)
  # | | | .------- month (1 - 12) OR jan,feb,mar,apr …
  # | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon…
  # | | | | |
  # * * * * * user-name command to be executed
  

其中 * * * * * 中day和week同时存在表示或者关系
    即 * * 1,10,20 * 6,7 表示每个的1,10,20号或者周六周日都执行

如果要表示每月中的1,10,20中只有表示周六周日才执行可以使用脚本判断

*/10 * * * * 每10min
0 * * * * 每小时
* * * * * 每分钟

/etc/crontab ==> 管理员才能修改/etc/crontab此文件创建计划任务
此文件格式 * * * * * user-name CMD
但是很少直接修改此文件创建cron计划任务 ==>管理员才能创建

一般直接使用crontab -e 命令直接创建计划任务此时创建不需写用户，为
打开crontab命令的用户创建： * * * * * CMD

crontab命令的当前用户创建计划任务，放置于/var/spool/cron/目录
crontab 命令具有suid权限，否则不能在/var/spool/cron/目录下创建文件。

~]#  ll -d /var/spool/cron/
drwx------. 2 root root 6 Apr 11  2018 /var/spool/cron/
~]# ll `which crontab`
-rwsr-xr-x. 1 root root 57576 Apr 11  2018 /usr/bin/crontab

时间表示

• (1) 特定值
  给定时间点有效取值范围内的值
• (2) *
  给定时间点上有效取值范围内的所有值
  表示“每…”
• (3) 离散取值
  #,#,#
• (4) 连续取值
  #-#
• (5) 在指定时间范围上，定义步长
  /#: #即为步长

时间格式

• @yearly <—> 0 0 1 1 *
• @annually <—> 0 0 1 1 *
• @monthly <—> 0 0 1 * *
• @weekly <—> 0 0 * * 0
• @daily <—> 0 0 * * *
• @hourly <—> 0 * * * *
• @reboot <—> Run once after reboot(重启执行)

系统的计划任务

系统的计划任务: /etc/crontab 配置文件
/etc/cron.d/ 配置文件
/etc/cron.hourly/ 脚本
/etc/cron.daily/ 脚本
/etc/cron.weekly/ 脚本
/etc/cron.monthly/ 脚本

anacron系统

• 运行计算机关机时cron不运行的任务，CentOS6以后版本取消anacron服务，由
  crond服务管理

• 对笔记本电脑、台式机、工作站、偶尔要关机的服务器及其它不一直开机的系统
  很重要对很有用

• 配置文件：/etc/anacrontab，负责执行/etc/ cron.daily /etc/cron.weekly /etc/cron.monthly中系统任务
  • 字段1：如果在这些日子里没有运行这些任务……
  • 字段2：在重新引导后等待这么多分钟后运行它
  • 字段3：任务识别器，在日志文件中标识
  • 字段4：要执行的任务

• 由/etc/cron.hourly/0anacron执行

• 当执行任务时，更新/var/spool/anacron/cron.daily 文件的时间戳

管理临时文件

• CentOS7使用systemd-tmpfiles-setup服务实现

• CentOS6使用/etc/cron.daily/tmpwatch定时清除临时文件

• 配置文件：
  /etc/tmpfiles.d/.conf
  /run/tmpfiles.d/.conf
  /usr/lib/tmpfiles/*.conf

• /usr/lib/tmpfiles.d/tmp.conf
  d /tmp 1777 root root 10d
  d /var/tmp 1777 root root 30d

• 命令：
  systemd-tmpfiles –clean|remove|create configfile

用户计划任务

• crontab命令定义
  每个用户都有专用的cron任务文件：/var/spool/cron/USERNAME

• crontab命令：
  crontab [-u user] [-l | -r | -e] [-i]
  -l 列出所有任务
  -e 编辑任务
  -r 移除所有任务
  -i 同-r一同使用，以交互式模式移除指定任务
  -u user 仅root可运行，指定用户管理cron任务

• 控制用户执行计划任务： /etc/cron.{allow,deny}

• 注意： 对于cron任务来讲，%有特殊用途；如果在命令中要使用%，则需要转义，将%
  放置于单引号中，则可不用转义

思考：

• (1) 如何在秒级别运行任务？
  使用sleep命令eg：
  * * * * * for min in 0 1 2; do echo “hi”; sleep 20; done

• (2) 如何实现每7分钟运行一次任务?

• sleep命令：
  sleep NUMBER[SUFFIX]…
  SUFFIX:
  s: 秒, 默认
  m: 分
  h: 小时
  d: 天