进程管理的总结

进程管理的总结

进程相关概念：

Process: 运行中的程序的一个副本，是被载入内存的一个指令集合。进程是程序的基本执                      行实体；程序是指令、数据及其组织形式的描述，进程是程序的实体

Process ID：进程的标记号码

task struct：Linux内核存储进程信息的数据结构格式

task list：多个任务的的task struct组成的链表

进程内存：

Page Frame：页框，用存储页面数据，存储Page 4k（给进程分配的内存空间）

物理地址空间和线性地址空间

          MMU：Memory Management Unit负责转换线性和物理地址（内存管理单元）                                                                                                   cpu物理设备

          TLB：Translation Lookaside Buffer 翻译后备缓冲器,用于保存虚拟地址和物理地址                                                                                     映射关系的缓存

                     IPC: Inter Process Communication 进程间通信

          同一主机: signal:信号

                      shm: shared memory 共享内存

                      semaphore:信号量，一种计数器 也叫进程锁

          不同主机：socket: IP和端口号

                      RPC: remote procedure call 远程过程调用（socket实现）

                      MQ ：消息队列，Kafka ，ActiveMQ

                                                  LRU算法

LRU ：Least Recently Used 近期最少使用算法,释放内存

init（systemd）：Linux的第一个进程

进程的特点

一般情况进程存在生命周期

进程由父进程创建或系统调用创建;systen call API 调用fock()函数，clone()函数。

进程存在父子关系、

进程有优先级之分：系统进程优先级：数字越小，优先级越高

                                       实时进程优先级：数字越大，优先级越高

                                       nice值：-20到19，数字越小，优先级越高

只有根用户才能调整优先级

进程有五种状态:

创建状态：进程在创建时需要申请一个空白PCB(进程控制块)，向其中填写控制和管理进程            的信息，完成资源分配

就绪状态：进程已经准备好，已分配到所需资源，只要分配到CPU就能够立即运行

执行状态：进程处于就绪状态被调度后，进程进入执行状态

阻塞状态：正在执行的进程由于某些事件（I/O请求，申请缓存区失败）而暂时无法运行，进程受到阻塞。在满足请求时进入就绪状态等待系统调用

终止状态：进程结束，或出现错误，或被系统终止，进入终止状态。无法再执行

进程优先级的算法：

LRU算法

Linux内核：抢占式多任务

                  进程类型：

         守护进程: daemon,在系统引导过程中启动的进程，和终端无关进程

         前台进程：跟终端相关，通过终端启动的进程注意：两者可相互转化

         进程状态：

                     运行态：running

         就绪态：ready

         睡眠态：

                  可中断：interruptable

                  不可中断：uninterruptable

         停止态：stopped,暂停于内存，但不会被调度，除非手动启动

         僵死态：zombie ，结束进程，父进程结束前，子进程不关闭

进程的管理工具

Linux系统各进程的相关信息均保存在/proc/PID目录下的各文件中

pstree,     displaya tree of processes 显示进程树

         pstree[OPTIONS] [PID,USER]

         选项：

         -p,--show-pids     show PIDs; implies -c 显示进程和PID

         -p,user                        显示某个用户启用的进程

         -s,pid                           显示当前父进程

         -ps,pid                       显示pid进程的父子链路关系

         -H,pid                          高亮显示

         {线程}：，是程序执行流的最小单元。线程是进程中的一个实体，是被系统独立调度和分派的基本单位，线程自己不拥有系统资源，只拥有一点儿在运行中必不可少的资源，但它可与同属一个进程的其它线程共享进程所拥有的全部资源。一个标准的线程由线程ID，当前指令指针(PC），寄存器集合和堆栈组成。另外，一个线程可以创建和撤消另一个线程，同一进程中的多个线程之间可以并发执行。由于线程之间的相互制约，致使线程在运行中呈现出间断性。线程也有就绪、阻塞和运行三种基本状态。就绪状态是指线程具备运行的所有条件，逻辑上可以运行，在等待处理机；运行状态是指线程占有处理机正在运行；阻塞状态是指线程在等待一个事件（如某个信号量），逻辑上不可执行。每一个程序都至少有一个线程，若程序只有一个线程，那就是程序本身。

线程是程序中一个单一的顺序控制流程。进程内一个相对独立的、可调度的执行单元，是系统独立调度和分派CPU的基本单位指运行中的程序的调度单位。在单个程序中同时运行多个线程完成不同的工作，称为多线程。

 

ps,    reporta snapshot of the current processes 查看当前进程

         ps支持三种格式的选项：Unix风格 -A -e

                                                           BSD风格 a

                                                           GNU/Linux 风格 --a --help

         选项：默认显示当前终端中的进程

                   a    选项包括所有终端中的进程

                   x    选项包括不链接终端的进程

                   u    选项显示进程所有者的信息

                   f    选项显示进程树,相当于 --forest

                   k|--sort  属性 对属性排序,属性前加- 表示倒序

                   o    属性… 选项显示定制的信息 pid、cmd、%cpu、%mem

                   L显示支持的属性列表

         常用选项有这些：

                   -C：cmdlist 程序名，某个程序对应的进程信息

                   -L：显示线程

                   -e:显示所有进程，相当于-A

                   -f:显示完整格式程序信息

                   -F:显示更完整格式的进程信息

                   -H:以进程层级格式显示进程相关信息

                   -u：userlist  指定有效的用户ID或名称

                   -U：userlist 指定真正的用户ID或名称

                   -g：gid或groupname            指定有效的gid或组名称

                   -G：gid或groupname             指定真正的gid或组名称

                   -p： pid 显示指pid的进程

                   --ppid：pid  显示属于pid的子进程

                   -M  显示SELinux信息，相当于Z

常用组合有这些：aux

                                      -ef

                                      -eFH

                                      -eopid,tid,class,rtprio,ni,pri,psr,pcpu,stat,comm

                                       axostat,euid,ruid,tty,tpgid,sess,pgrp,ppid,pid,pcpu,comm

ps的输出属性是这样的：

USER:用户信息

PID：进程号

PPID：父进程的ID号

%CPU：进程所占用CPU时间片与CPU空闲时间片的百分比

C: 进程所占用CPU时间片与CPU空闲时间片的百分比

PSR：CPU核心上跑的进程

%MEM：进程所占用的内存空间与总空间的大小的百分比

VSZ:：Virtual memory SiZe ，虚拟内存集，线性内存

TTY：进程占用的终端号，也有非占用终端的进程(?)

RSS:：ReSident Size, 常驻内存集

STAT ：进程状态

                                                 R ：running 运行态

                                                 S: interruptable sleeping 可中断的睡眠态

                                                 D: uninterruptable sleeping不可中断的睡眠态

                                                 T: stopped 停止态

                                                 Z: zombie 僵尸态

                                                 +: 前台进程

                                                 l: 多线程进程

                                                 L ：内存分页并带锁

                                                 N ：低优先级进程

                                                 <: 高优先级进程

                                                 s: session leader ，会话（子进程）发起者

START：进程启动的时间和日期

TIME：进程使用的所有CPU时间

COMMAND：发起进程的命令

PS实例：

         查询你拥有的所有进程：

         ps-x

         显示指定用户名(RUID)或用户ID的进程：

         ps-fU apache

         ps-fu 48

         显示指定用户名(EUID)或用户ID的进程：

         ps-fu wang

         ps-fu 1000

         查看以root用户权限（实际和有效ID ）运行的每个进程：

         ps-U root -u root

         列出某个组拥有的所有进程（实际组ID ：RGID或名称）：

         ps-fG nginx 

         列出有效组名称（或会话）所拥有的所有进程：

         ps-fg mysql

         ps-fG 27

         通过进程ID来显示所属的进程：

         ps-fp 1234

         以父进程ID来显示其下所有的进程，如显示父进程为1154的

         所有进程：

         ps-f --ppid 1234

         显示指定PID的多个进程：

         ps-fp 1204,1239,1263

         要按tty显示所属进程:

         ps-ft pst/0

         以进程树显示系统中的进程如何相互链接:

         ps-e --forest

         以进程树显示指定的进程：

         ps-f --forest -C sshd

         ps-ef --forest | grep -v grep | grep sshd

         要显示一个进程的所有线程,将显示LWP （轻量级进程）以及NLWP（轻量级进程数） 列:

         ps-fL -C nginx

         要列出所有格式说明符:

         psL

         查看进程的PID ，PPID ，用户名和命令：

         ps-eo pid,ppid,user,cmd

         自定义格式显示文件系统组,ni值开始时间和进程的时间：

         ps-p 1234 -o pid,ppid,fgroup,ni,lstart,etime

         使用其PID查找进程名称：

         ps-p 1244 -o comm=

         要以其名称选择特定进程，显示其所有子进程

         ps-C sshd,bash

         查找指定进程名所有的所属PID，在编写需要从std输出或文件读取PID的脚本时这个 参数很有用：

         ps-C httpd,sshd -o pid=

         检查一个进程的执行时间

         ps-eo comm,etime,user | grep nginx

         查找占用最多内存和CPU的进程：

         ps-eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head

         ps-eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu | head

         显示安全信息：

         ps-eM

         ps--context

         使用以下命令以用户定义的格式显示安全信息。

         ps-eo euser,ruser,suser,fuser,f,comm,label

         使用watch实用程序执行重复的输出以实现对就程进行实时的监视，如下面的命令显每          秒钟的监视：

         watch-n 1 'ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head'

 

pidof：find the process ID of a runningprogram. 查找程序进程ID

           pidof 进程名

         这个命令可以实现监控某一个服务。

实例：

         监控httpd服务

         如果pidof httpd，没有返回值，说明进程没有启动，则执行restart。如果有值，服务正 常运行。

 

pgrep：pkill - look up orsignal processes based on name and other attributes pkill - 根据名称         和其他属性查找或发出进程

          pgrep [options] pattern

         -u uid: effective user ，生效者

         -U uid: real user ，真正发起运行命令者

         -t terminal: 与指定终端相关的进程

         -l: 显示进程名

         -a: 显示完整格式的进程名

         -P pid: 显示指定进程的子进程

 

top：display Linux tasks 显示Linux任务信息

top命令 栏位信息简介

         第一栏是uptime命令输出的格式      

    us ：用户空间

    sy ：内核空间

    ni ：调整nice时间

    id ：空闲CPU

    wa ：等待IO时间

    hi ：硬中断

    si ：软中断（模式切换）

    st ：虚拟机偷走的时间

top：有许多内置命令：

         各个单独的键，实际上是设置top的显示方式，W可以保存配置。以便下次以同样的方式开启。

         排序：

                   P：以占据的CPU百分比,%CPU

                   M：占据内存百分比,%MEM

                   T：累积占据CPU时长,TIME+

         首部信息显示：

                   uptime信息关闭或打开：l字母

                   tasks及cpu信息显示方式：t字母

                   cpu分别显示：1 (数字)

                   改变显示颜色：z 字母

                   memory信息：m命令

         退出命令：q

         修改刷新时间间隔：s

         终止指定进程：k

         保存文件：W

选项：

       -d #: 指定刷新时间间隔，默认为3秒

       -b: 全部所有进程

       -n #: 刷新多少次后退出

 

 htop：interactiveprocess viewer 交互式流程式查看器

         选项：

                   -d#: 指定延迟时间；

                   -uUserName: 仅显示指定用户的进程

                   -sCOLUME: 以指定字段进行排序

         子命令：

                   s:跟踪选定进程的系统调用

                   l:显示选定进程打开的文件列表

                   a：将选定的进程绑定至某指定CPU核心

               t: 显示进程树

strace：跟踪系统调用和信号

lsof：list open files

                           lsof -i 22 查看某个端口是否被占用

glances：A cross-platformcurses-based monitoring tool 跨平台的curses监控工具

         EPEL源

         glances[-bdehmnrsvyz1] [-B bind] [-c server] [-C conffile] [-p port] [-P password][--password]            [-t refresh] [-ffile] [-o output]

内建命令：

   a  Sort processesautomatically       l  Show/hide logs

   c  Sort processes by CPU%              b Bytes or bits for network I/O

   m  Sort processes by MEM%             w  Delete warning logs

   p  Sort processes by name              x Delete warning and critical logs

   i  Sort processes by I/O rate          1 Global CPU or per-CPU stats

   d  Show/hide disk I/O stats            h Show/hide this help screen

   f  Show/hide file systemstats         t  View network I/O as combination

   n  Show/hide network stats             u View cumulative network I/O

   s  Show/hide sensors stats            q Quit (Esc and Ctrl-C also work)

   y  Show/hide hddtemp stats

常用选项：

    -b: 以Byte为单位显示网卡数据速率

    -d: 关闭磁盘I/O模块

    -f /path/to/somefile: 设定输入文件位置

    -o {HTML|CSV} ：输出格式

    -m: 禁用mount模块

    -n: 禁用网络模块

    -t #: 延迟时间间隔

    -1 ：每个CPU的相关数据单独显示                                                                                                                

C/S模式下运行glances命令

服务器模式：

         glances -s -BIPADDR

         -s绑定服务器（本机IP）

         IPADDR: 指明监听的本机哪个地址

 

客户端模式：

         glances -c IPADDR

         IPADDR ：要连入的服务器端地址

 

pmap：report memory map ofa process 报告进程的内存映射

                   -x扩展格式显示

vmstat：Report virtualmemory statistics 报告虚拟内存的统计信息

vmstat [options][delay [count]]

         procs:进程

          r ：可运行（正运行或等待运行）进程的个数，和核心数有关

         b ：处于不可中断睡眠态的进程个数(被阻塞的队列的长度)

         memory：

         swpd: 交换内存的使用总量

         free ：空闲物理内存总量

         buffer ：用于buffer的内存总量

         cache ：用于cache的内存总量

         swap:

         si ：从磁盘交换进内存的数据速率(kb/s)

         so ：从内存交换至磁盘的数据速率(kb/s)

         io：

         bi ：从块设备读入数据到系统的速率(kb/s)

         bo: 保存数据至块设备的速率

         system：

         in: interrupts  中断速率，包括时钟

         cs: context switch  进程切换速率

         cpu：

         us:Time spent running non-kernel code

         sy: Time spent running kernel code

         id: Time spent idle. Linux 2.5.41前,包括IO-waittime.

         wa: Time spent waiting for IO. 2.5.41前，包括in idle.

         st: Time stolen from a virtual machine. 2.6.11前, unknown.

         选项：

         -s: 显示内存的统计数据

 

iotop命令是一个用来监视磁盘I/O使用状况的top类工具。

         iotop具有与top相似的UI ，其中包括PID、用户、I/O、进程 等相关信息。可查看每    个进程是如何使用IO

iotop输出

         第一行：Read和Write速率总计

         第二行：实际的Read和Write速率

         第三行：参数如下：

         线程ID （按p切换为进程ID ）

      优先级

      用户

      磁盘读速率

      磁盘写速率

      swap交换百分比

      IO等待所占的百分比

      线程/进程命令

iotop常用参数

         -o,--only只显示正在产生I/O的进程或线程。除了传参，可以在运行过程中按o生效。

         -b,--batch非交互模式，一般用来记录日志。

         -nNUM, --iter=NUM设置监测的次数，默认无限。在非交互模式下很有用。

         -dSEC, --delay=SEC设置每次监测的间隔，默认1秒，接受非整形数据例如1.1。

         -pPID, --pid=PID指定监测的进程/线程。

         -uUSER, --user=USER指定监测某个用户产生的I/O。

         -P,--processes仅显示进程，默认iotop显示所有线程。

         -a,--accumulated显示累积的I/O ，而不是带宽。

         -k,--kilobytes使用kB单位，而不是对人友好的单位。在非交互模式下，脚本编程有用

          iotop常用参数和快捷键

 

         -t,--time 加上时间戳，非交互非模式

         -q,--quiet 禁止头几行，非交互模式，有三种指定方式

                   -q只在第一次监测时显示列名

                   -qq永远不显示列名

                   -qqq永远不显示I/O汇总

dstat：versatile tool forgenerating system resource statistics用于生成系统资源统计的多功       能工具代替vmstat,iostat

         dstat[-afv] [options..] [delay [count]]

                   -c:显示cpu相关信息

                            -C#,#,...,total

                   -d:显示disk相关信息

                            -Dtotal,sda,sdb,...

                   -g：显示page相关统计数据

                   -m:显示memory相关统计数据

                   -n:显示network相关统计数据

                   -p:显示process相关统计数据

                   -r:显示io请求相关的统计数据

                   -s:显示swapped相关的统计数据

                   --tcp

                  --udp

                  --unix

                  --raw

                  --socket

                  --ipc

                   --top-cpu：显示最占用CPU的进程

                   --top-io:显示最占用io的进程

                   --top-mem:显示最占用内存的进程

                   --top-latency:显示延迟最大的进程

kill：terminate a process 终止一个进程

         向进程发送控制信号，以实现对进程管理,每个信号对应一个数字，信号名称以SIG开头（可省略），不区分大小写

         显示当前系统可用信号：kill –l,trap -l

         常用信号：man 7 signal

          1) SIGHUP: 无须关闭进程而让其重读配置文件

          2) SIGINT: 中止正在运行的进程；相当于Ctrl+c

          3) SIGQUIT:相当于ctrl+\

          9) SIGKILL: 强制杀死正在运行的进程

          15) SIGTERM ：终止正在运行的进程

          18) SIGCONT ：继续运行

          19) SIGSTOP ：后台休眠

         指定信号的方法：

                    (1) 信号的数字标识：1, 2, 9

                    (2) 信号完整名称：SIGHUP               

                    (3) 信号的简写名称：HUP

         按PID ：kill[-SIGNAL] pid …

         kill –n SIGNAL pid;kill –s SIGNAL pid

         按名称：killall[-SIGNAL]  comm…

         按模式：pkill[options] pattern

                   -SIGNAL

                   -uuid: effective user ，生效者

                   -Uuid: real user ，真正发起运行命令者

                   -tterminal: 与指定终端相关的进程

                   -l:显示进程名（pgrep可用）

                   -a:显示完整格式的进程名（pgrep可用）

                   -Ppid: 显示指定进程的子进程

pkill：根据名称和其他属性查找或发出进程

 

 

 

 

 

进程优先级的理解：

         默认情况优先级越高，越是优先执行，也有多个相同级别的优先级，会使用不同的算法进行优化，（LRU算法），这里主要讲解nice优先级的相关设置：

每个进程的创建，都会在内核中生成相应的链表，存放进程的相关属性和数据结构。（task struct）。每个进程都有相应的两个队列：

一个是运行队列

一个是过期队列

进程在队列中来回转换，获取CPU时间片，实现系统进程的优先级

调整nice优先级的命令

         nice：运行具有修改调度优先级的程序

         实例:

                   nice-5 ping 127.0..0.1

         renice：  改变运行进程的优先级

                   -n[N][pid]:制定某个运行程序的优先级数字

         实例：

                   renice-n -20 8836

系统工具

uptime

  显示当前时间，系统已启动的时间、当前上线人数，系统平均负载（1、5、10分钟的平均负载，一般不会超过1）

         系统平均负载:

     指在特定时间间隔内运行队列中的平均进程数

通常每个CPU内核的当前活动进程数不大于3 ，那么系统性能良好。如果每个CPU内核的任务数大于5 ，那么此主机的性能有严重问题

         如果linux主机是1个双核CPU ，当LoadAverage 为6的时候说明机器已经被充分使用

依次显示为：系统时间，运行时长，当前在线用户数量和平均负载

Linux作业管理

Linux的作业控制

                   前台作业：通过终端启动，且启动后一直占据终端；

                   后台作业：可通过终端启动，但启动后即转入后台运行（释放终端）

让作业运行于后台

                   (1)运行中的作业：             Ctrl+z

                   (2)尚未启动的作业： COMMAND &

后台作业虽然被送往后台运行，但其依然与终端相关；退出终端，将关闭后台作业。如果希望送往后台后，剥离与终端的关系

                   nohup COMMAND&>/dev/null  &

                   screen;COMMAND

jobs：查看后台运行的程序进程

bg{N}：前后台程序切换 N是数字

fg{N}：将后台的命令调入前台，继续执行 N是数字

kill{N}：终止进程，N是后台进程的编号

并行任务的执行

一般情况想要并行执行某个作业，有以下三种方法：

         方法1

    vi all.sh

       f1.sh&

       f2.sh&

       f3.sh&

         方法2

     (f1.sh&);(f2.sh&);(f3.sh&)

         方法3

    { f1.sh& f2.sh& f3.sh& }

信号

信号本质：

软中断信号（signal，又简称为信号）用来通知进程发生了异步事件。在软件层次上是对中断机制的一种模拟，在原理上，一个进程收到一个信号与处理器收到一个中断请求可以说是一样的。信号是进程间通信机制中唯一的异步通信机制，一个进程不必通过任何操作来等待信号的到达，事实上，进程也不知道信号到底什么时候到达。进程之间可以互相通过系统调用kill发送软中断信号。内核也可以因为内部事件而给进程发送信号，通知进程发生了某个事件。信号机制除了基本通知功能外，还可以传递附加信息。

Linux系统中的信号分很多种

kill -l：查看信号

trap：可以捕获信号，但对-9 信号无效。

trap -l：也可以查看信号

关于信号的帮助信息可以man 7 signal

 

常用的信号：

                   1) SIGHUP: 无须关闭进程而让其重读配置文件

                   2) SIGINT: 中止正在运行的进程；相当于Ctrl+c

                   3) SIGQUIT:相当于ctrl+\

                   9) SIGKILL: 强制杀死正在运行的进程

                   15) SIGTERM ：终止正在运行的进程

                   18) SIGCONT ：继续运行

                   19) SIGSTOP ：后台休眠

         指定信号的方法：

          (1) 信号的数字标识：1, 2, 9

          (2) 信号完整名称：SIGHUP

                     (3) 信号的简写名称：HUP

按PID ：

                   kill[-SIGNAL]  pid …

                   kill–n SIGNAL pid;kill –s SIGNAL pid

按名称：

                   killall[-SIGNAL]  comm…

按模式：

                   pkill[options] pattern

                            -SIGNAL

                            -uuid: effective user ，生效者

                            -Uuid: real user ，真正发起运行命令者

                            -tterminal: 与指定终端相关的进程

                            -l:显示进程名（pgrep可用）

                            -a:显示完整格式的进程名（pgrep可用）

                            -Ppid: 显示指定进程的子进程

后续陆续更新