操作系统

 

操作系统把CPU抽象成进程，磁盘抽象成文件，内存抽象成地址空间，使用户可以更方便使用

操作系统的层次结构：硬件->操作系统->应用软件

操作系统界面属于外壳(shell)，操作系统主要研究内核(kernel)

主要的三大硬件：CPU，内存，磁盘

CPU：CPU调度

内存：物理内存管理，虚拟内存管理

磁盘：文件系统管理，中断处理与设备驱动

并发：操作系统中同时存在多个运行的程序，一段时间内多个程序可以运行

并行：一个时间点内多个程序运行，需要操作系统中存在多个CPU

微内核：内核中只放最基本的功能，比如：中断处理，消息传递，其他功能作为应用程序的形式存在，缺点是性能开销比较大

  BIOS（basic I/O system）：按电源之后，计算机检测外设，OS存放于disk中

BootLoader存在于硬盘的引导扇区，加载硬盘中的OS

系统调用（来源于应用程序）：应用程序主动向操作系统发出服务请求，同步或异步

异常（来源于不良应用程序）：非法指令或者其他坏的处理状态（如：内存出错），同步

中断（来源于外设）：来自不同的硬件设备的计时器和网络的中断，异步

中断处理：

硬件：设置中断标记

1，将内部、外部事件设置中断标记

2、中断事件的ID

软件（OS）：保存当前处理状态，中断服务程序处理，清除中断标记，恢复之前保存的处理状态

异常处理：

 产生一个异常编号，保存现场，异常处理（杀死异常程序或者重新执行异常指令），恢复现场

系统调用（应用程序向OS请求服务，应用程序不能直接使用服务，需要由OS提供这些服务，系统调用就是这个过程的接口）

程序访问主要是通过高层次的API接口而不是直接进行系统调用

用户态：CPU状态，权限低，无法执行特权指令和IO指令

内核态：CPU状态，可以执行任何指令

系统调用和函数调用的区别：函数调用是在同一个堆栈中进行的，系统调用的过程中，应用程序和OS拥有各自的堆栈，所以系统调用过程中会涉及到堆栈的转换还有用户态到内核态的转化，会带来一定的开销，但具有安全可靠的优点

cache和CPU寄存器存在于CPU中，内存中的数据断电会丢失

CPU寄存器，cache，主存，硬盘，速度从快到慢

内存地址空间，内存地址生成，逻辑地址空间，物理地址空间

物理地址空间是硬件支持的地址空间，逻辑地址空间是一个运行程序拥有的内存范围

CPU中的MMU（内存管理单元）表示了内存逻辑地址和内存物理地址的映射关系

当CPU要执行一条指令的时候，CPU需要这条指令的内容，向MMU发出请求，请求带着逻辑地址，MMU会寻找逻辑地址和物理地址的映射，如果MMU中没找到则到内存中去找，之后控制器从总线发送需要内存物理地址中的内容的请求，最后内存发送物理地址内存的内容给CPU。OS这其中起到的作用是，在这些步骤前，OS需要先把物理地址和逻辑地址的映射关系建立好

访问内存的安全性检测由OS完成，OS会设置逻辑地址空间的起始地址和长度

内存分配

内存碎片：不能被使用的空闲内存；外部碎片：分配单元间的未使用内存；内部碎片：分配单元中的未使用碎片

首次适配（first fit）：分配第一个找到的空闲块；需要按地址排序空闲块列表，分配时需要检查，看自由分区能否合并相邻的空闲分区；它的优势是简单，可以留着更大的空闲块想着地址空间的结尾；缺点是容易产生外部碎片

最优适配（best fit）：分配大小最合适的空闲块；需要按空间大小来排列空闲块，跟首次适配一样需要在重分配时合并相邻的空闲分区；优点是对于小尺寸的内存分配很友好，可以避免分割大的空闲块，最小化外部碎片的产生；缺点是依旧会产生外部碎片，分配慢，容易产生很多没用的微小碎片

最差适配（worse fit）：分配一个跟需要的内存大小差距最大的空闲块；需要按照空间大小来排列空闲块；可以避免产生很多微小的碎片，分配速度快（分配最大的空闲块），对中等尺寸的分配比较友好；缺点是产生外部碎片，大的空闲块被分割

碎片处理

压缩式处理：移动应用程序的内存，腾出空闲块

交换式处理：将暂时不使用的应用程序所使用的内存放到硬盘中来获得空闲空间

首次适配，最优适配，最差适配都是连续的内存分配方法，分配给一个程序的内存空间是连续的，内存利用率低，容易产生内存碎片

非连续内存分配

分页：分段中段的大小时可变的，分页中，页的大小是固定的；将物理内存划分为固定大小的帧，将逻辑地址空间划分为与每一帧大小相同的页，它们的大小都是2的幂，页寻址机制从页映射到帧，页是连续的虚拟内存，帧是非连续的物理内存，不是所有的页都有对应的帧；分页机制访问一个内存单元需要2次访问内存，一次获取页表项，一次访问数据，同时页表可能非常大，且每个应用程序都有一个页表；CPU中有一个块表（TLB），CPU每次执行指令时都先去TLB中查找，若TLB中命中，则直接获得物理页号，若TLB不命中，则对应的页表项被更新到TLB中

分段：将应用程序需要的内存分成几个段，因此不需要连续的内存，存放在非连续的内存中，段表是分段内存分配中的重点，段表中包含有三个重要信息，包括逻辑地址中段号对应的物理地址，段的起始地址，段的长度，段表由OS来建立

虚拟内存技术

覆盖技术：为了在较小的内存中运行较大的程序，常用代码常驻内存，不常用的代码不必常驻内存；程序员需要把一个大的程序划分为若干个小的模块，增加编程复杂度，换入换出时的开销，相当于时间换空间

交换技术：多道程序在内存中时，让正在运行的程序获得更多内存资源，将暂时不能运行的程序送到外存，以获得空闲内存；硬盘的读写速度远慢于内存，需要确定何时进行交换，程序换出和换入时的重定位问题，需要采用动态地址映射的方法

覆盖发生在一个程序内，互相没有调用关系的模块处于不同的覆盖区；交换发生在程序与程序之间，整个程序的换入换出

虚存技术：不是把程序所有内容放入内存中，能够实现进程在内存与外存之间 的交换，可以在页式或段式内存管理的基础上实现

大部分虚拟存储系统都采用虚拟页式存储管理技术，在页式存储管理的基础上，增加请求调页和页面置换功能

页面置换算法

局部页面置换算法

最优页面置换算法：当一个缺页中断产生时，对于保存在内存中的每一个逻辑页面，计算在它的下一次访问之前，还需要等待多少时间，置换等待时间最长的那个页面；是理想情况，OS无法知道一个页面要多久才被访问

先进先出置换算法：实现简单，将内存中驻留的页面排成链表，链表头是驻留时间最长的页面，链表尾是驻留时间最短的页面；性能较差，产生的缺页次数比较多，有Belady现象

最近最久未使用置换算法（LRU）：当一个缺页中断产生时，选择最久未使用的那个页面来替换，需要记录各个页面使用时间的先后顺序，两种实现方法，链表，每一次访问页面，就将该页面放到链表头；堆栈，访问一个页面时，将其压到栈顶，若栈中已有该页面，则抽出栈中的页面，需要置换时，置换栈底的页面

时钟页面置换算法：需要用到页面的访问位，当一个页面被装入内存时，把该位置为0，如果这个页面被访问，则把该位置为1,；各个页面形成环形链表；当发生缺页中断时，考察指针指向的页面，若访问位为0，则换出，若访问位为1，则将其置0，指针移动到下一页，直到找到置换的页面，访问包括读操作和写操作

二次机会法：时钟页面置换算法的改进，基于访问位和读写位来置换，置换的页面两个位都是0；两个位都是1，使用位置0，读写位不变，指针往下走；使用位是0，读写位是1，读写位清0，指针往下走；使用位为1，读写位为0，使用位清0，读写位不变，指针往下走

最不常用页面置换算法（LFU）：当一个缺页中断产生时，选择访问次数最少的那个页面置换出去，对每个页面设置一个访问计数器，只考虑次数不考虑时间，性能较差；

Belady现象：采用FIFO算法时，有时会出现分配的物理页面数增加，缺页率反而提高的异常现象

LRU算法性能较好，但系统开销大；FIFO算法系统开销小，但可能发生belady现象；这种的办法就是clock算法

全局页面置换算法 

工作集：一个进程当前正在使用的逻辑页面的集合，工作集大小会变化

常驻集：在当前时刻，进程实际驻留在内存当中的页面集合

工作集是进程在运行过程中固有的性质，而常驻集取决于系统分配给进程的物理页面数目以及采用的页面置换算法，一个进程的工作集都在内存中时，进程将执行得很顺利，当常驻集的大小达到某个数目后，再给它分配更多的物理页面，缺页率也不会下降

滑动窗口置换算法

缺页率：缺页次数/内存访问次数，取决于页面置换算法，页面大小，程序编写方法，分配给进程的物理页面数目

当缺页率过高的时候，增加工作集 缺页率过低，减少工作集

缺页率置换算法

抖动问题：页面置换过于频繁

进程：一个具有一定独立功能的程序在一个数据集合上的一次动态执行过程，进程应该包括程序的代码，程序处理的数据，程序计数器的值（指示下一条将运行的指令），一组通用寄存器的当前值（堆，栈），一组系统资源；进程包含了程序运行的所有信息

程序是产生进程的基础，程序的每次运行构成不同的进程，进程是程序功能的体现，通过多次执行，一个程序可以对应多个进程，通过调用关系，一个进程可以包含多个程序；进程是动态的，程序是静态的，程序是有序代码的集合，进程是程序的执行，进程有核心态和用户态；进程是暂时的，程序是永久的，进程是一个状态变化的过程，程序可以长久保存；进程的组成包括程序，数据和进程控制块（PCB）

进程的特点

动态性：可以动态地创建，结束

并发性：进程可以被独立调度并占用处理机运行，并发并行

独立性：不同进程的工作不相互影响

制约性：因访问共享数据，资源或进程同步而产生制约

进程控制块（PCB）

OS管理控制进程运行所用的信息集合，PCB是进程存在的唯一标志；进程的创建即为该进程生成一个PCB；进程的终止为回收该进程的PCB；进程的组织管理，通过对PCB的组织管理来实现

PCB含有以下三大类信息

进程标识信息：本进程的标识，本进程的父进程，用户标识（表明进程属于哪个用户）

处理机状态信息保存区：保存进程的运行现场信息，包括用户可见寄存器，保存了用户程序可以使用的数据，地址等寄存器；控制和状态寄存器，如程序计数器，程序状态字；栈指针，过程调用，系统调用，中断处理和返回的时候需要用到它

进程控制信息：调度和状态信息，进程间通信信息，存储管理信息，进程所用资源，有关数据结构连接信息

PCB的组织方式

链表组织方式：同一状态的进程的PCB为一个链表，多个状态对应多个不同的链表，插入删除的开销较少

索引表：同一个状态的进程的PCB存于同一个index,不同状态对应不同index，适用于进程数比较固定

进程的生命周期管理：进程创建，进程运行，进程等待，进程唤醒，进程结束

进程创建：引起进程创建的三个主要事件，系统初始化时，创建init进程，由它创建其他进程；用户请求创建一个新进程；正在运行的进程执行了创建进程的系统调用；进程的创建会新创建一个PCB，并初始化PCB中的信息

进程运行:内核选择一个就绪的进程，让它占用处理机运行

进程等待（阻塞）：有三种情况进程会等待，请求并等待系统服务，无法马上完成；启动某种操作，无法马上完成；需要的数据还没有到达；进程只能自己阻塞自己，因为只有进程自身才能知道何时需要等待某种事件的发生

进程唤醒：进程唤醒的原因对应进程阻塞的三个原因，被阻塞进程所需要的资源被满足；被阻塞进程等待的事件到达；将该进程的PCB插入到就绪队列；进程只能被别的进程或者操作系统唤醒

进程结束：四种情形，正常退出（自愿的），错误退出（自愿的），致命错误（OS强制它退出，比如访问其他进程的地址空间），被其他进程杀死（强制性的）

进程在生命结束前的三种基本状态：运行状态running（进程正在处理机上运行），就绪状态ready（一个进程获得了除处理机之外的一切所需资源，一旦得到处理机就可以运行），等待状态blocked（一个进程正在等待某一时间而暂停运行）

从上图可知，进程可以从运行状态转变到就绪状态和阻塞状态，就绪状态可以转变为运行状态，阻塞状态可以转变为就绪状态

进程还具有创建状态和结束状态这两种基本状态，创建状态指的是一个进程正在被创建，还没转到就绪状态之前的状态；结束状态是一个进程正在从系统消失时的状态，PCB还没有完全消失

进程挂起：进程没有占用内存空间，分为阻塞挂起状态（block-suspend）和就绪挂起状态（reday-suspend），阻塞挂起状态是进程在外存中等待某一事件的发生，就绪挂起状态是进程在外存中，只要进入内存就可以运行

挂起相关的状态转换：

阻塞到阻塞挂起：没有进程处于就绪状态或者就绪进程要求更多内存时，会进行这种转换，以提交新进程或运行就绪进程

就绪到就绪挂起：当有高优先级阻塞进程（OS认为很快就可以就绪的）和低优先级就绪进程时，系统会选择挂起低优先级就绪进程

运行到就绪挂起：对抢先式分时系统，当有高优先级阻塞进程因为事件出现而进入就绪挂起时，OS会将处于运行状态的进程转到就绪挂起状态

以上三种是把进程从内存转到外存的情况

阻塞挂起到就绪挂起：当有阻塞挂起进程因相关事件出现时，系统就会把阻塞挂起状态转变为就绪挂起状态

这是进程在外存中的转换

就绪挂起状态到就绪状态：没有就绪进程或挂起就绪进程的优先级高于就绪进程时，会进行这种转换

阻塞挂起状态到阻塞状态：当一个进程释放足够的内存时，OS会把一个高优先级的阻塞挂起进程（系统认为很快会出现它所等待的事件）转换为阻塞进程

这两种是外存到内存的转换

线程

没有线程之前采用的是多进程，多进程会带来进程之间如何通信，数据如何共享，维护进程的开销等问题

线程之间可以并发执行，且他们共享相同的地址空间，线程有TCB（线程控制块），有自己的堆栈和寄存器

线程的优点：一个进程中可以同时存在多个线程；各个线程之间可以并发执行；各个线程之间可以共享地址空间和文件等资源

线程的缺点：一个线程崩溃，会导致其所属进程的所有线程崩溃，因为数据共享，如果有一个线程把数据破坏了，其他线程也会崩溃

进程和线程的区别：进程是资源分配单位，线程是CPU调度单位；进程拥有一个完整的资源平台，而线程只独享必不可少的资源，如寄存器和栈；线程同样具有就绪，阻塞和执行三种基本状态，同样具有状态之间的转换关系；线程可以减少并发执行的时间和空间开销（线程的创建时间和终止时间比进程短，同一进程内的线程切换速度快；由于数据共享，在线程之间切换不需要核心的参与）

线程的实现：用户线程，内核线程，轻量级进程

 

CPU调度

上下文切换：切换CPU的当前任务，从一个进程/线程到另外一个；保存当前进程/线程在PCB/TCP中的执行上下文（CPU状态）；读取下一个进程/线程的上下文

CPU调度：从就绪队列挑选一个进程/线程作为CPU将要运行的下一个进程/线程；什么时候进行调度；调度程序（挑选进程/线程的内核函数）

内核运行调度程序的条件：一个进程从运行状态切换到等待状态；一个进程被终结了

不可抢占：调度程序必须等待时间结束

可以抢占：调度程序在中断被响应后执行；当前的进程从运行切换到就绪，或者一个进程从等待切换到就绪；当前运行的进程可以被换出

CPU使用率：CPU处于忙状态所占时间的百分比

吞吐量：在单位时间内完成的进程数量

周转时间：一个进程从初始化到结束，包括所有等待时间所花费的时间

等待时间：进程在就绪队列中的总时间

相应时间：从一个请求被提交到产生第一次响应所花费的时间

对于好的CPU调度算法，应该减少响应时间；减少平均响应时间的波动；增加吞吐量（减少开销，系统资源的高效利用）；减少等待时间。调度算法只能折中，不能每一个都要满足到。

公平的定义：保证每一个进程占用相同的CPU时间，公平通常会增加平均响应时间

调度算法：

FCFS（先来先服务）

优点：简单

缺点：平均等待时间波动较大；花费时间少的任务可能排在花费时间长的任务后面；可能导致I/O和CPU之间的重叠处理（CPU密集型进程会导致I/O设备闲置时，I/O密集型进程也在等待）

SPN SJF SRT（短进程优先，短作业优先，短剩余时间优先）：按照预测的完成时间来将任务入队；可以是抢占的或者不可抢占的；如果是可抢占的，叫最短剩余时间

缺点：可能导致饥饿，连续的短任务流会使长任务饥饿；短任务可用时的任何长任务的CPU时间都会增加平均等待时间；需要预知未来，怎么预估下一个CPU突发的持续时间

HRRN（最高响应比优先）：在SPN调度的基础上改进；不可抢占；关注进程等待了多长时间；防止无限期推迟

R（响应比）=（W+S）/S  W：等待时间 S：服务时间 R越大，说明进程等待的时间越长，选择响应比高的来执行

Round Robin（轮循）：使用时间切片和抢占来轮流执行任务；花销主要是上下文切换；时间片太大会导致等待时间过长，可能退化成FCFS；时间片太小，反应迅速但是吞吐量由于大量的上下文切换开销收到影响；需要选择一个合适的时间片大小

Multilevel Feedback Queues（多级反馈队列）：优先级队列中的轮循；就绪队列被划分为独立的队列，每个队列拥有自己的调度策略，一个进程可以在不同的队列中移动

Fair Share Scheduling（公平共享调度）：公平是第一要素

实时调度：上面所说的调度是通用调度，实时系统，正确性依赖于其时间和功能两方面的操作一种操作系统；性能指标包括时间约束的及时性，必须在某个时间内完成特定的任务，速度和平均性能相对不重要；主要特性，时间约束的可预测性

硬实时：需要在保证的时间内完成重要的任务，必须完成，如果错过了最后期限，会发生灾难或严重后果

弱实时：要求重要的进程的优先级更高，尽量完成，并非必须，尽量满足

多处理器的CPU调度更加复杂，多个相同的单处理器组成一个多处理器，负载共享，每个处理器运行自己的调度程序，需在调度程序中同步

 

同步机制

原子操作：一次不存在任何中断或者失败的执行；该执行成功结束，或者根本没有执行，不应该发现部分执行的状态

临界区：进程中一段需要访问共享资源并且当另一个进程处于相应代码区域时便不会执行的代码区域

互斥：当一个进程处于临界区并访问共享资源时，没有其他进程会处于临界区并且访问任何相同的共享资源

死锁：两个或以上的进程在相互等待特定任务，而最终没法将自身任务进行下去

饥饿：一个可执行的进程，被调度器持续忽略，以至于虽然处于可执行状态却不被执行

临界区的保护：禁用硬件中断；基于软件的解决方法；更高级的抽象

禁用硬件中断：没有中断，没有上下文切换，因此没有并发，硬件将中断处理延迟到中断被启用之后；进入临界区就禁用中断，离开临界区就开启中断；一旦中断被禁用，线程就无法被停止，整个系统都会停下来，可能导致其他线程处于饥饿状态；临界区太长，无法限制响应中断所需的时间

基于软件的解决方案：

更高级的抽象：

 

信号量

P操作和V操作，P减一，V加一，信号量是一个整型；信号量是被保护的变量，初始化完成后，唯一改变一个信号量的值的方法是通过P操作或者V操作，操作必须是原子；

管程：

 

死锁：一组阻塞的进程持有一种资源等待获取另一个进程所占有的一个资源

每个进程使用的资源分为三种：请求的资源，持有的资源，运行完之后释放的资源

 

资源分配图中有环不意味着死锁，但死锁在资源分配图中一定有环

死锁可能出现如果四个条件同时成立，是充分条件，并不是必要条件

死锁处理办法：死锁预防，死锁避免，死锁检测，死锁恢复

IPC进程通信机制

直接通信像打电话

间接通信像寄信

文件系统

文件系统是一种用于持久性存储的系统抽象

文件是文件系统中一个单元的相关数据在操作系统中的抽象

文件是以目录的方式组织起来的，目录是一类特殊的文件，每个目录是一类特殊的文件，目录和文件的树形结构，早期的文件系统是扁平的

虚拟文件系统屏蔽了底层不同文件系统模块的差异，目的是对所有不同文件系统的抽象

数据缓存，从硬盘中读取一部分数据到内存中来加快读取的速度，有以下几种读取方式：

为文件分配数据块

分配方式：连续分配，链式分配，索引分配

指标：高效（存储利用），表现（访问速度）

RAID冗余磁盘阵列

磁盘调度：

寻道时间是性能上区别的原因，如果请求是随机的，那么会导致很差的性能

按顺序处理请求：公平对待所有进程，在有很多进程的情况下，接近随机调度的性能

选择从磁臂当前位置需要移动最少的I/O请求：总是选择最短的寻道时间

elevator algorithm：磁臂在一个方向上移动，满足所有未完成的请求，直到磁臂到达该方向上的最后的磁道，然后调换方向

没有哪一种调度算法是最好的，因为每一次的磁盘访问序列都不一样