tanzhe2017的博客

Crossbow架构分析一、crossbow简介crossbow是solaris网络虚拟化的实现，提供了在单个物理网卡上实现多个虚拟网络设备，实现协议栈隔离，虚拟交换与流量控制等功能。主要实现功能有：1.    网卡虚拟化，可以在特定的网卡及系统资源上建立虚拟网卡，虚拟网卡主要包括以下资源：Rx/Tx rings，DMA通道，内核队列及线程，CPU，带宽。其虚拟网卡宣称无性能损耗。2.    Qo...

1      前言Linux系统的安全体系文件权限管理是通过自主访问机制(Discretionary Access Control,DAC)实现的。自主访问机制指对象(比如程序、文件或进程等)的拥有者可以任意的修改或授予此对象相应的权限。Linux的UGO(User、Ggroup、Other)和ACL(Access Control List,访问控制列表)权限管理方式就是典型的自主访问机制。Lin...

4      User_ns实现与验证以上分析的三点都是用户安全管理的基础，user_ns只是结合权能实现了一种局部用户的映射。User_ns的作用简单的说就是一个非特权用户可以创建一个user_ns，然后该用户可以作为该命名空间中的root特权用户，其它的跟在宿主机没有两样。在user_ns中该用户可以创建pid、net_ns等命名空间，并对其有root特权控制属于该命名空间的资源。4.1   ...

1      简介UTS命名空间是Linux内核Namespace（命名空间）的一个子系统，主要用来完成对容器HOSTNAME和domain的隔离，同时保存内核名称、版本、以及底层体系结构类型等信息。UTS命名空间是扁平化的结构，不同的命名空间之间没有层级关系。Uts命名空间的用来隔离系统的这些信息，使得用户在容器中查看到的信息是当前容器的系统、版本，不同于主机的，内核通过uts_namespac...

简介Docker的graph driver主要用于管理和维护镜像，包括把镜像从仓库下载下来，到运行时把镜像挂载起来可以被容器访问等，都是graph driver做的。涉及的docker命令有-         Docker pull-         Docker push-         Docker import-         Docker export-         Docker ...

写时复制上边的是普通存储，下边的是按需分配联合挂载aufs文件级存储，通过挂载来实现diff目录保存各层具体文件系统的内容，即对各层挂载前的数据。layers目录保存镜像的层ID及之前的父子关系。mnt目录镜像的挂载点，即用户在容器里看到的文件系统的内容。AUFS原理(2)读写文件时发生了什么。删除文件和目录时发生了什么。Overlay原理(1)和AUFS相比，只有两点区别：只有两层。可以自动将镜...

1. Device mapper和thinprovison1)      Devicemapper简介Devicemapper是内核中支持逻辑卷管理的通用设备映射机制，它为实现用于存储资源管理的块设备驱动提供了一个高度模块化的内核架构，它包含三个重要的对象概念，Mapped Device、Mapping Table、Target device。图1devicemapper映射机制Mapped De...

CNM模型定义了libnetwork的工作原理原来docker的网络相关的代码是直接在docker中的，网络功能也比较简单，对网络的诟病也是比较多，随着docker越来越向平台化发展，将功能组件逐渐从docker中解耦， docker从1.7把网络相关的代码从docker的代码中剥离出来新建了一个libnetwork项目，引入了CNM的网络模型。CNM网络模型主要引入三个概念： sandbox, ...

Docker Private Registry的搭建1      前言通常开发者在Docker Hub上管理和维护镜像，而我们的Docker项目需要在华为内网Hub来做。因此，本文介绍了在本地物理机上部署一个private registry（简称私服），用Nginx反向代理控制，管理和维护镜像。Git Hub上的docker/docker-registry，是一个Registryserver的源代...

1      概述Pid namespace是对进程pid的容器虚拟化，从pid的维度实现容器间的隔离。即在一个容器中只能看到属于该pidns的pid，从而在某种程度上实现了进程间的隔离。在容器中只能看到容器内的pid，但在宿主机上可以看到所有进程的pid，所以从看到的pid号的角度，这是有层级关系的，对应的，pidns在实现上也是有层级关系的，在高层次pidns中可以看到低层次pidns的信息，...

1      释放网络命名空间内核中对于要释放的网络命名空间，都会通过struct net的cleanup_list成员链入全局释放链表cleanup_list中：加入cleanup_list全局链表后，将net_clean_up工作交给netns_wq工作队列，唤醒worker thread执行释放网络命名空间的操作。其中net_clean_up和netns_wq的定义如下：static DEC...

1      概述在linux协议栈中引入网络命名空间，是为了支持网络协议栈的多个实例，而这些协议栈的隔离就是通过命名空间来实现的，一个net namespace为进程提供一个完全独立的网络协议栈的视图，包括网络设备接口、ipv4和ipv6协议栈、ip路由表、防火墙规则、sockets等。一个net namespace提供了一份独立的网络环境，就跟独立的系统一样。一个物理设备只能存在于一个net ...

lxc网络 1      macvlan方式macvlan方式有三种模式private、bridge、vepa要容器与宿主机间，容器与其他主机间都能正常通信，需要使用bridge的模式，并且主机也需要配置macvlan虚拟设备（参考1.3），使用其他模式，不管配不配置主机，都只能和其他主机通信，不能和宿主机通信。1.1      应用场景 1.2      数据收发方式 1.3      目前验证...

Syslog1      内核日志基本框架内核日志是通过printk函数实现的，它与用户空间对应的函数printf具有同样的作用。内核创建一个名为_log_buf的Ring Buffer（环型缓冲区）来保存内核中打印的内核日志信息。而用户态可以通过Syslog相关的系统调用或者/proc文件以及/dev/kmsg设备节点来查看_log_buf的信息，这些操作都是通过do_syslog的系统调用接口...

一．     devices子系统总体结构cgroup devices子系统通过为每个cgroup维护一个设备访问权限链表管理和控制cgroup中进程对设备文件读写访问和设备文件节点创建。从功能角度分析，devices子系统主要分为三个部分：子系统初始化接口、子系统文件接口和子系统访问控制接口。子系统初始化接口在cgroup初始化各个子系统时被调用，功能是继承或者创建一个设备访问权限链表，标识cg...

1      概述Cgroup中的blkio子系统的主要功能是实现对磁盘i/o带宽的可定制化控制。目前支持的控制策略只要有两种：BLKIO_POLICY_PROP和BLKIO_POLICY_THROTL，即基于权重方式和基于流量方式。权重方式依赖于内核原生的CFQ i/o调度算法，i/o调度算法本身是工作在i/o调度层的，因此在使用上有一定的局限性，即被控制的设备必须使用cfq调度算法；为了弥补这...

1      组调度1.1      进程调度基础操作系统为了协调多个进程的同时运行，最基本的手段就是给进程设定优先级，如果有多个进程处于可执行状态，那么优先级高的进程先被调度执行。Linux内核将进程分为两种级别，普通进程和实时进程，实时进程的优先级高于普通进程，另外他们的调度策略也不同。实时进程的调度1、如果一个进程是实时进程，只要它是可执行状态的，内核就一直让它执行，以尽可能满足它对cpu的...

1      概述1.1      应用背景Cgroup的memory子系统，即memory cgroup(本文以下简称memcg)，提供了对系统中一组进程的内存行为的管理，从而对整个系统中对内存有不用需求的进程或应用程序区分管理，实现更有效的资源利用和隔离。在实际业务场景中，为了防止一些应用程序对资源的滥用（可能因为应用本身的bug，如内存泄露），导致对同一主机上其他应用造成影响，我们往往希望可...

1.1      Oom1.1.1      简介Oom的全称是out-of-memory，是内核在处理系统内存不足而又回收无果的情况下采取的一种措施，内核会经过选择杀死一些进程，以释放一些内存，满足当前内存申请的需求。所以oom是一种系统行为，对应到memcg的oom，其原理和动机跟全局oom是一样的，区别只在于对象的不同，全局oom的对象是整个系统中所有进程，而memcg oom只针对memc...

1       Net_cls1.1      原理net_cls子系统是用来控制进程使用网络资源的，它并不直接控制网络读写，而是给网络包打上一个标记，具体的网络包控制由tc机制来处理。net_cls实现的基本的思想就是将控制组和内核现有的网络包分类和调度的机制相关联。net_cls通过给控制组分配一个类标识符（classid）来指定该控制组的数据包将被分到哪个traffic class（net_...

Cgroup变化分析                                                                                                                 1      子系统2.6.34 3.10 说明 Cpuset Cpuset   Ns   挂载ns cgroup后，可以在创建新命名空间时自...

1      IPC概述linux下的进程通信手段基本上是从Unix平台上的进程通信手段继承而来的。而对Unix发展做出重大贡献的两大主力AT&T的贝尔实验室及BSD（加州大学伯克利分校的伯克利软件发布中心）在进程间通信方面的侧重点有所不同。前者对Unix早期的进程间通信手段进行了系统的改进和扩充，形成了“system V IPC”，通信进程局限在单个计算机内；后者则跳过了该限制，形成了基...

1      简介1.1      背景Linux容器场景下实现对进程和其相关的资源的隔离，这些资源同样也包括了进程的文件系统环境。这就要求容器中有一个独立的文件环境，而容器中的进程共享这个文件系统环境，即容器自己的根文件系统环境。所以内核引入了mnt命名空间的概念，来实现文件系统环境的隔离。1.2      概述内核中通过mnt_namespace实现对根文件系统的环境的隔离，不同的mnt_na...