tycoon的专栏

转自---http://prettyinsight.iteye.com/blog/901468Linux内核中的Namespace提供了一个轻量级的基于系统调用层面的虚拟化解决方案。相比传统的使用VMWare,QEMU,Xen,KVM,Hurd的虚拟（图1所示），基于namespace的轻量级虚拟具有易使用，易管理，无需硬件虚拟化支持，低成本等优点。          

最近整了很长一段时间才了解了map reduce的工作原理，shuffle是mapreduce的心脏，了解了这个过程，有助于编写效率更高的mapreduce程序和hadoop调优。自己画了一幅流程图（点击查看全图）：另外，还找到一篇文章，很好，引用一下。Hadoop是Apache 下的一个项目，由HDFS、MapReduce、HBase、Hive 和

详情请看 KVM是Kernel-based Virtual Machine的缩写，是一种基于Linux的全虚拟化解决方案，支持包含硬件虚拟化特性（Intel Vt或者 AMD-V）的x86平台。       但RHEL5.4中只提供x86_64平台的KVM虚拟化支持。下图是KVM的结构示意：此主题相关图片如下截图77.jpg：       KVM的结构     

我们安装VMware vSphere 的目的就是在一台物理服务器上安装很多很多的虚拟机，我们可以通过VMware vSphere Client直接管理VMware vSphere服务器，也可以通过对VMware vCenter的管理来实现对VMware vSphere服务器的管理。这节介绍通过VMware vCenter来安装虚拟机。在前面安装好的VMware vCenter上新建一个数据

iSCSI是一种基于TCP/IP 的协议，用来建立和管理IP存储设备、主机和客户机等之间的相互连接，并创建存储区域网络（SAN）。SAN 使得SCSI 协议应用于高速数据传输网络成为可能，这种传输以数据块级别（block-level）在多个数据存储网络间进行。SCSI 结构基于C/S模式，其通常应用环境是：设备互相靠近，并且这些设备由SCSI 总线连接。iSCSI 的主要功能是在TCP/IP

IPv4地址协议中预留了3个IP地址段，作为私有地址，供组织机构内部使用。

【Hadoop】HDFS的运行原理简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点：    ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 

纯干货：Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解。      通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、Hive是如何运行，以及基于Hadoop数据仓库的构建和分布式数据库内部具体实现。如有不足，后续及时修改。HDFS的体系架构       整个Hadoop的体系结构主要是通过HDFS来实现

要想使用ZooKeeper，首先就要把它部署在服务器上跑起来，就想Apache，Tomcat，FtpServer等服务器一样。ZooKeeper的部署方式主要有三种，单机模式、伪集群模式、集群模式。其实单机和伪集群都是集群模式的特殊情况。一、 单机模式ZooKeeper的单机模式通常是用来快速测试客户端应用程序的，在实际过程中不可能是单机模式。单机模式的配置也比较简单。1. 编

目录：    1、工作原理概述    2、Fast Leader选举算法（领导者选举）    3、Leader与Follower同步数据（原子广播）1、工作原理概述link：http://www.codedump.info/?p=207zookeeper3.3.3源码分析(一)工作原理概述阅读时参考的版本是3.3.3.简单的说一下zookee

三、使用open vswitch构建虚拟网络1、构建物理机和物理机相互连接的网络在安装open vswitch的主机上有两块网卡，分别为eth0、eth1，把这两块网卡挂接到open vswitch的网桥上，然后有两台物理机host1、host2分别连接到eth0和eth1上，实现这两台物理机的通信。构建结果图如下：执行以下命令：1234

我们通过下面这个天气数据处理的例子来说明Hadoop的运行原理.1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录 每一行字符从0开始计数，第15个到第18个字符为年 第25个到第29个字符为温度，其中第25位是符号+/-0067011990999991950051507+0000+004

当我们使用Windows Azure的IaaS服务创建虚机时，往往需要几台虚机之间达到高速的互连互通。例如，我们在Windows Azure中创建了一个Windows Server 2008 R2作为应用服务器，还创建了一台SQL Server 2008 R2 Standard作为数据库服务器。当应用服务器访问数据库服务器时，我们希望它们通过Windows Azure内部网络（即后台数据中心中的网

到分布式系统，就不得不提Google的三驾马车:Google fs[1],Mapreduce[2],Bigtable[3]。虽然Google没有公布这三个产品的源码，但是他发布了这三个产品的详细设计论文。而且，Yahoo资助的Hadoop也有按照这三篇论文的开源Java实现:Hadoop对应Mapreduce, Hadoop Distributed File System (HDFS)对应Go

服务器服务器概念，组成，与主机的区别，分类概念：在网络环境下运行相应的应用软件，为网上用户提供共享信息资源和各种服务的一种高性能计算机组成：服务器软件，服务器操作系统，计算机硬件服务器与主机的区别：1、主机是通过终端给用户使用的；2、服务器是通过网络给客户端用户使用的。服务器与PC的区别：服务器稳定性要求很高，服务器内存都是带ECC校验的，硬盘上服务器一般都会做RAID，安

本文侧重于Hadoop集群的体系结构和方法，以及它与网络和服务器基础设施这件的关系。文章的素材主要来自于研究工作以及同现实生活中运行Hadoop集群客户的讨论。如果你也在你的数据中心运行产品级的Hadoop集群，那么我希望你能写下有价值的评论。Hadoop集群部署时有三个角色：Client machines, Master nodes和Slave nodes。Maste

iSCSI的工作原理要理解iSCSI的工作原理，就必须知道iSCSI的层次结构，根据OSI模型，iSCSI的协议自顶向下一共可以分为三层，如图2所示： 图2 下面对每个分层进行简单介绍： SCSI层：根据客户端发出的请求建立SCSI CDB(命令描述块)，并传给iSCSI层；同时接受来自iSCSI层的CDB，并向应用返回数据。 iSCSI层：对SCSI CDB进

全局并行文件系统（GPFS）GPFS[7]是IBM公司并行共享磁盘的集群文件系统，已经被应用于世界上很多大的超级计算中心。GPFS的扩展性来源于共享磁盘的系统结构，如图 5.8所示。图 5.8 GPFS文件系统整体结构集群中所有结点都可以平等地存取所有的磁盘，所有的文件以分条方式存放在所有磁盘上面，这能够充分发挥存储系统的吞吐率。在GPF

通过vCenter Server管理多台ESXi主机   通过前面3章的介绍，已经对虚拟化有一定的了解，不过那都是一些基础的东西，在实际运用中没什么意义。从这章开始将正式踏入虚拟化技术的核心部分；随着时间推移，所学知识越来越深。将多台ESXi主机加入vCenter Server步骤一、用vSphere客户端连接vCentr server打开vSphere客户端；输入vcente

vSphere不是一个单独的产品，它由一系列产品、组件组成，其核心组件是VMware ESX Server(或VMware ESXi Server)，其管理端是vCenter Server和vSphere Client，

导读：虚拟私有云（VPC）是一个公共云计算资源的动态配置池，需要使用加密协议、隧道协议和其他安全程序，在民营企业和云服务提供商之间传输数据。一个VPC基本上把提供商的多租户架构变成单租户架构

Google文件系统（Google File System，GFS）是一个大型的分布式文件系统。它为Google云计算提供海量存储，并且与Chubby、MapReduce以及Bigtable等技术结合十分紧密，处于所有核心技术的底层。系统架构　　GFS的系统架构如图所示。GFS将整个系统的节点分为三类角色：Client（客户端）、Master（主服务器）和Chunk Server（数据

Virtual Private Cloud私有云，是一系列计算服务器、存储、跨越多个数据中心的网络等等资源的可靠组合，这些资源可以与企业站点无缝连接。这和虚拟专用网VPN的概念很相似，实际上VPC就是VPN + Cloud。因为VPN是基于安全可靠的网络连接，它由网络服务商提供给用户，并不需要对主机进行复杂配置。更重要的是，VPN已经在企业中大量部署和使用。对于客户来说，私有云隔离了网

虚拟化技术是云计算实现弹性计算的核心技术。在构建云计算平台中，虚拟机的安装是基础。常用的虚拟机工具很多，如VMware、XEN、KVM、Virtual PC等，这些工具使得用户可以在单台物理PC上（称为宿主机）虚拟出多个虚拟机VM(Virtual machine)，由于在每个VM上可以安装与宿主机不同的操作系统。因而可以实现在一台物理PC上模拟出多台安装有不同操作系统的“PC”。在云计算中，用户可

再说说Chubby的文件系统前 文说过，Chubby的底层实现其实就是一个分布式的文件系统。这个文件系统的接口是类似于Unix系统的。例如，对于文件名“/ls/foo /wombat/pouch”，ls表示的是“lock service”，foo表示的是某个Chubby cell的名字，wombat/pouch则是这个cell上的某个文件目录或者文件名。如果一个client端使用Chubby

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee

从定义中我们可以看出schema为数据库对象的集合，为了区分各个集合，我们需要给这个集合起个名字，这些名字就是我们在企业管理器的方案下看到的许多类似用户名的节点，这些类似用户名的节点其实就是一个schema，schema里面包含了各种对象如tables, views, sequences, stored procedures, synonyms, indexes, clusters, and da

zookeeper 客户端的实现主要由以下三个类完成:org.apache.zookeeper.ZooKeeperorg.apache.zookeeper.ClientCnxnorg.apache.zookeeper.ClientCnxnSocketNIOorg.apache.zookeeper.ZooKeeper主要是一层api的封装,客户端程序用到一个Zookeeper实例就可以进

http://www.lujiaguang.com/?p=107

http://www.cnblogs.com/haippy/archive/2012/07/20/2600077.html

NAT 实例您在 Virtual Private Cloud (VPC) 内的私有子网内启动的实例无法与 Internet 通信。您可以选择使用在您的 VPC 的公有子网内的网络地址转换 (NAT) 实例来启动私有子网中的实例，以启动到 Internet 的出站数据流，以及拒绝接收由 Internet 中其他用户启动的入站数据流。

http://beanxyz.blog.51cto.com/5570417/1425890

LXC是一种不同于KVM的另类的虚拟化实现方案，容器有效地将由单个OS管理的资源（计算，存储，网络）划分到孤立的组中，与传统的虚拟化相比，这样不需要指令级模拟。避免了虚拟化中系统调用替换中的复杂性。容器是下列两个技术的结合，在chroot的基础上，使用namespace增强chroot环境的隔离性，使之成为有效的容器：1）chroot,在linux系统中，根目录就是”/”，但使用chroot可

如果有不同的Tenant，创建了不同的private network，为了在data network上对包进行隔离，创建private network的时候，需要指定vlanid或者segmentid。从ovs-vsctl show我们可以看到，不同的tenant的private network上创建的虚拟机，连接到br-int上的时候是带tag的，所以不同tenant的虚拟机，即便连接到同一

http://mawenjian.net/p/827.html阿里云的“云监控”服务和监控宝、盛大云监控服务大同小异，支持多种监控方式，比如HTTP监控、Ping监控、TCP端口监控、UDP监控、DNS监控、POP3监控、SMTP监控、FTP监控等。从监控的种类来说，确实较别厂家的监控服务要多一些。此外，阿里云“云监控”最有吸引力的是每月1000条的免费报警短信，阿里云果然够财大气粗。但是

比较而言，PING是层次更低的应用。一般用来相当粗糙的确认远端连通性，不过因为PING基于ICMP，远端不响应ICMP时PING是无效的。有相当多的服务器出于种种需要是不响应ICMP的，所以单纯靠PING并不能充分验证远端状态HTTP监测是建立在WEB服务之上的，监测的层次比较高。一般来说可以根据WEB服务端返回的状态码直接进行故障定位。当然对于因服务器资源耗尽造成的WEB服务锁死是没有状

zookeeper简称zkper，本文是站在java api zookeeper3.4.5的角度去介绍。---------------------------------------------------zookeeper java api介绍-----------------------------------------创建zkper client对象一个ZooKeeper对象，

今天新闻里报导说，VMWare 拆资 10 亿 5 千万美元，收购 Nicira。Nicira 是一家创业公司，专注于网络虚拟化[注]，主打产品是 vSwitch。今天新闻里报导说，VMWare 拆资 10 亿 5 千万美元，收购 Nicira。Nicira 是一家创业公司，专注于网络虚拟化，主打产品是 vSwitch。云计算[注]产业是技术密集型产业，涉及的技术众多。要了解云计算产业格局

文/康乐随着服务器虚拟化技术的成熟，数据中心部署的虚拟化服务器数量越来越多。虚拟机①的出现使数据中心服务器网络接入层出现了一个被称为VEB（Virtual Ethernet Bridge）的网络层。在服务器上采用纯软件方式实现的VEB就是通常所说的“VSwitch”。虽然VSwitch的实现方式简单，技术兼容性好，但也面临着诸多问题，例如VSwitch占用CPU资源导致虚拟机性能下降、虚拟机的

http://www.hiyangqi.com/%E5%88%86%E5%B8%83%E5%BC%8F/read-zookeeper-source-code-zookeeper.html