sdulibh的专栏

ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式..

xen虚拟机的启动（引导）方式有几种不同的方式来引导虚拟机，各有利弊。1.BIOS bootloader适用于全虚拟化，loader模拟了BIOS原文：Booting via the BIOS is available for hypervisors supporting full virtualization. In this case the BIOS has a boot ...

林大牛的文章，转载：系统架构是一个工程和研究相结合的领域，既注重实践又依赖理论指导，入门容易但精通很难，有时候还要讲点悟性，很具有“伪科学”的特征。要在此领域进阶，除了要不断设计并搭建实际系统，也要注意方法论和设计理念的学习和提炼。经常有同学询问如何学习，特贴一篇学习材料，供大家参考。09年时写的，在系统领域浩如烟海的文献中提取了一些我认为值得研究和学习的项目，没包括近几年出现的一些工

摘要：云计算涉及的服务繁多，弹性计算服务、文件存储服务、关系数据库服务、Key/Value数据库服务等不胜枚举。本文将简要阐述弹性计算服务的安全问题，因为弹性计算是应用最为普遍的云服务，也是安全风险最高的云服务。云计算带来的新风险在云计算之前的时代，传统IDC机房就面临着许多安全风险。这些问题毫无遗漏地传递到了云计算时代，不仅如此，云计算独有的运作模式还带来了更多新的问题。云内

Ubuntu 11.10中可以通过apt-get安装xen-tools，其版本为4.1版本：# apt-get install -y xen-tools由于xen-tools是xen的半虚拟化管理工具，所以需要安装修改过的、支持半虚拟化的kernel。在ubuutu 11.10中，只需要通过apt安装linux-image-3.0.0-1x-virtual的kernel即可：# apt

1.如果一个mac上对应有多个ip地址，那么数据按照协议栈向下封装时，怎么确定封装ip头的时候使用哪个ip地址呢？ 这个是靠数据目的ip决定的，首先系统会根据设备的其他网段的ip和掩码确定目的ip是否是内网的，如果是则用相应的内网ip封装ip头，如果不是，就说明这个数据包时发送到外网的，这个时候就封装外网ip。并将该数据包发送给网关进行转发。 如果把一个网段掩码改了，让这个内网变小

lib/libvhd.so: undefined reference to `uuid_generate'lib/libvhd.so: undefined reference to `uuid_copy'lib/libvhd.so: undefined reference to `uuid_is_null'lib/libvhd.so: undefined reference to `uuid

当前非常热门的Virtualization虚拟化技术的出现和应用其实已经有数十年的历史了，在早期，这个技术主要应用在服务器以及大型主机上面，现在，随着PC性能的不断增长，Virtualization也开始逐渐在x86架构上流行起来。虚拟化技术将各种资源虚拟出多台主机，以提高这些资源的共享率和利用率虚拟化可以将IT环境改造成为更加强大、更具

组里服务器需要调整，老大希望构建一个Xen虚拟机环境。需求是这样的:    服务器有两块网卡，一块连接校园网，需要iNode拨号，并且有多个账号时常切换。    服务器需要提供ftp、samba、svn还有几个web服务，并由LDAP做统一认证。系统用了Debian Wheezy , Xen4.1 1.  安装  Xen           aptitude search

1.概述       随着计算机硬件的制作工艺提高，如CPU单位面积可容纳的器件多了好几倍，其他硬件的也快速发展，促使单机性能远远超出满足一个应用的需求。同时，目前传统服务器的利用率大约为20%-30%，通过虚拟化技术，可以在一个物理机上同时运行多个操作系统，每一个操作系统拥有自己的内存空间，在逻辑上相互独立。虚拟化技术与多任务以及超线程技术是完全不同的。多任务是指在一个操作系统中多个程序

针对x86体系结构，Xen使用超级调用来替换被监控的操作，其中包括x8架构下的临界指令。Xen所采用的超级替换的方法是一种全新的设计理念：它将问题的中心，由VMM移向Gust os自身，通过主动的方式由Guest os去处理这些指令，而不是被移交给VMM做处理，在这种设计理念下，修改Guest Os内核成为必然。   能修改Guest os是半虚拟化的一个技术核心。通过修改guest os

一、前言    近年来，随着互联网在全球的迅速发展和各种互联网应用的快速普及，互联网已成为人们日常工作生活中不可或缺的信息承载工具。然而，伴随着互联网的正常应用流量，网络上形形色色的异常流量也随之而来，影响到互联网的正常运行，威胁用户主机的安全和正常使用。    本文从互联网运营商的视角，对互联网异常流量的特征进行了深入分析，进而提出如何在网络层面对互联网异常流量采取防护措施，其中

if os.path.exists(p + "/config-/Makefile") ---------> if os.path.exists(p + "/config-x86_64-linux-gnu/Makefile")

云计算拥有庞大的计算能力与丰富的计算资源，恶意攻击者正在越来越多的利用合法的云计算实施恶意攻击。　　今年四月份的索尼被黑客攻击事件，就是恶意攻击者利用亚马逊弹性云计算服务对索尼PlayStation Network和索尼Online Entertainment服务发动攻击所致。网络罪犯还曾利用Amazon的云网络传播恶意软件，盗取了9家银行的用户数据。利用EC2服务，恶意攻击者能够很轻松的破解

(1) 概述虚拟化技术源于大型机，最早可以追溯到20世纪六、七十年代大型机上的虚拟分区技术，即允许在一台主机上运行多个操作系统，让用户尽可能充分地利用昂贵的大型机资源。随着技术的发展和市场竞争的需要，虚拟化技术向小型机或UNIX服务器上移植，只是由于真正使用大型机和小型机的用户还是少数，再加上各厂商产品和技术之间的不兼容，所以虚拟化技术不太被公众所关注。(注：由于x86架构在设计之初并没有考虑

云计算带来的新风险　　在云计算之前的时代，传统 IDC 机房就面临着许多安全风险。这些问题毫无遗漏地传递到了云计算时代，不仅如此，云计算独有的运作模式还带来了更多新的问题。　　云内部的攻击　　安全域被打破。在对外提供云计算业务之前，互联网公司使用独立的 IDC 机房，由边界防火墙隔离成内外两块。防火墙内部属于可信区域，自己独占，外部属于不可信区域，所有的攻击者都在这里。安全人员只需要对

摘要：云计算的浪潮已席卷多年，国内的云计算与美国的相比有何差距？众所周知，在整个云计算技术栈上，我们几乎都能找到相应的开源软件。但我们是否能利用开源技术缩小与国外的差距？还是被开源技术掩盖了我们的种种问题？现象一：没有API 的公有IaaS服务近一两年来，国内公有IaaS“服务”如雨后春笋一般大量出现。其中有几家厂商对外开放了其对象存储的API。而除了阿里云提供了ECS API外，在其他厂

昨天下午升级 一台 Xen 服务器后发现 xend 服务无法启动，启动系统后运行 xen 工具报错：# xm listError: Error connecting to xend: No such file or directory. Is xend running?查看一下 xen 日志发现：[2011-10-11 14:19:09 3974] ERROR (SrvDae

Xen HVM Guest configuration for Windows VistaI will try to sumarize the step needed to run a HVM Vista machine on a Ubuntu 9.04 distribution, 2.6.31.5 Dom0 paravirt-ops kernel under Xen 3.4.1. I w

前言一个成熟的大型网站（如淘宝、京东等）的系统架构并不是开始设计就具备完整的高性能、高可用、安全等特性，它总是随着用户量的增加，业务功能的扩展逐渐演变完善的，在这个过程中，开发模式、技术架构、设计思想也发生了很大的变化，就连技术人员也从几个人发展到一个部门甚至一条产品线。所以成熟的系统架构是随业务扩展而完善出来的，并不是一蹴而就；不同业务特征的系统，会有各自的侧重点，例如淘宝，要解决海量的商品

在 WebHostingTalk 论坛上有些国外奸商会把虚拟机当作独立服务器卖，去年7月份的时候就有一位中国同胞上当受骗，并在 WHT 上发帖声讨，证据确凿，甚至连服务商自己也承认，回帖达355篇。这家独立服务器/VPS 提供商 HostATree.com 居然大胆的把 OpenVZ VPS 这种一看就知道是虚拟机的虚拟机当作独立服务器卖，晕，至少也要弄个 VMWare/KVM/Xen HVM

# apt-cache search as86bin86 - 16-bit x86 assembler and loaderNow we know it's in bin86 package, and we do:# apt-get install bin86

一、常用的链表和内核链表的区别1.1  常规链表结构       通常链表数据结构至少应包含两个域：数据域和指针域，数据域用于存储数据，指针域用于建立与下一个节点的联系。按照指针域的组织以及各个节点之间的联系形式，链表又可以分为单链表、双链表、循环链表等多种类型，下面分别给出这几类常见链表类型的示意图：单链表：双链表：1.2  Linux 2.6内核链表数据结构  

Libnet是一个高层API，使用C语言实现的，为应用程序设计人员提供了底层的网络数据报的构造处理和发送等功能接口。Libnet提供的接口函数主要用于实现和封装了数据包的构造和发送过程。 首先是对libnet包的文件结构的介绍libnet-functions.h 该文件是对libnet中接口的声明文件，所有的接口都在这里面。程序员可以参看这个文件里的结构进行程序开发。libne

博文作者：xti9er[TSRC]发布日期：2013-07-10阅读次数：7063博文内容：一、前言    伊朗2010年被报出核工厂遭受“超级工厂”(Stuxnet)病毒攻击，蠕虫通过多个漏洞潜伏在工控系统近两年未被发现。相信诸如上述案例中的伊朗核工厂，大多网络中都会部署有各种形形色色的安全产品，杀毒软件,waf或IDS。但为什么那么大范围的攻击却依然久未被察

光页面动态渲染就需要以require.js框架实现模块化异步加载JavaScript代码，再通过不同模块的组合调度展现可视化中的不同效果；另外要做出好看的地图线条以及点，则需要基于H5的Canvas技术，并利用Canvas的2D渲染引擎，调用OrderIndex系统的API获取实时数据，实时更新页面数据，并且需要最大程度优化Canvas对浏览器的性能，减少浏览器的内存泄露，才能长时间进行绘制渲染。

关于云计算安全性的讨论往往失于对一般问题和云计算特定问题未加区分。为了让关于安全漏洞的讨论更加明了，根据风险要素与云计算的可靠定义，作者制定了一些指标。每一天，每一条刚刚出炉的新闻、博客文章或其他的一些发行物都在提醒我们云计算的安全风险和威胁。多数情况下，安全问题都被认为是采用云计算的道路上最大的障碍。但这种关于云计算安全问题的论调反而让找到一个完善的方法来评估实际的安全后果变得更加困难，

IntroductionWe all know there have been (and still is) a lot of malware lurking around the Internet. It’s quite usual today that once the victims get infected, they call back to the command and co

针对“互联网+”时代的业务增长、变化速度及大规模计算的需求，廉价的、高可扩展的分布式x86集群已成为标准解决方案，如Google已经在几千万台服务器上部署分布式系统。Docker及其相关技术的出现和发展，又给大规模集群管理带来了新的想象空间。如何将二者进行有效地结合？本文将介绍数人科技基于Mesos和Docker的分布式计算平台的实践。分布式系统设计准则可伸缩性首先分布

摘要：PayPal高级工程总监Anil Madan写了篇大数据的文章，近日优快云对此进行了翻译。一共有100篇大数据的论文，涵盖大数据技术栈，全部读懂你将会是大数据的顶级高手。 开源（Open Source）用之于大数据技术，其作用有二：一方面，在大数据技术变革之路上，开源在众人之力和众人之智推动下，摧枯拉朽，吐故纳新，扮演着非常重要的推动作用。另一方面，开源也给大数据技术构建了一个异常复杂的生

摘 要:大数据已成为媒体与大众关注的新技术，大数据的应用也预示着信息时代将进入一个新阶段，但人们对大数据的认识有一个不断加深的过程。首先从“信息时代新阶段”、数据文化和认识论的高度阐述了对大数据的理解；接着通过对驱动效益和大成智慧的解释，探讨了如何正确认识大数据的价值和效益，并从复杂性的角度分析了大数据研究和应用面临的挑战；最后对发展大数据应避免的误区提出几点看法。1  大数据兴起预示“信

导读：One size does not fit all！ 数据处理平台已不集中于传统关系型数据库，各种其他平台层出不穷，也各有其适用范围。从哪些角度去理解各种数据处理平台的设计思想及发展演进呢？下面我们从几个角度讨论一下：一、单机存储引擎设计（数据的位置）从某种意义上说，当我们处理数据的时候，实际上是在管理数据的位置，管理数据在

我对container原理的一些理解(基于linux kernel 2.6.38)by kin2011.04.17===================================================== linux中称谓的container在内核层面由两个独立的机制保证，一个保证资源的隔离性，名为namespace；一个进行资源的控制，名为cgroup。 

最近看到一篇很好资料，里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了，牛啊！最喜欢的就是这种浅显易懂就把背景知识讲得明明白白，而不是长篇大论的讲概念。1 为什么要按列存储列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表(翻

开源（Open Source）用之于大数据技术，其作用有二：一方面，在大数据技术变革之路上，开源在众人之力和众人之智推动下，摧枯拉朽，吐故纳新，扮演着非常重要的推动作用。另一方面，开源也给大数据技术构建了一个异常复杂的生态系统。每一天，都有一大堆“新”框架、“新”类库或“新”工具，犹如雨后春笋般涌出，乱花渐欲“迷”人眼。为了掌控住这些“新玩意”，数据分析的达人们不得不“殚精竭虑”地“学而时习之”。

Paxos协议/算法是分布式系统中比较重要的协议，它有多重要呢？ ：Google Chubby的作者Mike Burrows说过这个世界上只有一种一致性算法，那就是Paxos，其它的算法都是残次品。：理解了这两个分布式协议之后(Paxos/2PC)，学习其他分布式协议会变得相当容易。学习Paxos算法有两部分：a) 算法的原理/证明；b) 算法的理解/运作。

要实现高效的大数据机器学习，需要构建一个能同时支持机器学习算法设计和大规模数据处理的一体化大数据机器学习系统。研究设计高效、可扩展且易于使用的大数据机器学习系统面临诸多技术挑战。近年来，大数据浪潮的兴起，推动了大数据机器学习的迅猛发展，使大数据机器学习系统成为大数据领域的一个热点研究问题。介绍了国内外大数据机器学习系统的基本概念、基本研究问题、技术特征、系统分类以及典型系统；在此基础上，进一步介绍

本篇博客将记述我看到的且对理解容器有益的将应用程序运行在容器中已经成为一种趋势，但是容器的概念并不是才有的。容器的起源实际可以追溯到大型机，这项技术在最近逐渐成熟，并以惊人的速度获得用户的兴趣和接受。容器被设计成运行在操作系统之上的虚拟实例，它包含了应用程序在用户空间（user space）所需的所有内容。同时，容器提供一定的隔离性，使得运行在同一个操作系统之上的容器看起来是独

摘要：当前Hadoop技术蓬勃发展，用于解决大数据的分析难题的技术平台开始涌现。Spark凭借性能强劲、高度容错、调度灵活等技术优势已渐渐成为主流技术，业界大部分厂商都提供了基于Spark的技术方案和产品。根据Databricks的统计，目前有11个商业的Spark版本。当前Hadoop技术蓬勃发展，用于解决大数据的分析难题的技术平台开始涌现。Spark凭借性能强劲、高度容错、调度灵活

一、Spark基础知识梳理  1.Spark是什么？ Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。Spark基于map reduce 算法模式实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于Hadoop MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，节省了磁盘IO耗时，号称性能比Had