liaobinxu0918-优快云博客

原创学习 Hadoop 源代码分析（一零）

学习 Hadoop 源代码分析（一零）在继续分析DataNode之前，我们有必要看一下系统的工作状态。启动HDFS的时候，我们可以选择以下启动参数：启动选项枚举 StartupOption FORMAT ("-format")：格式化系统 REGULAR ("-regular")：正常启动 BACKUP ("-backup")：备份 CH...

2011-10-12 23:05:12 211

RandomAccessFile此类的实例支持对随机访问文件的读取和写入。随机访问文件的行为类似存储在文件系统中的一个大型 byte 数组。存在指向该隐含数组的光标或索引，称为文件指针；输入操作从文件指针开始读取字节，并随着对字节的读取而前移此文件指针。如果随机访问文件以读取/写入模式创建，则输出操作也可用；输出操作从文件指针开始写入字节，并随着对字节的写入而前移此文件指针。写入隐含数组的当前...

2011-10-09 22:22:12 418

Steve Jobs 1955-2011

Steve Jobs 1955-2011Apple has lost visionary and creative genius , and the world has lost an amazing human being.Those of us who have been fortunate enough to know and work with Steve have lo...

2011-10-06 09:40:36 233

原创 DFSConfigKeys分布式文件参数

/** * This class contains constants for configuration keys used * in hdfs. * */@InterfaceAudience.Privatepublic class DFSConfigKeys extends CommonConfigurationKeys { public static fina...

2011-09-20 23:38:38 465

原创 linux 安装二进制编辑器

http://bvi.sourceforge.net/install.html The bvi is a display-oriented editor for binary files, based on the vi texteditor.If you are familiar with vi, just start the editor and beginto e...

2011-09-20 10:24:40 322

facebook开源数据中心和服务器

关于图标的细说圆圈分4层，代表数据的分布；第1层向里，收集数据；第2、3层逆时针、顺时针代表在数据中中计算；第4层向外对提供数据服务。每层有24个箭头组成，代表24小时不停地服务，这是开源人的期望和理想。连接地址： http://opencompute.org/...

2011-04-09 09:54:23 188

原创 hadoop 源码

【转】Hadoop源代码分析（一）经济不行啦，只好潜心研究技术。 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。 GoogleCluster： http://research.google.com/archive/googlecluster.html Chubby：http://labs.google.com/papers/chubby.ht...

2010-12-26 23:05:17 206

原创 JAVA NIO 简介

【转】JAVA NIO 简介1. 基本概念IO 是主存和外部设备 ( 硬盘、终端和网络等 ) 拷贝数据的过程。 IO 是操作系统的底层功能实现，底层通过 I/O 指令进行完成。所有语言运行时系统提供执行 I/O 较高级别的工具。 (c 的 printf scanf,java 的面向对象封装 )2. Java 标准 io 回顾Java 标准 IO 类库是 io...

2010-12-26 10:27:47 119

原创 java反射机制与动态代理

java反射机制与动态代理1 java反射机制：运行时的类信息Class类与java.lang.reflect类库一起对反射概念进行了支持，该类库包含了Field，Method以及Constructor类。这些类型的对象是由JVM在运行时创建的，用以表示未知类里对应的成员。这样就可以使用Constructor创建新的对象，用get（）与set（）方法读取与修改与Field对象相关的字段...

2010-12-26 10:25:11 109

原创 Hadoop里的RPC机制过程

Hadoop里的RPC机制过程已经有文章描述RPC的具体结构，http://caibinbupt.iteye.com/blog/280790，这篇文章很清晰的描述了Client和Server的结构，但是较为高屋建瓴，我在看的时候依然觉得无法清晰理解其调用过程，所以将过程整理出来，知道how，才容易理解why，即知道是怎么干的，才容易理解为什么会那么去设计。客户端C要发起向服务端S的关于方...

2010-12-25 20:42:46 158

原创 Hadoop MapReduce 概念和基础

Hadoop MapReduce 逻辑代码[code="java"]public class NewMaxTemperature { public static final int CONST_INT_ZERO = 0; public static final int CONST_INT_ONE = 1; //【关键代码】Mapper类继承 Mapp...

2010-12-18 02:02:32 138

原创 DSL-SQL源码分析

第一次分析源代码,不太会描述,部分文字摘自 [i][b]在CLR之上的构建领域特定语言[/b][/i][url]http://www.infoq.com/cn/articles/internal-dsls-java[/url]针对特定域语言(DSL)的定义问题,提出了一种基于对象的语言构造方法,该方法将特定域语言语义划分为领域相关语义和领域无关语义,针对领域相关语义,采用对象将其封装,并通...

2009-11-29 20:49:25 305

equals,hashcode,toString

今天看到一个关于equals,hashcode,toString方法的类型下面是关于具体实现[code="java"]@Override public boolean equals(Object o) { if (this == o) return true; if (o == null || getClass() != o.getClass()) retu...

2009-11-26 22:39:28 118

排序算法

[b][size=small]排序方法[/size][/b]包括方法是插入排序,归并排序,通用排序,快速排序,第K大元素查找[b]1.0插入排序[/b]老师在返回试卷给学生之前会,把试卷按学生的名字的字母顺序排序,现在老师要排序的学生的卷子有:Monroe,chin,Flores,Stein,Dare如图[img]http://dl.iteye.com/upload/att...

2009-10-28 23:27:50 168

递归算法

什么是递归？递归是一个重要的概念。我们在开发中排序方法以及定义和少秒线性数据结构的主干部分使用递归。递归运用在运筹学模型、博弈论以及图的研究中。递归运用到什么方面？一个计算机文件系统由拥有的文件和其他目录（名为子目录）的根组成。到你需要复制一个文件夹的内容到你的移动硬盘的时候。程序首先会把根目录下面的文件复制到移动硬盘中，然后在继续前进到子目录。针对每一个子目录, 再次...

2009-10-13 10:16:35 212

泛型和方法

[size=medium][color=darkred]如何在java类中一些通用方法，特别是一些静态的工具方法？比如，数组Arrays的sort、search等？[/color][/size][b][size=medium]1. 整数数组的顺序收缩[/size][/b][code="java"] public static int seqSearch(int[] arr,...

2009-10-09 16:43:47 158

java数据结构-Arrays类

[color=darkred][size=medium][b]选择排序[/b][/size][/color][b]选择排序[/b]是一种简单直观的排序算法。它的工作原理如下。首先在未排序序列中找到最小元素，存放到排序序列的起始位置，然后，再从剩余未排序元素中继续寻找最小元素，然后放到排序序列末尾。以此类推，直到所有元素均排序完毕。[b]复杂度[/b]选择排序的交换操作介于0和(n − ...

2009-10-07 15:06:55 113

java 数据结构 - 类与对象

[b]动态数组[/b]ArrayList 这种数据结构具有优秀的索引功能，而且具有程序运行时动态增长的能力。初始化：初始化容量是用于被指派的保存元素的可用空间。这个可用空间是一片毗邻的内存区域，该内存的前面的元素被视为数组，而后面则是能够用于新元素的未用空间。空间变满：随着新元素的增加，可用空间变满，ArrayList会分配一个具有更大空间的新内存区域，并且把...

2009-10-01 00:48:04 162

java 数据结构名词介绍

[b]数据结构[/b]：围绕定义[b]集合类型的类别的接口[/b]进行的。这种接口数据视为一种抽象数据类型(ADT), 它描述了集合如何存储元素并定义了关键的数据操作。集合类是一种聚合数据结构，它用特定的方法来实现存储和访问元素的接口。数据结构的学习主要接口和类的层次结构，位于[b]最高层次的接口[/b]描述了集合中对象进行访问和更新操作的抽象结构。 [b]最底层含有的集合类[/b]使...

2009-09-30 23:31:33 129

原创图论的介绍

柯尼斯堡七桥问题是图论中的著名问题。这个问题是基于一个现实生活中的事例：当时东普鲁士柯尼斯堡（今日俄罗斯加里宁格勒）市区跨普列戈利亚河两岸，河中心有两个小岛。小岛与河的两岸有七条桥连接。在所有桥都只能走一遍的前提下，如何才能把这个地方所有的桥都走遍？ → → 欧拉连试了好几种走法都不行,这问题可真不简单!他算了一下,走法很多,共有7×6×5×4×3×2×1=5040(种).欧拉集中...

2009-09-29 22:17:56 347

原创 sql解惑-跟踪投资组合问题

这个谜底是给你的。或许我是只见树木，不见森林，但是如果想以一种不会导致无数循环引用的优雅方式来解决问题这个问题，似乎并不容易。这个谜底似乎是一个关于完整的系统，但我的问题是：是否存在一个方法，在表设计阶段消除明显的循环引用。你必须记录一个组织中的投资问题，以备查找、检索。这个投资组合有很多附加属性，这里只列出一些与此谜题相关的属性： cr...

2009-03-25 22:14:38 209

sql解惑- 门禁卡

由于你们公司人员的合理精简，你吸纳在身兼安全主管和数据库管理员。你想要产生一个员工及其有效的门禁卡的列表。取决于每个雇员现在几个场所工作，他可以有多个门禁卡，但是一次只能够有一个有效的。因为最新的门禁卡在新工作场所发出的，所以默认该卡是有效的。为了防止仿照，门禁卡号是随机的。你的任务是产生一个员工列表，每个员工都是需要有关联的有效门禁卡。使用A表示有效（Active）， I表示失效...

2009-03-24 21:13:22 359

sql解惑-麻醉师问题

[b]问题：Leonard C.Medal在许多年前提出了很多了这个技巧问题。在医院的手术室中，麻醉师为手术中的病人实行麻醉。每个人麻醉过程的信息都记录在一个表中。[/b][list][quote][i]procsproc_id anest_name start_time end_time--------------------...

2009-03-24 18:03:36 172

sql解惑- 缺勤者问题

[color=darkred][/color][color=darkred][/color][color=darkred][/color][b]问题：这个问题是有Jim chupella 在CompuServe上的MS Access论坛上提出的。他需要创建一个记录雇员缺勤率的数据库。使用的表[/b][code="sql"]create table Absenteeism (emp_id...

2009-03-21 20:29:02 418

生活, 网