wwtang9527的专栏

创建rsa无密码登录：ssh-keygen -t rsacat .ssh/id_rsa.pub .ssh/authorized_keys 先配置hdfs：1、下载hadoop-0.20.2.tar.gz，解压;2、修改conf/hadoop-env.sh，配置java_home;3、配置hdfs访问路径，core-site.xml： fs.default

HMaster是Hbase中管理数据库元数据的服务器。1、HMaster由下述的几组线程为其服务：1）RootScanner：根节点HRegion的扫描线程；2）MetaScanner：Meta节点HRegion的扫描线程；3）LeaseMonitor：HMaster与外部客户交互时，会用到一些资源，当外部客户没有发送心跳信息时，会需要释放这些资源，Leases线程用来处理这个任务

TaskTracker是Map/Reduce中执行任务的服务。1、有如下线程为其提供支撑：1）提供一组RPC服务（TaskUmbilicalProtocol）的1个Listener线程与默认10个Handler线程；2）提供另一组RPC服务（MapOutputProtocol）的1个Listener线程与默认2个Handler线程；3）TaskTracker主线程：主线程运行off

HRegionServer是Hbase中提供数据存取服务的核心部件。1、由如下线程提供支撑：1）LogRoller：日志切换线程，周期性的检查HLog是否需要切换，需要的话进行切换；2）Flusher：数据缓存刷新线程，缓存到一定程度写入到磁盘；3）CompactSplitThread：数据压缩拆分线程；4）Worker：工作线程，执行关闭RegionServer、开启Regi

JobTracker是Map/Reducer中任务调度的服务器。1、有如下线程为其服务：1）提供两组RPC服务（InterTrackerProtocol、JobSubmissionProtocol）的1个Listener线程与默认10个Handler线程； 2）提供任务执行情况查询的一组web服务线程，包括Socker Listener等； 3）ExpireTrackers：用来停

1、应用Map/Reduce的过程如下：1）将要处理的数据组成一对对Key-Value的方式，并生成文件；2）将这些Key-Value数据转换映射成另外的Key-Value数据，这其中的转化映射逻辑（算法）封装成一个实现Mapper接口的Mapper；public interface Mapper extends JobConfigurable, Closeable { vo

初始化RegionServer接口为TransactionalRegionInterface，初始化RegionServer实现类为TransactionalRegionServer；conf.set(HConstants.REGION_SERVER_CLASS, TransactionalRegionInterface.class.getName());conf.set(HCons

安装nrpe本文讲述的是：Redhat配置nagios。返回大纲。安装之前之前一定要安装gcc、 openssl、openssl-devel(尤其是linux被监控机，也是客户端)安装之后，是用/usr/local/nagios/bin/nrpe -c /usr/local/nagios/etc/nrpe.cfg –d命令启动nrpetar -zxvf nrpe-2.8b1   cd 

原文链接： http://hi.baidu.com/liuchangwengo/item/c837b5681c6cbb92c4d2492b 1.环境搭建（centos\redhat    和 ubuntu）yum install -y wget httpd phpgcc glibc glibc-common gd gd-devel make net-snmp（For Ubunt

mongoDB官方网站下载：1、mongodb-linux-i686-2.2.1.tgz 2、java驱动 mongo-2.2.jar 测试服务器为Dell  E5410 的Debian linux 2.6，配置为：1、4核，2.33GHz2、内存3G3、SATA硬盘2T web服务器：tomcat5.5打压工具：Apache Bench监控工具：mon...

MySQL官方网站下载：1、MySQL-server-5.5.28-1.rhel4.i386.rpm2、java驱动 mysql-connector-java-5.1.5-bin.jar 测试服务器为Dell  E5410 的Debian linux 2.6，配置为：1、4核，2.33GHz2、内存3G3、SATA硬盘2T web服务器：tomcat5.5打...

1、下载hbase-0.20.6.tar.gz；2、解压；3、修改conf/hbase-env.sh中的JAVA_HOME路径；4、bin/start-hbase.sh, 启动hbase，过程中需要输入两次密码；  启动后，可以看到zookeeper与master已启动。 5、bin/hbase shell 进入shell控制台；输入help，可以查看详细命...

ZookeeperServer，顾名思义就是一个Zookeeper节点的的服务端，为处理请求，建立了一个如下的处理链：PrepRequestProcessor -> SyncRequestProcessor -> FinalRequestProcessor。有如下线程为其提供服务：1、PrepRequestProcessor： * This request processor is gen

DataNode存放hdfs中的数据，接受客户端与其他DataNode的请求。DataNode服务由如下线程构成，按DataNode启动各线程的先后出场顺序列出：1、DataXceiveServer：数据接收监听守护线程，当监听有请求时，开启一个DataXceiver线程； public void run() { try {

测试服务器为Dell  E5410 的Debian linux 2.6，配置为：1、4核，2.33GHz2、内存3G3、SATA硬盘2T web服务器：tomcat5.5打压工具：Apache BenchHadoop：0.20.2HBase：0.20.6 ， 测试基于Hdfs  测试思路：1、因为HBase内置了连接池，所以客户端程序相对简单；2、每

mongoDB官方网站下载：1、mongodb-linux-i686-2.2.1.tgz2、java驱动 mongo-2.2.jar  测试服务器为Dell  E5410 的Debian linux 2.6，配置为：1、4核，2.33GHz2、内存3G3、SATA硬盘2T  web服务器：tomcat5.5打压工具：Apache Bench监控工具：

MySQL官方网站下载：1、MySQL-server-5.5.28-1.rhel4.i386.rpm2、java驱动 mysql-connector-java-5.1.5-bin.jar 测试服务器为Dell  E5410 的Debian linux 2.6，配置为：1、4核，2.33GHz2、内存3G3、SATA硬盘2T web服务器：tomcat5.5打

hbase0.20.6 + hadoop0.20.2需要的jar包为：hadoop-0.20.2-core.jarhbase-0.20.6.jarzookeeper-3.2.2.jarlog4j-1.2.15.jarcommons-logging-1.0.4.jar初始化操作：1、先new一个configuration（hadoop）；2、赋予zookeep

1、下载hbase-0.20.6.tar.gz；2、解压；3、修改conf/hbase-env.sh中的JAVA_HOME路径；4、bin/start-hbase.sh, 启动hbase，过程中需要输入两次密码；  启动后，可以看到zookeeper与master已启动。 5、bin/hbase shell 进入shell控制台；输入help，可以查看详细命

创建rsa无密码登录： ssh-keygen -t rsacat .ssh/id_rsa.pub .ssh/authorized_keys 先配置hdfs：1、下载hadoop-0.20.2.tar.gz，解压;2、修改conf/hadoop-env.sh，配置java_home;3、配置hdfs访问路径，core-site.xml： fs.de

1、创建一个表table1：hbase> create 'table1','family1','column1'查看hbase目录，已生成table1目录；2、创建一个表table2：hbase> create 'table2','family2','column2'查看hbase目录，已生成table2目录；3、插入一条记录：hbase> put 'table1','

本来是想研究hbase源码，但发现hbase里面也用了hadoop中很多一样的机制，于是决定从hadoop0.1.0版开始。版本：0.1.0svn：http://svn.apache.org/repos/asf/hadoop/common/tags/release-0.1.0myeclipse6.0，new create project，将默认的output folder路径bin，改

如果从hadoop的单元测试开始研究源码的话，就不得不说下MiniDFSCluster。 MiniDFSCluster是一个本地单进程的模拟hdfs集群框架。0.1.0版的比较简单，就以下几个内容：1）NameNodeRunner：用来开启NameNode的一个线程；2）DataNodeRunner：用来开启DataNode的一个线程；3）shutdown方法：用来关闭上面

Namenode是hdfs的名字节点，保存着文件系统的元数据，响应客户端与DataNode的请求。 有如下线程为Namenode进行服务：1、HeartbeatMonitor：心跳守护线程，该线程一直在进行与DataNode之间的心跳检测，默认是EXPIRE_INTERVAL = 10 * 60 * 1000 （10分钟）后，如果DataNode还没有发来心跳信号，就进行如下处理：1）

研读Hadoop源码，不得不说其中的RPC机制。实现RPC的几个基本步骤：1）客户端需要有一个负责与远程服务端对象通信的对象，称为A；2）服务端需要有一个负责与远程客户端对象通信的对象，称为B；3）A负责将客户端请求的Java类型方法、参数，序列化成字节流，通过网络传递给B；4）B负责将通过网络收到的请求字节流，反序列化成Java类型方法、参数，传递给真正的服务端对象，并调用方

  创建rsa无密码登录：ssh-keygen -t rsacat .ssh/id_rsa.pub .ssh/authorized_keys 先配置hdfs：1、下载hadoop-0.20.2.tar.gz，解压;2、修改conf/hadoop-env.sh，配置java_home;3、配置hdfs访问路径，core-site.xml： <property&g...