xrl001的博客

HRegionServer是Hbase中最主要的组件，负责table数据的实际读写，管理Region。在分布式集群中，HRegionServer一般跟DataNode在同一个节点上，目的是实现数据的本地性，提高读写效率。1 RegionServer中的组件1.1 WAL:Write Ahead Log1.1.1 主要特点为一个文件0.94之前

http://flume.apache.org/安装1、上传2、解压3、修改conf/flume-env.sh  文件中的JDK目录 注意：JAVA_OPTS 配置  如果我们传输文件过大 报内存溢出时 需要修改这个配置项4、验证安装是否成功  ./flume-ng version5、配置环境变量export FLUME_HOME=/home/apache-

安装之前准备1、依赖 gcc openssl-devel pcre-devel zlib-devel安装：yum install gcc openssl-devel pcre-devel zlib-devel -y安装Nginx./configure make && make install默认安装目录：/usr/local/nginx

1 启动mysql service mysqld restart进入mysql mysql -u root -p123456查看列表 show databases;2 启动zookeeper zkServer.sh start  查看状态 zkServer.sh status3 启动集群   start-all.sh 启动hadoop节点  hadoop-dae

/** * mytopology拓扑的描述如下： * 拓扑将使用两个工作进程（Worker） * Spout是id为bule-spout，并行度为2的BlueSpout实例（产生两个执行器和两个任务） * 第一个 Bolt是id为green-bolt，并行度为2，任务数为4， * 使用随机分组方式接收blue-spout所发射元祖的GreenBolt实例（产生2个执行器和4个任务） *

点击打开链接大数据常见错误解决方案（转载）1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!解决方法：add export SPARK_LOCAL_

flume，kafka 是基于zookeeper的，前安装zookeeper1 搭建kafka集群 详见 注意：1各个节点的broker id 要进行分配 ，不能相同，建议 按顺序排列 0,1,2（我是三个节点）   2 hostname = node1 port=9092   3 zookeeper  connect = node1:2181,node2:2181,node3:2