hadoop
关注
分享
扫一扫
文章平均质量分 70
peixun123
这个作者很懒，什么都没留下…
展开
-
Hadoop-环境搭建
登陆master机器ssh-keygen -t rsa 生成密钥对cp id_rsa.pub authorized_kyesscp authorized_keys 从节点1:/home/xx/.ssh scp authorized_keys 从节点2:/home/xx/.ssh 需要输入密码，不过输入一次密码之后以后就不用输入了配置/etc...原创 2013-06-27 16:58:17 · 80 阅读 · 0 评论 -
HBase-HLog分析
HLog的全部实现在包:org.apache.hadoop.hbase.regionserver.wal 中 相关的配置为参数名默认值含义hbase.regionserver.hlog.enabledtrue是否启用WALhbase.regionserver.hlog.writer.implSequenceFileLogWriterH...原创 2014-02-08 17:37:29 · 230 阅读 · 0 评论 -
HBase-RegionServer架构
RegionServer的整体结构一个region server包含了五部分功能:1.和zookeeper相关的线程 MasterAddressTracker负责捕获master节点的状态 ClusterStatusTracker追踪hbase集群的状态 CatalogTracker跟踪root表meta表和region的状态 Splitl...原创 2014-02-28 19:06:41 · 813 阅读 · 0 评论 -
HBase-WAL相关线程处理逻辑
日志同步线程 HLog$LogSyncer hbase.regionserver.optionallogflushinterval默认1秒配置log syncer线程扫描间隔更新、增加、删除操作会触发一次WAL，而WAL是同步写入到hadoop的，也就是先写WAL，再做更新(或者删除)这些操作是在handle线程中完成的1.handle先创建一个WAL，放入队列中...原创 2014-02-28 19:21:05 · 251 阅读 · 0 评论 -
Hadoop-balancer执行原理
核心类在org.apache.hadoop.hdfs.server.balancer.Balancer 均衡算法 伪代码while(true) { 1.获取需要迁移的字节数 if(需要迁移字节数 == 0) { return "成功，无需迁移"; } 2.选择需要迁移的节点 if(需要移动的数据 == 0) { return "没有需要...原创 2015-01-28 21:19:10 · 253 阅读 · 0 评论 -
Hbase-HMaster架构
HMaster的整体结构一个master包含如下部分：1.对外的接口 RPC服务 jetty web服务 Master MBean 其中RPC服务包括了若干listener，reader，以及handler线程(IPC Handler和 用于replication的IPC Handler)2.执行服务都是一些线程池，当有任务出现时就就会交给这...原创 2015-03-24 19:21:10 · 503 阅读 · 0 评论 -
HBase-压缩和分割原理
HRegionServer调用合并请求主要逻辑如下://遍历每个Store然后计算需要合并的文件，生成//CompactionRequest对象并提交到线程池中执行//根据throttleCompaction()函数规则来判断是提交到//largeCompactions线程池还是smallCompactions线程池CompactSplitThread#req...原创 2015-03-31 11:33:44 · 283 阅读 · 0 评论 -
HBase-cache相关
一些配置参数hbase.lru.blockcache.min.factorhbase.lru.blockcache.acceptable.factorhbase.regionserver.global.memstore.upperLimit 默认为0.4hbase.regionserver.global.memstore.lowerLimit 默认为0.35...原创 2015-04-09 15:03:11 · 138 阅读 · 0 评论 -
Hadoop-远程过程调用
Hadoop IPC类图如下 连接//为了提高通讯效率，连接是可以复用的，通过ConnectionId来区分不同的连接class ConnectionId { InetSocketAddress address; //远端服务器的地址 UserGroupInformation ticket; //用户...原创 2015-06-15 16:46:47 · 154 阅读 · 0 评论 -
Hadoop-commons分析
hadoop的配置文件相关类 Configuration所有大型的系统都有一套自己的配置系统或模块，用于方便系统扩展用，hadoop有自己独立的一套配置方式采用XML文件，使用SAX解析配置文件my-config.xml格式<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="tex...原创 2014-10-22 18:19:19 · 341 阅读 · 0 评论 -
HBase-线程调整
read线程数量ipc.server.read.threadpool.size默认为10取数据get 'test','aa1',{COLUMN=>'cf',TIMESTAMP=>5}指定的ts不存在则返回空原创 2013-08-20 17:14:33 · 157 阅读 · 0 评论 -
HBase-客户端请求
客户端相关参数参数默认值含义hbase.htable.threads.max2147483647 线程池中的线程数量hbase.htable.threads.keepalivetime60秒keepalive时间 hbase.client.pause1秒重试的休眠时间 hbase.client.retries.num...原创 2014-05-27 19:46:23 · 349 阅读 · 0 评论 -
HBase-各种API操作
初始化[code="java"] Configuration HBASE_CONFIG = new Configuration(); HBASE_CONFIG.set("hbase.zookeeper.quorum", "IP"); HBASE_CONFIG.set("hbase.zookeeper.property.clientPort", "端口"); cfg = ne...原创 2013-07-03 11:08:56 · 87 阅读 · 0 评论 -
Hadoop-相关文章
HBase API[url]http://hbase.apache.org/0.94/apidocs/index.html[/url]HBase blog[url]http://blogs.apache.org/hbase/[/url]csdn hadoop[url]http://subject.youkuaiyun.com/hadoop/[/url]hadoop大会[...原创 2012-10-03 20:14:06 · 107 阅读 · 0 评论 -
Hadoop-常见问题
经典漫画讲解HDFS原理 [url]http://blog.chinaunix.net/uid-27105712-id-3274395.html[/url]HBASE SHELL 常用命令 [url]http://blog.youkuaiyun.com/hongbinchen/article/details/6289279[/url]Hadoop使用常见问题以及解决方法[url]h...原创 2013-07-05 12:50:32 · 188 阅读 · 0 评论 -
Hadoop-常用操作
使用URL的方式读取一个文件内容，需要设置一个handler工厂，这个工厂只能设置一次[code="java"] static { URL.setURLStreamHandlerFactory( new FsUrlStreamHandlerFactory() ); } public void test1() throws IOException { URL u = n...原创 2013-07-19 11:35:53 · 243 阅读 · 0 评论 -
HBase-HFile的读写操作
写入数据: public class TestWrit { private static Configuration cfg = new Configuration(); private static final int BLOCK_INDEX_SIZE = 60; private static final int BLOOM_BLOCK_INDEX_SIZE = 10...原创 2014-05-03 19:40:16 · 1112 阅读 · 0 评论 -
HBase-遇到的问题
rowlock release problem with thread interruptions in batchMutate在region server的log中有大量的WARN日志: WARN org.apache.hadoop.hbase.regionserver.HRegion: Failed getting lock in batch put, row=00015...原创 2014-05-15 16:43:48 · 250 阅读 · 0 评论 -
HBase-打印日志内容分析
WARN org.apache.hadoop.hbase.regionserver.HRegion: Failed getting lock in batch put, row=0001558252这个是因为有一个Delete或Put操作，已经将rowkey锁住了，之后又有Delete或Put操作这个rowkey触发了一个CountDownLatch等待超时抛出的异常。 ...原创 2014-05-15 17:14:05 · 444 阅读 · 0 评论 -
HBase-HFile分析
HFile的整体结构图如下: 整个HFile分四部分:1.可以被迭代器扫描的部分，如数据块2.不被迭代器扫描到的部分，如中间层索引3.直接加载到内容的部分，如根索引，文件信息4.尾部文件块部分，通过尾文件块找到根索引，再由索引定位中间索引以及叶索引，最后找到需要的数据。需要注意的是第三点中，直接被加载到内存的部分，如根索引，文件信息，这部分的内容对于一个正确的HF...原创 2014-01-10 19:25:03 · 396 阅读 · 0 评论 -
HBase-服务端处理请求的过程
Region的架构 HRegionServer:配置:hbase.client.retries.number (默认10) 客户端的重试次数hbase.regionserver.msginterval (默认3*1000) ???hbase.regionserver.checksum.verify(默认false) 是否启用checksumhbase....原创 2014-05-19 19:19:44 · 413 阅读 · 0 评论 -
Hadoop-DataNode分析
HDFS主要流程客户端创建到namenode的文件与目录操作客户端会调用FileSystem实现也就是DistributedFileSystem的mkdir()函数，之后DistributedFileSystem会通过IPC调用namenode的mkdir()这个操作会持久化到日志中FSImage#saveFSImage()，之后返回创建目录只是客户端和nam...原创 2016-04-06 18:41:48 · 203 阅读 · 0 评论