laughing1997的博客

最近一直在研究hbase源码，一直心心念念要把hbase源码在idea上面跑起来。方便自己调试查看，而且好好研究里面的测试用例，因为一直只是看hbasefsck这块源码，以及创建表等等。想再具体执行。 期间编译源码，遇到不少坑。时间关系，不能一一阐述。 总结性说几句： 1、大数据的组件源码，maven或者构建项目的骨架软件版本非常重要。尽量选择版本旧，稳定版的。别用最新。本人亲测，从maven 3...

环境：cdh5.12.1+jdk1.8 我的hadoop，hdfs，mapreduce2，hbase，zookeeper spark的版本如下： spark我做了升级，升级到了 SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel 注意，cdh的组件。el6和el7的区别。 就是el6是centos6.x版本的， el7是centos7.x版...

前言： 数据库，按照数据库的存储结构来区分的话， key-value数据结构：其中比较出名的有redis这种； 二叉树类型的数据结构：比较出名的是mysql和oracle； LMS日志结构性数据库：就是hbase。 以下，大致讲解下hbase怎么去配置单机，伪分布式，完全分布式。 首先是hbase版本对应的信息如下： 前提条件，安装jdk 和 hadoop，并配置了环境变量 1.单机模式 直接解...

hdfs文件写入流程 NN采用读写分离机制 元数据合并机制

将如下文件解压并复制 放置在对应eclipse的文件夹下的bin目录。覆盖进去 配置环境变量 %HADOOP_HOME%\bin 将插件文件拷贝到c盘Windows的system32目录下

IDEA的hadoop插件配置教程 版本要求：IDEA 2017年及2017年以后的版本。 hadoop：2.7.x。（目前测试2.7.1没问题，由于是自己制作的插件，目前这些版本是可行的） 插件下载地址：（由于找不到比较好的公链供大家下载，所以我把插件上传到QQ群。QQ群会自动同意的。需要的加群下载。文件就放在群文件里面） 一：打开IDEA，进入Setting页面。找到Plugins-选择In...

DFSClient | Namenode | Datanode 源码分析顺序图： DFSClient |-------ClientProtocol |-------DFSInputStream |-------LocatedBlocks |-------BlockReader |-------DFSInputStream ...

知识点 1.当执行格式化指令时，会在指定的tmp目录下，生成dfs/name目录。 此目录是namenode服务器存储元数据的目录 2.当格式化后，启动HFDS前，会生成一个最初的fsimage_0000000000000000000文件 3.在 dfs/data目录，这是datanode节点存储数据块的目录。 4.元数据的存储目录和数据节点的目录的路径可以分开指定 5.在dfs/na...