<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[mm_bit的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/mm_bit</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; mm_bit]]></copyright><item><title><![CDATA[Intellij连接远程hadoop]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/52118904</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/52118904</guid><author>mm_bit</author><pubDate>Thu, 04 Aug 2016 15:36:55 +0800</pubDate><description><![CDATA[环境：服务器：CentOS6.6 
 Hadoop-2.7.2

client端：windows10：开发工具：intellij IDEA
前期准备：需要在windows平台下载hadoop-2.7.2的bin包，并且解压到本地目录，我的是在E:\hadoop-2.7.2\hadoop-2.7.2，具体如下：


1、在intellij中创建一个maven project flie-]]></description><category></category></item><item><title><![CDATA[hadoop常用命令汇总]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/52117329</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/52117329</guid><author>mm_bit</author><pubDate>Thu, 04 Aug 2016 11:05:32 +0800</pubDate><description><![CDATA[启动Hadoop

进入HADOOP_HOME目录。执行sh bin/start-all.sh

关闭Hadoop

进入HADOOP_HOME目录。执行sh bin/stop-all.sh



1、查看指定目录下内容

Hadoop dfs –ls [文件目录]

eg: hadoop dfs –ls /user/wangkai.pt

2、打开某个已存在文件]]></description><category></category></item><item><title><![CDATA[HBase 写优化之 BulkLoad 实现数据快速入库]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/52087763</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/52087763</guid><author>mm_bit</author><pubDate>Mon, 01 Aug 2016 17:45:33 +0800</pubDate><description><![CDATA[1、为何要 BulkLoad 导入？传统的 HTableOutputFormat 写 HBase 有什么问题？
我们先看下 HBase 的写流程：

通常 MapReduce 在写HBase时使用的是 TableOutputFormat 方式，在reduce中直接生成put对象写入HBase，该方式在大数据量写入时效率低下（HBase会block写入，频繁进行flush，split，comp]]></description><category></category></item><item><title><![CDATA[hbase错误：Org.apache.hadoop.ipc.RemoteException:User:client is not allowed to impersonate root]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/52062488</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/52062488</guid><author>mm_bit</author><pubDate>Fri, 29 Jul 2016 10:57:06 +0800</pubDate><description><![CDATA[场景：远程登录配有Kerberos的hbase的时候，client端用到的kerberos的principal是client/mj1@BDSM.CMCC
错误：
Org.apache.hadoop.ipc.RemoteException:User:clientis not allowed to impersonate root;
解决方法：
在hadoop的配置文件core-site.xm]]></description><category></category></item><item><title><![CDATA[HBase-1.2.1之查找Region位置的源码学习]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/52056808</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/52056808</guid><author>mm_bit</author><pubDate>Thu, 28 Jul 2016 17:00:40 +0800</pubDate><description><![CDATA[首先需要清楚的是：
zookeeper上存放的是meta表在region的地址
真正的meta表数据是存放在region上的，和其他普通的数据表是一样的。
以get操作为例：
在HTable中的get方法中的
return rpcCallerFactory.newCaller().callWithRetries(callable,this.operationTimeout);
--->]]></description><category></category></item><item><title><![CDATA[hbase-1.2.1之协处理器的源码学习]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/52056037</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/52056037</guid><author>mm_bit</author><pubDate>Thu, 28 Jul 2016 15:56:22 +0800</pubDate><description><![CDATA[HBase中的协处理器：两种：observer和endpoint
Observer：
RegionServerObserver：钩子函数主要是针对对region的管理的，比如merge，writeWAL，createRElplicationEndPoint,replicateLogEntries.
RegionObserver：钩子函数主要是针对client端对region上的数据操作，比如]]></description><category></category></item><item><title><![CDATA[hbase-1.2.1之scan、batch操作的源码学习]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/52055387</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/52055387</guid><author>mm_bit</author><pubDate>Thu, 28 Jul 2016 15:13:15 +0800</pubDate><description><![CDATA[Scan操作：
1、  实例化Configuration类
Configuration conf = HbaseConfiguration.create();
同Get操作。
2、  实例化HTable类
HTable hTable = new HTable(conf,tableName);
同Get操作。
3、  实例化Scan类
Scan scan = new Scan();]]></description><category></category></item><item><title><![CDATA[hbase-1.2.1之put操作源码学习]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/52055318</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/52055318</guid><author>mm_bit</author><pubDate>Thu, 28 Jul 2016 14:58:52 +0800</pubDate><description><![CDATA[Put操作：
1.        实例化Configuration类
Configuration conf = HbaseConfiguration.create();
同Get操作。
2、  实例化HTable类
HTable hTable = new HTable(conf,tableName);
同Get操作。
3、  实例化Put类
Put p = new Put(Byte]]></description><category></category></item><item><title><![CDATA[HBase-1.2.1之HRegionServer启动源码学习]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/51538292</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/51538292</guid><author>mm_bit</author><pubDate>Thu, 28 Jul 2016 14:49:27 +0800</pubDate><description><![CDATA[在hbase-server项目中的org.apache.hadoop.hbase.regionserver.HRegionServer类中。
public HRegionServer(Configuration conf, CoordinatedStateManager csm)
      throws IOException, InterruptedException {
    this.]]></description><category></category></item><item><title><![CDATA[java api登录远程配有kerbeors的hbase实现]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/51995339</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/51995339</guid><author>mm_bit</author><pubDate>Fri, 22 Jul 2016 17:57:06 +0800</pubDate><description><![CDATA[昨天开始才知道IDEA Intellij中可以在打包的jar包中设置断点进行debug，于是决定把之前遗留下的连接远程hbase的问题重新捡起解决。
现在的环境：client端：是windows10的系统，开发工具为IDEA Intellij
                        远程的服务器端：是非本地机的centos系统。使用的hadoop为2.7.2版本，hbase为1.2.1]]></description><category></category></item><item><title><![CDATA[用Java访问带有Kerberos认证的HBase]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/51958344</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/51958344</guid><author>mm_bit</author><pubDate>Tue, 19 Jul 2016 18:26:41 +0800</pubDate><description><![CDATA[开始之前





   因为HBase的存储系统是基于Hadoop的存储，现在Hadoop已经增加了Kerberos认证机制，这样HBase的客户端访问HBase数据库的时候也需要进行身份的认证。

   Kerberos是一个认证中心，客户端在访问HBase前必须通过认证才能访问，下图是Kerberos的认证图：

  




 我们不需要详细介绍Kerbero]]></description><category></category></item><item><title><![CDATA[通过hive访问hbase中的表]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/51957436</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/51957436</guid><author>mm_bit</author><pubDate>Tue, 19 Jul 2016 16:58:49 +0800</pubDate><description><![CDATA[在hbase中创建表后,我们只能在hbase shell中使用scan查询数据,这对于熟悉SQL的使用者不怎么习惯,不过我们可以在hive中创建外部表来访问hbase表中的数据,例子如下:


1.这里hbase中的表oss_user_label_action_data已经存在
=> #
hbase(main):067:0> scan 'oss_user_label_action_dat]]></description><category></category></item><item><title><![CDATA[Hbase安装kerberos及远程登录配置]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/51953243</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/51953243</guid><author>mm_bit</author><pubDate>Tue, 19 Jul 2016 10:17:07 +0800</pubDate><description><![CDATA[1. 安装ZK, 单机多实例配置及启动
·        创建data目录, 创建datalog目录
·         1040  mkdir data
 1041  cd data/
 1043  mkdir slave1
 1044  mkdir slave2
 1045  mkdir slave3
 1046  cd ..
 1047  mkdir datalog
 10]]></description><category></category></item><item><title><![CDATA[HBase集群中RegionServer崩溃后的快速恢复措施探索]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/51858373</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/51858373</guid><author>mm_bit</author><pubDate>Fri, 08 Jul 2016 09:49:07 +0800</pubDate><description><![CDATA[随着互联网和通信行业的迅猛发展，积聚的各种数据呈急剧增长态势。这些海量数据既蕴含着丰富的信息和资源，又面临着信息有效管理和提取的难题。云计算是分布式处理、并行处理和网格计算的发展，可以提供近乎无限的廉价存储和计算能力，特别适合于日益暴增的海量数据的存储和处理。在云计算领域中，Hadoop体系独树一帜，其丰富的子系统可以满足多种领域和行业的应用需求，而其中的HBase作为一种非结构化数据库，特别适合]]></description><category></category></item><item><title><![CDATA[HBase-1.2.1之Get操作源码学习]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/51537718</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/51537718</guid><author>mm_bit</author><pubDate>Mon, 30 May 2016 15:09:32 +0800</pubDate><description><![CDATA[最近在学习HBase的源码，主要是学习HRegionServer部分。从Get请求入手，找到了主要的实现类：Get，HTable，ConnectionManager等。具体如下：

Get操作：使用Java API读取数据：



1、  实例化Configuration类
Configuration conf = HbaseConfiguration.create();
在Hba]]></description><category></category></item><item><title><![CDATA[java中的System.arraycopy方法]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/51384491</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/51384491</guid><author>mm_bit</author><pubDate>Thu, 12 May 2016 16:55:31 +0800</pubDate><description><![CDATA[今天在看hbase源码，看到了System.arraycopy方法，学习了一下：
java中的ArrayList是动态数组，其优点就是查询速度快，插入和删除速度慢，就是因为它是数组形式，有位置索引，所以在查询的时候可以根据下标索引直接找到对应元素，但是在插入和删除元素的时候，需要挪动数组，所以速度较慢。深查其java源码，可以发现ArrayList中其实就用到了System.arraycopy方]]></description><category></category></item><item><title><![CDATA[HBase学习]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/51333786</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/51333786</guid><author>mm_bit</author><pubDate>Fri, 06 May 2016 18:34:48 +0800</pubDate><description><![CDATA[HBase简介

HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。HBase的目标是存储并处理大型的数据，更具体地说仅用普通的硬件配置，能够处理成千上万的行和列所组成的大型数据库。
HBase是一个开源的、分布式的、多版本的、面向列的存储模型。可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统]]></description><category></category></item><item><title><![CDATA[zookeeper的单机多实例配置和分布式配置]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/51305895</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/51305895</guid><author>mm_bit</author><pubDate>Tue, 03 May 2016 16:58:32 +0800</pubDate><description><![CDATA[单机多实例配置：

#生成配置文件，配置文件名随便，这里是zoo.cfg
cp /data/apache/zookeeper/conf/zoo_sample.cfg  /data/apache/zookeeper/conf/zoo.cfg
vi /data/apache/zookeeper/conf/zoo.cfg


   配置文件内容：
tickTime=2000
initLimi]]></description><category></category></item><item><title><![CDATA[HBase中的HMaster、HRegionServer、Zookeeper]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/51304233</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/51304233</guid><author>mm_bit</author><pubDate>Tue, 03 May 2016 16:00:44 +0800</pubDate><description><![CDATA[HMaster是HBase主/从集群架构中的中央节点。通常一个HBase集群存在多个HMaster节点,其中一个为Active Master,其余为Backup Master.

Hbase每时每刻只有一个hmaster主服务器程序在运行，hmaster将region分配给region服务器，协调region服务器的负载并维护集群的状态。Hmaster不会对外提供数据服务，而是由region服]]></description><category></category></item><item><title><![CDATA[hbase1.2.1配置kerberos]]></title><link>https://blog.youkuaiyun.com/mm_bit/article/details/51274625</link><guid>https://blog.youkuaiyun.com/mm_bit/article/details/51274625</guid><author>mm_bit</author><pubDate>Fri, 29 Apr 2016 17:25:05 +0800</pubDate><description><![CDATA[今天需要在hbase上配置kerberos认证，所以需要安装kerberos，安装配置过程如下：


kerberos简介

kerberos简单来说就是一套完全控制机制，它有一个中心服务器（KDC），KDC中有数据库，你可以往里添加各种“人”以及各种“服务”的“身份证”，当某个人要访问某个服务时，他拿着自己的“身份证”联系KDC并告诉KDC他想要访问的服务，KDC经过一系列验证步骤，最]]></description><category></category></item></channel></rss>