Kettle 从oracle导入hhbase

Kettle 从oracle导入hhbase配置

Hbase output配置

      一：Configure connection配置

                   1：找到hbase的主节点作为hadoop cluster的链接地址

                   2：从hbase主节点中获取对应的hbase-site.xml数据。用来配置URL to hbase-site.xml

                       [注意]：这里windows下地址需要在路径前面加  file:///

                   3：url to hbase-defaulst.xml地址格式同上即可

                   4：Hbase table name 和 Mapping name的获取需要去配置Create/Edit Mappings页面标签

以上的配置如图1所示：
                  

图1

二：Create/Edit Mappings配置

               1：点击 get table names按钮获取hbase中表名

               2：获取对应的表名后，需要自定义一个MAPPING

               3：然后点击Get incoming fields获取对应的字段【这里需要注意，对获取的字段需要设置对应的rowkey信息，列表头上有Key。选择那个为key，就将对应的字段选择Y，并且需要给对应的类型Type】

               4：完成后点击savaMapping保存对应的mappding信息

               5：这时候可以点Configure Connection选项卡，点击获取get table name ，然后在去获取对应的get mappings for the specified tab【注意：这里一定要去点击获取，手动输入无效】  如图2所示：

图2

               三：点击运行完成连接

 

Kettle连接hbase关键配置细节：

                       1：更改kettle配置文件

                             更改路径：…\data-integration7\plugins\pentaho-big-data-plugin\plugin.properties

                             更改文件参数：active.hadoop.configuration=【hdp25】【cdh510】【emr52】【mapr520】

                             根据自己使用的hadoop版本去选择;如图3

如图3

                           

                       2：相关配置文件引入

                             更改路径：…\data-integration7\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510\

                                     增加集群中

                                                   hbase-site.xml

                                                   hdfs-site.xml

                                           yarn-site.xml

                                           core-site.xml

                                           mapred-site.xml

                                       【注意：这里需要引入zk的jar包文件】如图所示：4

               如图4

                   3：核心hbase连接配置；如图5所示

如图5所示

                   4：测试后的结果