eyeofeagle的博客

hbase分布式安装。

1, 操作说明pgsql --> ksqldb --> mysql2, 创建测试环境，使用ksql创建kafka连接器a, 环境准备： pgsql表和数据, mysql表结构角色ipmysql (笔记本物理机)192.168.56.1pgsql( 虚拟机: 用docker启动一个容器)192.168.56.117D:\download\: mysql> create database test; create t

文章目录1, 环境准备: hbase, Key-Value Store Indexer2, 配置hbase 和 Key-Value Store Indexera, hbase启动复制b, Key-Value Store Indexer 添加映射:从hbase表到solr集合3, hbase-indexer添加索引a, 创建solr 集合b, 添加 morphline-hbase-mapper.xmlc, hbase-indexer添加索引4, 验证hbase数据是否被solr索引a, hbase shell

1，遇到的问题hbase数据写入频繁，触发memstore刷写次数多，导致region , RS 下线，写入失败hbase 发生compact ，导致RS下线，查询失败2，hbase读写流程a, read,write流程图https://sematext.com/blog/hbase-memstore-what-you-shouldhttps://blog.cloudera.com/guide-to-using-apache-hbase-ports/表数据读写：1 (获取meta区域

文章目录1，Datax下载使用下载二进制包使用编写json参数，执行测试任务2，从关系型数据库，抽到Hbase1，Datax下载使用阿里巴巴开源-数据迁移工具：DataX简介-架构设计：https://github.com/alibaba/DataX/blob/master/introduction.md用户指南：https://github.com/alibaba/DataX/blob/master/userGuid.md下载二进制包使用下载，并解压到linux服务器某目录：http:

1，在hbase shell里面查询：过滤字段值列值比较器 + 比较符号: SingleColumnValueFilter + CompareFilter.CompareOphttp://hbase.apache.org/1.4/apidocs/org/apache/hadoop/hbase/filter/CompareFilter.CompareOp.htmlCompareOp 可选取...

文章目录1，数据结构2，存储目录结构1，数据结构hbase 表= multi-dimensional map (多维度的Map： kv对)row: 一条数据记录row的结构如下：有序的存储(按rowkey的字典序, a->z )( rowkey1: { 列组: {列名: “属性值”} } ）参考： https://dzone.com/articles/unders...

1, 查看系统支持的压缩格式[root@cdh-node1 ~]# hbase org.apache.hadoop.util.NativeLibraryCheckerJava HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS is deprecated and will likely be removed in a futu...

1, 使用kerberos认证: UserGroupInformation.loginUserFromKeytab(kerberosUser, keytabPath)import org.apache.hadoop.security.UserGroupInformation;2, 具体代码maven依赖<dependency> <groupId>org...

背景介绍hbase shell命令行显示的数据是16进制的，不方便查看，而且在命令行下操作也不方便，所以可以通过phoenix来jdbc连接，使用sql查询数据，而https://www.dbvis.com/download/10.0就是一个较好的客户端连接工具CDH中为hbase安装phoenix：https://blog.youkuaiyun.com/eyeofeagle/article/de...

1,下载cdh的phoenix安装包http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/移动parcel文件到cdh安装目录：　/opt/cloudera/parcel-repo/打开cloudera的管理7180 web管理界面, 选择parcels—> 检查新parcel: 分发, 激活...

要点如下：(使用idea +maven)增、删、改数据 查询： 过滤器，比较器 协处理器： 模拟 'RMDB的触发器'第一步：准备好环境搭建好hdfs, hbase伪分布式或完全分布式 使用idea创建maven项目，在resources目录下： 导入依赖的配置文件（ core-site.xml, hdfs-site.xml, hbase-site.xml） pom.xml: ...

一般化的curd批次查询，插入在idea中导入maven依赖，创建Junit Test类 &amp;amp;amp;lt;dependency&amp;amp;amp;gt; &amp;amp;amp;lt;groupId&amp;amp;amp;gt;org.apache.hbase&amp;amp;amp;lt;/groupId&amp;amp;amp;gt; &amp;amp;amp;lt

两个hadoop集群之间，需要数据转移，如何操作：hbase数据分： zk元数据 + hdfs表记录数据hbase数据分： hdfs数据可以上传下载， zk元数据可以自动修复于是： 得到以下办法==&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;gt;位置hbase数据s101集群：1.2.6空s102集群： 1.2.6ns1:person#s101节点: hba

1，hbase表：数据结构2，hbase报错集由于region发生split, regionserver暂忙，停止了服务，而数据还在往旧的region中插入，导致如下各种错误==&amp;amp;amp;amp;amp;amp;amp;amp;amp;gt;解决办法：第一步： 备份hdfs的表数据（hdfs dfs -mv /hbase/data/default /hbase.back）第二步： 删除hdfs中的hbase数据目录的全部数据 (hdfs...

1, 在shell中调用hbase shll客户端[root@eadage txt]# echo 'scan "'"t2"'"' |hbase shellJava HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS is deprecated and will likely be removed in a future rel...