大数据开发
文章平均质量分 72
DP323
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
报错:Regions In Transition
1、问题解析 在执行Region Split时,因为系统中断或者HDFS中的Region文件已经被删除。 Region的状态由master跟踪,包括以下状态: State Description Offline Region is offline Pending Open A request to open the region was sent to the server ..原创 2021-08-09 08:23:36 · 3114 阅读 · 0 评论 -
CDH6.2.0安装phoenix5.0.0
前言 因为公司业务需求是能根据表的某列或多列进行查询,所以考虑在HBase的基础上增加二级索引,为了实现此功能,考虑了两种解决方案:协处理器 和phoenix。 网上文章和教学视频的分析中都说明phoenix 更合适,原因有三: 1、协处理器编程较为麻烦; 2、phoenix非常适合原关系数据库开发人员; 3、phoenix提供了较为强大的优化功能,能提升hbase的存储查询性能; 公司配备了三台服务器(这里暂且命名为node1、node2、node...原创 2021-08-05 10:56:34 · 1219 阅读 · 6 评论 -
cloudera目录结构
/var/log/cloudera-scm-installer : 安装日志目录。 /var/log/* : 相关日志文件(相关服务的及CM的)。 /usr/share/cmf/ : 程序安装目录。 /usr/lib64/cmf/ : Agent程序代码。 /var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。 /usr/bin/postgres : 内嵌数据库程序。 /etc/cloudera-scm-agent/ : agent的配置目录。 /etc/clou..转载 2021-08-02 08:11:59 · 456 阅读 · 0 评论 -
HBase客户端JAVA开发(二)
HBase客户端JAVA开发(二) 接上一篇HBase客户端JAVA开发(一),本篇在HBase客户端通过IDEA平台使用JAVA编程实现以下功能: 1.判断一张表是否存在 2.在hbase中创建表 3.删除hbase的表 4.往表插入数据 5.扫描表数据 (scan全表扫描) 一、DEMO目录树结构 在resources下只需要添加hadoop配置中的core-site.xml(可到集群节点中的/etc/hadoop文件夹中下载)、hbase-site.xml(可到集群节原创 2021-07-19 11:41:49 · 390 阅读 · 3 评论 -
HBase的工作机制
一、基本工作机制 1、表(table)按区域(region)进行横向划分:region0(00000~99999)、region1(100000~999999)、region2……表不断增大,依次划分成多个region; 2、表(table)按列族(columfamily)进行竖向划分:列族1、列族2…………,列族是固定的; 3、多个hbase服务器(也称为region server,部署在datanode上)负责管理各个region,一个region server可以管理不同表上的region;原创 2021-05-26 16:59:22 · 541 阅读 · 0 评论 -
HBase客户端JAVA开发(一)
集群版本:CDH6.2.0 集群Hadoop版本:Hadoop 3.0.0-cdh6.2.0 集群HBase版本:2.1.0-cdh6.2.0 操作系统:WIN10 IntelliJ IDEA版本:IntelliJ IDEA 2019.2.1 apache-maven-3.6.1(相关配置另行查找) 一、创建Maven项目 1、填写GroupId和ArtifactId,设置项目保存位置 / 2、项目创建好后,修改maven setting 二、配置项目pom.xml 1...原创 2021-05-25 09:32:15 · 636 阅读 · 0 评论 -
HBase客户端开发(一)
HBase客户端开发(一) 一、在客户端输入:hbase shell 时,报错: 原因是缺少jansi包,从CDH中拷贝jansi-1.9.jar到客户端的lib文件夹中,解决问题; 二、建表时,报错: 出现该问题的原因是因为中途有两台服务器被撤走,造成HMaster旧的元数据信息没有删除,使用zookeeper删除hbase旧的元数据后重启hbase即可。 解决过程: 1、找到zookeeper的安装目录,centos系统下默认为/usr/bin #cd /usr/bin #l原创 2021-05-13 17:10:01 · 331 阅读 · 0 评论
分享