hbase
关注
分享
扫一扫
文章平均质量分 51
GOD_WAR
喜欢钻研大数据、python、机器学习、人工智能...
展开
-
squirrel 通过phoenix 连接 hbase
squirrel下载从网址http://www.squirrelsql.org/下载相应版本的squirrel的安装jar包，好比下载squirrel-sql-3.8.1-standard.jar window版本。1.4.3.2 squirrel安装Window下：经过cmd进入window控制台，输入 java -jar squirrel-sql-3.8.1-standard.jar显示安装界面。出现安装界面以后，一直点击下一步下一步，直到最终执行完毕。点击Done，最原创 2022-05-10 10:08:23 · 804 阅读 · 0 评论 -
Dbeaver Phoenix 各种报错
Dbeaver 连接Phoenix 失败，各种报错：Unexpected driver error occurred while connecting to the databasejava.lang.RuntimeException:class org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback not org.apache.hadoop.security.GroupMappingServiceProviderER..原创 2022-04-13 10:50:41 · 8195 阅读 · 5 评论 -
Phoenix schema的 启用、操作、关闭
SCHEMA 的启用、操作、关闭1，启用 SCHEMA注意：Phoenix中将HBase的namespace叫做SCHEMA，相当于mysql中的库的概念。（1）默认Phoenix的自定义SCHEMA并没有开启，需要在HBase的hbase-site.xml中增加以下配置项，然后重启Hbase：<property> <name>phoenix.schema.isNamespaceMappingEnabled</nam...原创 2022-03-19 09:36:54 · 1809 阅读 · 0 评论 -
Unable to load configured region split policy ‘org.apache.phoenix.schema.MetaDataSplitPolicy‘ for
报错：Unexpected Error occurred attempting to open an SQL connection.class org.apache.hadoop.hbase.ipc.RemoteWithExtrasException: org.apache.hadoop.hbase.DoNotRetryIOException: Unable to load configured region split policy 'org.apache.phoenix.schema.Meta..原创 2021-08-17 16:31:44 · 1000 阅读 · 0 评论 -
phonenix jdbc 或者 HBase 中报错 java.lang.NoClassDefFoundError: com/google/protobuf/LiteralByteString
错误报告：org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.NoClassDefFoundError: com/google/protobuf/LiteralByteString错误原因：Protobuf（全称 Protocol Buffers）是 Google 开发的一种数据描述语言，能够将结构化数据序列化，可用于数据存储、通信协议等方面。在 HBase 里面用使用了 Protobuf 的类库。运行mvn dependency:t原创 2021-06-05 16:14:40 · 777 阅读 · 1 评论 -
phoenix创建表报错：ERROR 102 (08001): Malformed connection url
Error: ERROR 102 (08001): Malformed connection url. ERROR 102 (08001): ERROR 102 (08001): Malformed connection url. :jinghang02:2181,jinghang03:2181,jinghang04:2181:2181:/hbase; USER_STATUS2021SQLState: 08001ErrorCode: 102原创 2021-06-05 15:47:08 · 932 阅读 · 0 评论 -
HBase预分区方法
HBase预分1.（what）什么是预分区？HBase表在刚刚被创建时，只有1个分区（region），当一个region过大（达到hbase.hregion.max.filesize属性中定义的阈值，默认10GB）时，表将会进行split，分裂为2个分区。表在进行split的时候，会耗费大量的资源，频繁的分区对HBase的性能有巨大的影响。HBase提供了预分区功能，即用户可以在创建表的时候对表按照一定的规则分区。2.（why）预分区的目的是什么？减少由于region spli.原创 2020-10-25 16:50:23 · 1480 阅读 · 0 评论 -
ERROR [master/jinghang01:16000:becomeActiveMaster] master.HMaster: Failed to become active master
配置好hbase-site.xml ，启动hbase，查看日志出现问题。2020-10-12 17:01:36,126 INFO [master/jinghang01:16000:becomeActiveMaster] wal.ProcedureWALFile: Archiving hdfs://jinghang01:9000/hbase/MasterProcWALs/pv2-00000000000000000002.log to hdfs://jinghang01:9000/hbase/oldW..原创 2020-10-12 18:09:03 · 3697 阅读 · 17 评论 -
hadoop-3.3.0 hive-3.1.2 整合 hbase-2.2.4
一、下载匹配hadoop-3.x.y 版本的hive 3.1.2下载地址 ：http://mirror.bit.edu.cn/apache/hive/二、上传至安装目录 /home/apache-hive-3.1.2-bin.tar.gz解压：tar -zxvfapache-hive-3.1.2-bin.tar.gz 后重命名目录：/home/hive-3.1.2三、编辑/etc/profile 文件......if [ -n "${BASH_VERSION-}" ]...原创 2020-09-16 22:29:52 · 2120 阅读 · 0 评论 -
HBase 刷写与合并机制介绍
HBase 是目前主流的 NoSQL 数据库，是一个高可靠、高性能、高伸缩的分布式 KV 存储系统，本文讲解 HBase 两个核心机制——刷写（Flush）与合并（Compaction），重点介绍其原理及参数配置建议。1、为什么要进行刷写和合并HBase 是 Google BigTable 的开源实现，底层存储引擎是基于 LSM树（Log-Structured Merge Tree）数据...原创 2020-03-05 18:21:17 · 815 阅读 · 0 评论 -
HBase表 ：Rowkey设计
Rowkey设计HBase的rowkey设计可以说是使用HBase最为重要的事情，直接影响到HBase的性能，常见的RowKey的设计问题及对应访问为：Hotspotting的行由行键按字典顺序排序，这样的设计优化了扫描，允许存储相关的行或者那些将被一起读的邻近的行。然而，设计不好的行键是导致 hotspotting 的常见原因。当大量的客户端流量（ traffic ）被定向在集群上的...原创 2019-12-10 22:15:48 · 271 阅读 · 0 评论 -
HBase启用压缩
HBase启用压缩HBase 创建表时默认压缩为 NONE ，即没有压缩，除非指定。目前 HBase 主要支持 4 种压缩方式：GZ（GZIP），SNAPPY，LZO，LZ4。1. 压缩算法的比较算法 压缩比 压缩 解压 GZIP 13.4% 21MB/s 118MB/s LZO 20.5% 135MB/s 410...原创 2019-11-01 16:45:23 · 1957 阅读 · 0 评论 -
HBase优化
HBase优化1、高可用在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。关闭HBase集群（如果没有开启则跳过此步）$ bin/stop-hbase.sh在conf目录...原创 2019-11-01 14:47:09 · 166 阅读 · 0 评论 -
hbase性能优化
一、服务端调优1、参数配置 1）、hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存的scans）的时候，如果该值设置过大则会占用过多的内存，导致频繁的GC，或者出现OutOfMemory，因此该值不是越大越好。2）、hbase.hreg...原创 2019-06-29 22:19:04 · 218 阅读 · 0 评论 -
HBase 性能优化
AutoFlush通过调用HTable.setAutoFlushTo(false)方法可以将HTable写客户端自动flush关闭，这样可以批量写入数据到HBase，而不是有一条put就执行一次更新，只有当put填满客户端写缓存的时候，才会向HBase服务端发起写请求。默认情况下auto flush是开启的。WAL Flag在HBase中，客户端向集群中的RegionServer提交数据时...原创 2019-06-29 22:00:29 · 546 阅读 · 0 评论 -
HBase 2.0 新特性
HBase2.0做了那么多的改动，总有一些新特性值得我们去关注。这里做一个简单的介绍，后续会对某些特性做详细的介绍。A new Region assignment managerAssignmentManager V2("AMv2")基于Procedure V2实现，能够更快速的分配Region，维护的region状态机存储不再依赖于ZooKeeper，能够更好的应对Region长时间RI...原创 2019-06-29 21:52:08 · 1002 阅读 · 0 评论 -
大数据 HBase客户端 最佳实践
减少RPC调用的方法1.1.问题提出HBase中rowkey是索引，任何对全表的扫描或是统计都需要用到scan接口，一般都是通过next()方法获取数据。而每一个next()调用都会为每行数据生成一个单独的RPC请求，这样会产生大量的RPC请求，性能不会很好。1.2.解决思路如果执行一次RPC请求就可以获取多行数据，那肯定会大大提高系统的性能。这一块主要分为面向行级的缓存以及面向列...原创 2019-06-27 21:44:15 · 264 阅读 · 1 评论 -
Phoenix(云HBase SQL)核心功能原理及应用场景介绍
Phoenix是一个开源的HBase SQL层。它不仅可以使用标准的JDBC API替代HBase Client API创建表，插入和查询HBase，也支持二级索引、事物以及多种SQL层优化。此系列文章将会从Phoenix的语法和功能特性、相关工具、实践经验以及应用案例多方面从浅入深的阐述。希望对Phoenix入门、在做架构设计和技术选型的同学能有一些帮助。...原创 2019-06-16 21:08:48 · 1744 阅读 · 0 评论 -
HBase Rowkey 设计指南
HBase Rowkey 设计指南RowKey 到底是什么我们常说看一张 HBase 表设计的好不好，就看它的 RowKey 设计的好不好。可见 RowKey 在 HBase 中的地位。那么 RowKey 到底是什么？RowKey 的特点如下： 类似于 MySQL、Oracle中的主键，用于标示唯一的行； 完全是由用户指定的一串不重复的字符串； HBase 中的数...原创 2018-12-31 11:55:37 · 408 阅读 · 0 评论 -
hbase SQL 框架phoenix使用
1 简介 hbase 提供很方便的shell脚本以及java API等方式对Hbase进行操作，但是对于很对已经习惯了关系型数据库操作的开发来说，有一定的学习成本，如果可以像操作mysql等一样通过sql实现对Hbase的操作，那么很大程度降低了Hbase的使用成本。Apache Phoenix 组件就完成了这种需求，官方注解为 “Phoenix -we put the SQL back...原创 2018-12-30 11:36:18 · 619 阅读 · 0 评论 -
HBase之Rowkey设计总结及方舟实战篇
一、引言HBase由于其存储和读写的高性能，在OLAP即时分析中越来越发挥重要的作用，在易观精细化运营产品--易观方舟也有广泛的应用。作为Nosql数据库的一员，HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录)，Rowkey设计的优劣直接影响读写性能。HBase中的数据是按照Rowkey的ASCII字典顺序进行全局排序的,有伙伴可能对ASCII字典序印象不够深刻，...转载 2018-12-30 10:48:49 · 577 阅读 · 0 评论 -
HBase 优化
表的优化1.Pre-Creating Regions预分区 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个分区写数据，知道这个region分区足够大的时候才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照分区情况，在集群内做数据的负载均衡。2....原创 2018-11-29 19:46:53 · 227 阅读 · 0 评论 -
hive和hbase整合，Caused by: java.lang.ClassNotFoundException
Hive-1.2.1与HBase-1.1.2的整合这里的整合是指，将HBase作为存储数据的库，由Hive作为连接桥梁在Hive中创建表时，出现了FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescript...原创 2018-08-13 14:44:11 · 2753 阅读 · 0 评论 -
运行mapreduce 程序报错 NoSuchMethodException
把hbase数据导入到hdfs 在运行mapreduce 程序报错！！报错如下：Error: java.lang.RuntimeException: java.lang.NoSuchMethodException: com.hadoop3.hbaseapi.day03.Demo02_HbasseToHdfs$ToHdfsMapper.()at org.apache.hadoop.ut原创 2017-10-12 00:32:48 · 795 阅读 · 0 评论 -
HDFS上数据保存到Hbase运行报错：NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
把HDFS上数据保存到Hbase运行报错！！！！错误如下：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfigurationat com.hadoop3.hbaseapi.day03.Demo01_HdfsToHbase.main(Demo01_Hdfs...原创 2017-10-12 00:11:57 · 7893 阅读 · 0 评论 -
使用start-hbase.sh 启动服务 然后HMaster 和 HRegionServer 相继挂掉
在Hbase 环境搭建后 使用start-hbase.sh 启动服务 然后HMaster 和 HRegionServer 相继挂掉！！查看log日志 报错如下： HMaster log日志报错：2017-09-25 14:20:12,299 WARN [main] zookeeper.RecoverableZooKeeper: Possibly tra原创 2017-10-11 13:27:07 · 2077 阅读 · 0 评论 -
在 Xshell 中 使用 hbase shell 进入后 无法删除
在 Xshell 中 使用 hbase shell 进入后 无法删除 问题：在hbase shell下，误输入的指令不能使用backspace和delete删除，使用过的人都知道，这是有多坑，有多苦恼！ok 下面给出解决办法！ 很简单，一步到位！！原创 2017-09-03 23:21:15 · 6714 阅读 · 3 评论 -
执行HBase建表操作，每次创建表HRegionServer都会挂掉，而 HMaster还在！RetriesExhaustedException: Can't get the locations
在IDE 执行HBase建表操作，每次创建表HRegionServer都会挂掉，而 HMaster还在！报错如下：Exception in thread "main" org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:Sun Sep 03原创 2017-09-03 22:57:24 · 2283 阅读 · 0 评论 -
SLF4J: Class path contains multiple SLF4J bindings.
进入 hbase 后 列出所有的表，报了很多日志 如下：hbase(main):001:0> listTABLE SLF4J: Class path contains mul原创 2017-09-03 13:42:10 · 757 阅读 · 0 评论 -
Hbase 启动后 HMaster 很快就挂掉 TableExistsException: hbase:namespace
Hbase 启动后 HMaster 很快就挂掉 ！！！经查看 集群节点日志 报错如下：2017-09-01 00:19:23,256 FATAL [hadoop01:16020.activeMasterManager] master.HMaster: Failed to become active masterorg.apache.hadoop.hbase.TableExist原创 2017-09-01 00:42:53 · 743 阅读 · 0 评论