
hbase
文章平均质量分 83
莫尼莫尼
大数据小白练习生
展开
-
数据集成工具—DataX
DataXDataXDataX的安装及使用DataX的使用stream2stream编写配置文件stream2stream.json执行同步任务62执行结果mysql2mysql编写配置文件mysql2mysql.json执行同步任务mysql2hdfs编写配置文件mysql2hdfs.jsonhbase2mysqlmysql2hbasemysql2Phoenix在Phoenix中创建STUDENT表编写配置文件MySQLToPhoenix.jsonHDFSToHBase DataX DataX 是阿里巴原创 2021-12-08 11:10:53 · 1677 阅读 · 0 评论 -
HBase读写过程
HBase笔记HBase的特点 HBase的特点 大:一个表可以有上亿行,上百万列。 面向列:面向列族(簇)的存储和权限控制,列(簇)独立检索。 稀疏:对于为空(NULL)的列,并不占用存储空间,因此,表可以设计的非常稀疏。 无模式(no Schema):每一行都有一个可以排序的主键和任意多的列,列可以根据需要动态增 加,同一张表中不同的行可以有截然不同的列。 数据多版本:每个单元中的数据可以有多个版本,默认情况下,版本号自动分配, 版本号就是单元格插入时的时间戳。 数据类型单一:H原创 2021-12-06 22:20:35 · 104 阅读 · 0 评论 -
Hbase过滤器
hbasehbase过滤器过滤器的参数操作符六大比较过滤器插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 hbase过滤器 过滤器可以根据列簇、列、版本等更多条件进行过滤。 hbase三维有序(行键、列、版本有序) 过滤器的参数 使用过滤至少需要需要两类参数:一类是抽象的操作符,一类是比较原创 2021-12-06 22:15:15 · 738 阅读 · 0 评论 -
Phoenix二级索引
Phoenix Hbase适合存储大量的对关系运算要求低的NOSQL数据,受Hbase 设计上的限制不能直接使用原生的API执行在关系数据库中普遍使用的条件判断和聚合等操作。Hbase很优秀,一些团队寻求在Hbase之上提供一种更面向普通开发人员的操作方式,Apache Phoenix即是。 Phoenix 基于Hbase给面向业务的开发人员提供了以标准SQL的方式对Hbase进行查询操作,并支持标准SQL中大部分特性:条件运算,分组,分页,等高级查询语法。 文章目录Phoenix1、Phoenix原创 2021-12-05 21:04:04 · 121 阅读 · 0 评论 -
hbase参数调优
HBase参数调优 hbase.regionserver.handler.count 该设置决定了处理RPC的线程数量,默认值是10,通常可以调大,比如:150,当请求内容很大(上MB,比如大的put、使用缓存的scans)的时候,如果该值设置过大则会占用过多的内存,导致频繁的GC,或者出现OutOfMemory,因此该值不是越大越好。 hbase.hregion.max.filesize 配置region大小,默认是10G,region大小一般控制在几个G比较合适,可以在建表时规划好region数量原创 2021-12-05 15:37:07 · 3032 阅读 · 0 评论 -
Hbase调优—phoenix调优
hbase调优phoenix调优1.建立索引超时,查询超时2.预分区如何改变文本的样式如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 phoenix调优 1.建立索引超时,查询超时 修改配置文件,hbase-site.xml 两个位置 /usr/local/soft/phoenix-4.15.0/bin /usr/loc原创 2021-12-05 14:45:26 · 810 阅读 · 0 评论 -
hbase简介以及安装
HBaseHBase简介hbase数据模型hbase基本架构hbase安装环境依赖修改配置文件 HBase简介 hbase是高可靠性、高性能、面行列、可伸缩、实时读写的NoSql分布式数据库。 hbase主要存储非结构化/半结构化的松散数据 hbase数据模型 1.NameSpace 命名空间,每个命名空间下有多个表。hbase自带两个命名空间,分别为hbase与default。hbase中存放的是hbase内置的表,default表是用户默认使用的命名空间。 2. Region hbase自动把原创 2021-12-02 11:22:14 · 2040 阅读 · 0 评论