Hbase相关学习资料和建表规则

Java连接hbase 在hbase中添加测试数据 见《实验3-HBase安装及配置》的5、Hbase的基本使用 添加一张student表 修改配置文件 登录centos,用hadoop用户登录 ①修改hadoop核心配置 sudo vi /usr/local/hadoop/etc/hadoop/core-site.xml 结果如下 IP地址要根据自己的情况改成自己的centos系统IP地址。 保存退出(esc键,输入:wq) ②修改hbase核心配置文件hbase-site.xml sudo vi /usr/local/hba 阅读详情

https://zhuanlan.zhihu.com/p/145551967?utm_source=wechat_session hbase详细介绍
https://blog.youkuaiyun.com/whdxjbw/article/details/81101200 hbase简介
https://wenku.baidu.com/view/0557c682cc7931b765ce15c4.html hbase查询命令
https://www.cnblogs.com/zzpblogs/p/10683356.html hbase插入数据命令

put 'cupid_dmxfeat_jd_model_shop_data_s_d_bank','0e74f82_101009','f:pin','101009'

put 'cupid_dmxfeat_jd_model_shop_data_s_d_bank','0e74f82_101009','f:dt','2020-06-15'

put 'cupid_dmxfeat_jd_model_shop_data_s_d_bank','0e74f82_101009','f:data','20191217104330214114337362:113.9461:22.49881:440300:10120191211140944054119810092,20191217104330234808823987:114.0112:22.60045:440300:10120191211140944054119810092,20191217104330381565157469:114.1274:22.54749:440300:10120191211140944054119810092,20191217104330497577134122:113.9458:22.53038:440300:10120191211140944054119810092'

https://www.cnblogs.com/cxzdy/p/5583239.htmlHBase 常用Shell命令
https://blog.youkuaiyun.com/qq_38025219/article/details/88030899 hbase压缩减少存储空间

hbase建表优化如下:
1、分区

1W 以下的不分区

可以如下执行:

create 'xxxxx', 'f'

1000-100W可以如下执行:

create 'xxxxx', 'f', SPLITS => ['19','33','4d','67','81','9b','b5','cf','e9']



100W -1000W可以如下执行:

create 'xxxxx', 'f', SPLITS => ['0c','19','26','33','40','4d','5a','67','74','81','8e','9b','a8','b5','c2','cf','dc','e9','f6']



千万级到亿可以如下执行,

create 'xxxxx', 'f', SPLITS => ['07','0f','17','1f','27','2f','37','3f','47','4f','57','5f','67','6f','77','7f','87','8f','97','9f','a7','af','b7','bf','c7','cf','d7','df','e7','ef','f7','ff']



1亿到10亿可以如下执行:

试用 create 'xxxxx', 'f', SPLITS => ['07','0f','17','1f','27','2f','37','3f','47','4f','57','5f','67','6f','77','7f','87','8f','97','9f','a7','af','b7','bf','c7','cf','d7','df','e7','ef','f7','ff']



后续用create 'xxxxx', 'f', SPLITS => ['05','0b','11','17','1d','23','29','2f','35','3b','41','47','4d','53','59','5f','65','6b','71','77','7d','83','89','8f','95','9b','a1','a7','ad','b3','b9','bf','c5','cb','d1','d7','dd','e3','e9','ef','f5','fb']

十亿以上

create 'xxxxx', 'f', SPLITS => ['04','09','0e','13','18','1d','22','27','2c','31','36','3b','40','45','4a','4f','54','59','5e','63','68','6d','72','77','7c','81','86','8b','90','95','9a','9f','a4','a9','ae','b3','b8','bd','c2','c7','cc','d1','d6','db','e0','e5','ea','ef','f4','f9','fe']


2、针对大表建议设置表的有效期,如设置7天,从插入数据开始算时,7天内如果没有更新,则被删除。

alter ‘cupid_dmcqm_lhmx_app_jr_cms_recmd_rslt_weight_pin_2q_a_d’, {NAME => ‘f’, TTL => ‘604800’}

3、新表创建必须增加压缩

disable ‘xx’

alter ‘xx’, {NAME => ‘f’, COMPRESSION => ‘LZ4’}

enable ‘xx’

如何提升hbase吞吐量:
1、hbase建表要按照实际数据量进行分区
2、建表时要设置压缩
3、写会影响读的性能,所以可以考虑用bulkload技术
https://blog.youkuaiyun.com/CHANGGUOLONG/article/details/90767187?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1&utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1

【项目实战-MATLAB】:基于机器学习的虹膜识别系统设计 虹膜识别主要包括虹膜定位、虹膜裁剪、极坐标变换、归一化、HOG特征提取、虹膜识别六个主要步骤。本系统采用MATLAB作为开发工具实现 主要算法:霍夫变换预处理 HOG特征提取 SVM进行识别 阅读详情

相关推荐

redhawk-sc使用简介

数据完整性对结果的准确性有很大影响,所以一定要保证数据完整性,Redhawk-sc在跑完后,Report里有Data Integrity界面,在这个界面会看到设计数据和库文件的数据完整性,在相应的报告中会有没有覆盖到的数据情况,要对每一项仔细检查,保证输入数据没有问题。文件一般加密,用户唯一需要选择的是文件的corner。其中,cell lef除了常规的standard cell,还有如DTCD,BTSV和clamp等cell的lef,不可缺失,否则data integrity将不是100%。

weixin_48518726的博客 3134

初学Hbase之设计规范

Hbase设计规范 一. 表设计 预分区 默认情况下,在创建hbase表的时候会自动创建一个分区,当写入数据时,所有hbase的客户端都向这一个分区region内写入数据,直到这个region足够大时才进行切分。 此时会产生两个问题: 数据往一个region写,会有热点问题; Region切分会使server有一段时间的停顿,并消耗大量资源。 在建表时一开始就预建好了一部分region,这些region都维护着自已的start-end keys,再配合上随机散列,写数据能均等地命中这些预建的region,

qq_27990381的博客 690

机器人路径规划:基于冠豪猪优化算法(Crested Porcupine Optimizer,CPO)的机器人路径规划(提供MATLAB代码)

移动机器人(Mobile robot,MR)的路径规划是 移动机器人研究的重要分支之,是对其进行控制的基础。根据环境信息的已知程度不同,路径规划分为基于环境信息已知的全局路径规划和基于环境信息未知或局部已知的局部路径规划。随着科技的快速发展以及机器人的大量应用,人们对机器人的要求也越来越高,尤其表现在对机器人的智能化方面的要求,而机器人自主路径规划是实现机器人智能化的重要步骤,路径规划是指规划机器人从起点位置出发,无碰撞、安全到达指定目标位置的最优路径。

IT猿手 1365

Hadoop之Hbase建表(详细步骤)

1、启动HDFS和HBase cd /home/ZQ/hadoop-2.7.6/sbin start-dfs.sh cd /home/ZQ/hbase-1.4.13/bin/ start-hbase.sh 2、进入hbase shell cd hbase shell 3、创建表 create 'StudentAndCourse','student','course1','course2','course3' 4、插入数据 ①新增学号为2015001.

大数据 3万+

ComfyUI+minimaxh3本地部署:漫剧分镜批量生成工作流全实操

视频生成模型正从云端API向本地化部署迁移,背后的技术逻辑是将扩散模型的文本编码、潜空间采样、VAE解码等阶段拆分为可编排的独立环节。ComfyUI作为节点化管线工具,恰好能以可视化连线方式管理这些阶段,让生成过程可控、可复用、可批量执行。minimaxh3模型支持本地推理,配合LoRA微调与参数优化,能够在保证角色一致性的前提下,从分镜脚本批量产出连续剧情片段,规避云端排队、成本高、素材不可控等工程问题。这套工作流广泛应用于漫剧、短剧和动态条漫的工业化生产,尤其适合需要高频迭代分镜草稿的内容团队。文本以零

weixin_29057065的博客 363

二、ROS2完成Docker容器和宿主机通信,使用ros2 topic list看到,但是无法echo

如果容器和主机权限不一致,则会导致无法通信(我的代码中,docker容器是root,宿主机是普通用户),虽然可以查询到相关话题,但是订阅后没有消息输出。比如,docker容器创建了一个共享内存,其所有者为docker容器用户root,当宿主机去访问的时候,由于用户不同,没有权限访问,也就无法进行信息传递。该方法只是临时修改共享内存的权限,每次运行完,需要重新运行上述命令,才可以进行通信。在运行的过程中,ROS2使用了共享内存机制,会共享内存。运行之后,宿主机和容器可能用户名不同,这是因为。

qq_43280851的博客 1265

Hbase表结构设计

hbase模式结构 Hbase的模式结构包括表、RowKey、列族、Timestamp(时间版本)。其实模式是一个三维有序结构,前面三个维度确定一行数据。

knowfarhhy 5988

(篇八)C语言在母串删子串、输入位置截取子串

文章目录一、字符串二、删除指定的字符三、从母串中截取子串四、输入位置截取子串 本篇主要介绍C语言字符串中的相关操作,然后分析两个C语言实例——在母串中指定删除子串、在母串中截取子串 一、字符串 了解C 语言的都知道,C语言中没有字符串类型,所以C语言是用字符串常量、字符指针、字符数组来表示字符串。这些字符串都是以 NULL、’\0’或者ASCII==0来结尾。说白了就是一个个字符组成一串有序序列,...

Viewinfinitely的博客 1509

大数据面试题

1、MR与Spark的区别 hadoop中的一个任务称为job,一个job分为map task和reduce task 每个task都是在自己的进程中运行的,当task 运行结束以后,进程也会结束 spark的一个任务叫做application,一个application中有多个job,每触发一次action操作就会产生一个job,这些job可以并行也可以串行计算,每个job中有多个stage,stage是shuffle过程中DAGScheduler通过RDD之间的依赖关系划分job而来的,每个stage

百看不如一RUN 428

一文搞懂LDO !

Start-up 时间是 IC 做死的,如果想要延时启动,最简单的办法是在 EN 上接一个大一些的电容到地,构成一个简单的 RC 电路。电容太小,电压跌落大,响应快。输出电流高,功率大;外围器件少,电路简单,成本低,负载响应快,输出纹波小;将采集的电压输入到比较器反向输入端,与正向输入端的基准电压(期望输出的电压)进行比较,再将比较结果进行放大;是指在给定负载变化下的输出电压的变化,这里的负载变化通常是从无负载到满负载。芯片的静态电流大小与其他性能成反关系,如低噪声,高电源电压抑制比,静态电流大。

weixin_46969363的博客 4382

OpenFeign整合Sentinel实现熔断降级

常用于实现熔断降级的框架有Hystrix、Sentinel,我们常说的Spring Cloud项目说的其实是Spring Cloud Netflix,Hystrix以及前面学习过的Ribbon都是Netflix系的家族成员,所以使用Hystrix可以非常简单的与当前项目中使用到的OpenFeign、Ribbon整合,但笔者并没有选择Hystrix,而是选择阿里系的Sentinel。 为什么选择Sentinel而不是Hystrix?从接入简单考虑可能选择Hystrix是不错的选择,但笔者对Hyst...

吴就业 6718

HBase 注意事项

HBase 注意事项和易错知识点

timchen525的专栏 1370

HTML金色流星雨(完整代码)

HTML实现金色流星雨动态效果的完整代码。

AIGC 992

hbase建表语句_HBase内部探险数据模型

点击关注上方“知了小巷”,设为“置顶或星标”,第一时间送达干货。#> 数据模型HBase数据模型的核心概念Namespace(表命名空间):表命名空间不是强制的,默认是default。当想把多个表分到一个组去统一管理的时候才会用到表命名空间。类似传统关系型数据库中的数据库database或schema。Table(表):一个表由一个或者多个列族组成。它有一些数据属性,比如超时时间(...

weixin_39908070的博客 682

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Hbase Meta表基本介绍

Hbase有一个叫做Meta的特殊的目录表,用于保存集群中regions的位置信息(region列表)。ZooKeeper存储着Meta表的位置。 Hbase Meta结构如下: 具体含义: rowKey:([table],[region start key],[region id]) column family:info column:regioninfo、server、se...

JY_He的博客 7851

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

头歌HBase 性能优化:优化拆分和合并

平台的终端界面和学员本机的 linux 环境无异,在进入该终端界面输入集群开启命令之前请先输入。手动指定的拆分点为:['1000','2000','3000','4000','5000'];)按要求完成 HBase 中表的优化拆分和合并的操作并进入。请根据左侧知识点的描述,在右侧图形化界面中的终端中使用。进入 web 界面找到 Tables,点击表名进入。进入 hbase 的配置文件目录下修改配置文件。进入 Hadoop 的配置文件目录下。使环境生效,就可以开始操作啦。

m0_73285954的博客 884

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

使用hive连接hbase

前提说明:一个hive表指向一个hbase表,一对一,不能多对一; 但一个hbase表可以对应多个hive表; 建立外部表 CREATE EXTERNAL TABLE test_hbase( key string, mid string, gender string, ct string, cy string, pr string, city string ) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SE

youngflyer的博客 1099

hbase和phoenix相关操作

因此,当在 Phoenix 中执行删除表操作时,不仅会删除 Phoenix 元数据中关于该表的定义,还会删除 HBase 中实际存储该表数据的 HBase 表。在Apache Phoenix中,直接修改字段名称的功能是受限的,因为Phoenix构建在HBase之上,而HBase不直接支持修改列名。三.phoenix与hbase的映射,只能映射hbase default空间下的表,且表名需要保持一致。当你通过 Apache Phoenix 删除一个表时,它会连同 HBase 中的对应表一起删除。

码不停歇的博客 521

hbase相关

文章目录hbase1.结构化数据和非结构化数据、半结构化数据的区别2.hbase操作3.rowkey设计原则3.1 Rowkey的唯一原则3.2 Rowkey的排序原则3.3 Rowkey的散列原则4. Rowkey的长度原则 hbase 1.结构化数据和非结构化数据、半结构化数据的区别 计算机信息化系统中的数据分为结构化数据和非结构化数据、半结构化数据。 结构化数据,是指由二维表结构来逻辑表达和实现的数据,严格地遵循数据格式与长度规范,主要通过关系型数据库进行存储和管理。 也称作行数据,一般特点是:数据以

qq_38670470的博客 501

分布式NoSQL列存储数据库Hbase_MR集成Hbase:读写Hbase规则(九)

文章目录分布式NoSQL列存储数据库Hbase(九)知识点01:课程回顾知识点02:课程目标知识点03:MR集成Hbase:读Hbase规则知识点04:MR集成Hbase:读Hbase实现知识点05:MR集成Hbase:写Hbase规则知识点06:MR集成Hbase:写Hbase实现知识点07:BulkLoad的介绍知识点08:BulkLoad的实现知识点09:ImportTSV的使用知识点10:协处理器的介绍知识点11:协处理器的实现知识点12:Hbase优化:内存分配知识点13:Hbase优化:压缩机制

Maynor的博客 5875

hbase 相关

----------------------------------------hbase的 安装----------------------------------------本地安装:1 解压文件夹。2 修改 conf/hbase-site.xml,配置 数据文件夹  <property>登录后复制...

weixin_42310267的博客 155

HBase Web UI

HBase 简介 Apache HBase™ is the Hadoop database, a distributed, scalable, big data store. 应用场景(Use Case): -存储大数据billions of rows X millions of columns (TB/PB) -实时-随机读取以及写入real-time random write/re...

tianyeshiye 8073

HBASE相关

--------------------------------------------------------------------------------- hbase是以rowkey,column,timestamp这三个维度来区分的。 即如果两条记录其rowkey,column,timestamp一样的话,那么hbase就会认为其是相同的数据。 Java代码 ...

阿正的博客 196

和hbase映射_HBase内部探险数据模型

点击关注上方“知了小巷”,设为“置顶或星标”,第一时间送达干货。#> 数据模型HBase数据模型的核心概念Namespace(表命名空间):表命名空间不是强制的,默认是default。当想把多个表分到一个组去统一管理的时候才会用到表命名空间。类似传统关系型数据库中的数据库database或schema。Table(表):一个表由一个或者多个列族组成。它有一些数据属性,比如超时时间(...

weixin_42342882的博客 120

HBase数据库相关基本知识

HBase数据库相关知识 1、 HBase相关概念模型 l 表(table),与关系型数据库一样就是有行和列的表 l 行(row),在表里数据按行存储、行由行键(rowkey)唯一标识,没有数据类型统一为byte[]数组 l 列族(column family),行里的数据按列族分组String类型,每个表必须至少有一个列族 l 列限定符(column qualifier...

dianhe7741的博客 146

如何防止 Hbase 一次写入数据过多导致的各种问题(建表预分区、集群 regionserver 优化)

目录 表级 根据 rowkey 的规则进行建表预分区 集群级 首先我们简单回顾下整个写入流程 当写入过快时会遇见什么问题? 如何避免RS OOM? 表级 根据 rowkey 的规则进行建表预分区 详情见:使用 Hbase Shell 命令创建预分区表(hbase预分区) 集群级 首先我们简单回顾下整个写入流程 client api ==> RPC ==> s...

主要写大数据集群一线运维和学习工作经验 1766
上一篇: 在linux上搭建hbase集群
下一篇: Mac中安装Thrift和使用
程序猿-日记本
博客等级 码龄10年 204粉丝 55原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值