Hbase篇--HBase中一对多和多对多的表设计

走向云计算之HBase模式设计及表设计案例 一、概述 HBase有以下几个特点: HBase列的可以动态增加,并且列为空就不存储数据,节省存储空间. hbase自动切分数据,使得数据存储自动具有水平scalability. Hbase可以提供高并发读写操作的支持。 HBase不能支持条件查询,只支持按照Row key来查询. 暂时不能支持Master server的故障切换,当Master宕机后,整个存储系统就会挂掉. 因为HBa 阅读详情

一.前述

今天分享一篇关于HBase的一对多和多对多的案例的分析。

二.具体案例

案例一.多对多

   人员-角色
  人员有多个角色  角色优先级
  角色有多个人员
  人员 删除添加角色
  角色 可以添加删除人员
  人员 角色 删除添加
 

PS:说明,两张表User表和Role表, User表中定义两个列族,第一个列族是名字,第二个列族中  多个列定义为具体的角色,列的内容定义为具体的值,即优先级(这里利用了列也能存信息,所以把角色Id定义为具体的列,值越大代表优先级越高)

案例二.一对多

组织架构 部门-子部门
  查询 顶级部门
  查询 每个部门的所有子部门
  部门 添加、删除子部门
  部门 添加、删除

PS:解释 一个表 rowkey中0代表顶级部门  1代表非顶级部门  因为顶级部门不是经常查  列族的列是具体的子部门列表。值是具体的名称。

案例三.

3、微博
添加关注
查看粉丝列表
发布微博
查看某个用户所有的微博  排序:时间降序排序
查看首页  时间降序排序


001小明       关注  韩梅梅、李雷
002李雷       关注  韩梅梅
003韩梅梅


关注粉丝表
rowkey         CF1 - 关注列表       CF2 - 粉丝列表
pid

小明   001     CF1:003=韩梅梅;CF1:002=李雷;
李雷   002     CF1:003=韩梅梅;         CF2:001=小明;
韩梅梅 003                             CF2:001=小明;CF2:002=李雷;


微博表
rowkey           cf
wid            cf:content=微博内容;

wid设计:
pid_(Max-timestamp)


收取微博表
rowkey    cf (maxversion=1000)
pid          cf:sq=wid;

 

 

 

 

 

 

Hbase 建表高级属性及表设计 Hbase 建表高级属性及表设计1、建表高级属性1.1、BLOOMFILTER(布隆过滤)1.2、VERSIONS(版本)1.3、COMPRESSION(压缩)1.4、TTL(列簇数据存活时间戳)1.5、alter(修改)1.6、describe/desc1.7、disable_all/enable_all1.8、drop_all1.9、hbase 预分区2、表设计2.1、列簇设计2.2、RowKey 设计2.2.1、Rowkey 设计三原则2.2.1.1、rowkey 长度原则2.2.1.2、rowkey 阅读详情

相关推荐

大数据之Hbase(五):HBase表设计、特点及需要考虑的问题、HBase表设计案例: 社交应用互粉信息表

文章目录5.5 HBase表设计1 HBase表设计特点及需要考虑的问题2 HBase表设计案例: 社交应用互粉信息表 5.5 HBase表设计 1 HBase表设计特点及需要考虑的问题 设计HBase表时需要注意的特点 HBase中表的索引是通过rowkey实现的 在表中是通过Row key的字典顺序来对数据进行排序的, 表中Region的划分通过起始Rowkey和结束Rowkey来决定的 ...

汪雯琦的博客 1083

HBase的架构原理、读写过程、表结构、行存储和(HBase)列存储、应用场景、扩容(增加节点

Hbase能做什么? 1、海量数据的存储(P级别) 2、海量数据的查询(毫秒级) 一个表:30字段,60亿条数据 根据rowkey查询:1k条,几十毫秒,2w条数据,几百毫秒。 1、Master 负责管理HBase元数据,即表的结构、表存储的Region等元信息(-ROOT-表和.META.表是hbase的元数据表)。 负责表的创建,删除和修改(因为这些操作会导致HBase元数据的...

. 2004

大数据处理中HBase的表设计最佳实践

对表设计极度敏感。如果把HBase比作一个超级仓库,表设计就是仓库的"货架布局图"——布局合理,工人(查询请求)能快速找到货物(数据);布局混乱,即使仓库再大,找东西也像大海捞针。用通俗易懂的语言,带读者从0到1掌握HBase表设计的核心原则和最佳实践,包括RowKey设计、列族划分、Region分区、版本控制等关键环节,同时规避热点写入/查询、数据倾斜等经典问题。

大数据洞察的博客 1840

Hbase中表结构的设计

Hbase表设计

qq_37400096的博客 2272

HBase多表关联查找资料

HBase建表关联关系,通过hive和其他的组件,关联数据表查询,将关系型数据库的数据表在分布式集群下的重建。

HAL库硬件SPI驱动ST7735 TFT屏幕:从零实现高效刷屏与图形绘制

本文详细介绍了如何使用STM32的HAL库硬件SPI驱动ST7735 TFT屏幕,从硬件连接到SPI配置优化,再到图形绘制与文本显示的实现。重点分享了DMA传输、局部刷新等高级优化技巧,显著提升刷屏效率,帮助开发者快速掌握屏幕驱动技术并应用于实际项目。

pink的博客 741

使用Hibernate储存一对多对象关系

生活中的对象实体之间往往存在关系,有一对一、一对多、多对多的关系,比如一个课程班级里有多个学生就是一对多的关系。在数据库中可以通过给学生表添加外键指向班级id的方式来表示学生包含多个学生的关系,对应的在Java中,可以创建Course、Student两个类来表示班级和学生,那么如何建立二者之间的关系呢? 如下所示为数据库中的courses表和students表 一对多映射 第一种...

theVicTory的博客 888

Palabos 并行计算与多物理场模拟实战指南

本文详细介绍了Palabos在并行计算与多物理场模拟中的实战应用。作为基于C++和LBM的开源CFD工具,Palabos通过MPI实现高效并行计算,特别适合处理复杂流体模拟问题。文章涵盖从基础安装、多物理场耦合技巧到性能优化策略,并分享工业级应用案例与调试经验,帮助开发者快速掌握这一强大工具。

4k5l6j7h8的博客 247

HBASE部分:HBASE中的表设计

HBase中表的设计 主要是将原来的关系解开 问题: 例子: 表设计一:  表设计二:  这是一个双向查询,根据人员查角色,根据角色查人员  问题: 0为顶级部门,1为子部门 放到一张表中不会对效率产生影响,因为HBASE是海量存储,海量读写的。  Redis是一个内存数据库,新浪微博是使用Redis用的最好的一家公司 Redis可以持久化到本地,可以...

wyqwilliam的博客 4709

本地大模型部署实战:LM Studio与Ollama的易用性与性能深度评测

本文对两款主流本地大模型部署工具LM Studio和Ollama进行了深度评测。LM Studio凭借图形化界面和内置模型库,为新手提供了开箱即用的便捷体验,并支持OpenAI兼容API,易于生态集成。Ollama则以命令行驱动,轻量高效,凭借其原生API和Modelfile自定义能力,在自动化集成和性能方面表现突出。文章从易用性、模型生态、性能及扩展性多维度对比,帮助用户根据自身技术背景和使用场景做出最佳选择。

weixin_29039773的博客 532

什么!!!寒假就要准备暑期实习

介绍暑期实习,从作用,时间线,投递渠道,技术准备,常见问题,经验教训几个方面介绍暑期实习

今天不coding的博客 1726

Hbase 表设计

首先要写一个表。

weixin_60343465的博客 1729

SPICE模型入门到精通

文章目录前言一、SPICE是什么?二、1. 前言 由于笔者的毕业设计与功率半导体器件建模相关,需要用到SPICE软件来建模,在这记录一下从零开始的SPICE学习历程~ 一、SPICE是什么? 电子产品的设计一般先从功能框图开始,然后细化到原理图,还要经过很调试验证过程,最终才能完成。调试和验证的过程复杂而繁琐,在设计集成电路时更是如此,在制造之前急需验证集成电路的功能。 根据电路理论,人们可以建立起节点方程和回路方程,通过解这些方程组成的方程组就可以得到结果,也就是说可以通过计算来获得电路的工作情况。但

qq_42031914的博客 7万+

【Hbase学习之四】Hbase表设计案例

环境  虚拟机:VMware 10   Linux版本:CentOS-6.5-x86_64   客户端:Xshell4  FTP:Xftp4  jdk8  hadoop-2.6.5  hbase-0.98.12.1-hadoop2 HBase中表的设计 主要是将原来的关系解开 问题: 例子: 表设计一: 表设计二: 这是一个双向查询,根据人员查角色,根据角...

weixin_30730053的博客 217

YOLOv8 置信度阈值 (conf) 和 IoU 阈值 (iou) 详解:如何平衡漏检与误检?

摘要 本文深入探讨了YOLOv8目标检测模型中两个关键参数——置信度阈值(conf)和IoU阈值(iou)的核心作用。文章从目标检测的基础概念出发,解释了置信度分数反映模型预测可靠性,IoU衡量预测框重叠程度。重点剖析了非极大值抑制(NMS)机制如何通过这两个阈值进行预测框筛选:置信度阈值作为初筛门槛,IoU阈值决定重叠框的取舍。通过生动比喻和可视化图表,阐述了合理调节这两个参数能有效平衡误检与漏检问题,是优化YOLOv8模型实际表现的重要技巧。全文以实践为导向,帮助开发者掌握成为"调参大师&qu

深耕 Vue 生态与 JS/TS 技术,聚焦组件封装、响应式原理、TS 类型设计,解析工程化配置与性能优化方案。同时分享 YOLOv8 目标检测实战、AI 大模型面试核心考点,以代码实例拆解技术实现与业务解法。 1260

剪映自动化工具来了:AI帮你自动剪辑成片

🎬分享一个剪映自动化剪辑工具!AI 自动帮你完成从写文案、配音、加字幕、选音乐、上特效到最终导出的整套流程🎈

XiaoqiangClub的博客 861

Hbase实战处理(一)关于hbase的表设计和集成

hbase集群的HA配置(假如有3台机器(同时是regionserver角色),master、slaver1、slaver2)stop-hbase.sh cd /home/hadoop-twq/bigdata/hbase-1.2.6/conf vi backup-masters 在master机器上文件增加如下的记录:slave1 ---backup master的节点ip---把backup的信息同步给其余的slave。jps验证访问: http://slave1:16010。

sheep8521的博客 1769

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

HBase与MapReduce整合及HBase表设计深度解析

输入格式Table,输出格式Table。Scan巧配置,Filter减负担。Map清洗,Reduce聚合,结果写回表。

IT技术学习与工作笔记分享 999

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

order by 临时表没有效果_Hbase表设计原理

Hbase 表设计HBase与RDBMS的区别在于:HBase的Cell(每条数据记录中的数据项)是具有版本描述的(versioned),行是有序的,列(qualifier)在所属列簇(Column families)存在的情况下,由客户端自由添加。以下的几个因素是Hbase Schema设计需要考虑的问题:1、 Hbase中没有joins的概念大表的结构可以使得不需要joins,而解决这一问题。...

weixin_39739170的博客 239

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Hbase表设计

典型的数据库一对一,一对多,多对多映射以及二级索引如何组织

everlasting_188-java从业者 678

一文详解HBase表设计原则和实现

前言 HBase作为一款历史悠久且具有代表性的NOSQL的数据库,其优点与缺点同样的明显,所以在确认了使用场景适合后下一步就是如何用好HBase了,不夸张的说,HBase使用的好与坏可能会造成天差地别,所以当你抱怨HBase如何的差劲不如XXX的时候,一定要先确认下自己是不是真的很好的使用了HBase,让其充分发挥出自己的亮点 正文 想要用好HBase,首先要确认自己的业务场景是不是适合使用HBase,这个我在另外一篇博文中已经有所描述HBase的使用场景,大家可以参考...

microGP的专栏 2377
上一篇: Nginx篇--解读nginx配置
下一篇: 【Kafka专栏】-Kafka从初始到搭建到应用
L先生AI课堂
L先生AI课堂 领域专家: 大数据技术领域 领域专家: 大数据技术领域
博客等级 码龄9年 678粉丝 216原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

L先生AI课堂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值