【大数据离线开发】7.1 HBase简介和体系结构

已于 2022-08-16 14:40:08 修改
阅读量587 收藏 1
点赞数 1
分类专栏： 大数据从入门到精通 文章标签： 大数据 hbase 数据库
于 2022-08-16 14:38:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_66345324/article/details/126365836
版权

7.1 NoSQL数据库简介

7.1.1 NoSQL的基础

什么是NoSQL数据库？

基于Key-Value来保存数据

一般来说，NoSQL不支持事务

关系型数据库：基于关系模型 —> 二维表

7.1.2 常见的NoSQL数据库
  1. HBase：基于HDFS、面向列的NoSQL数据库
    • 表 —> 目录
    • 数据—> 文件

什么是HBase？ HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

  1. Redis：基于内存的一个NoSQL数据库，支持持久化（RDB、AOF）

    • 前身：MemCached（不支持持久化）
    • Codis 是 Redis 分布式解决方案

  2. MongoDB：基于文档型（BSON文档，就是JSON的二进制）的NoSQL数据库

    • 举例：设计数据库，保存电影的信息
    • 从MongDB 4.0开始：支持事务
    • 支持：数据的分布式存储
      ​ MapReduce （是 JavaScript 程序）

在这里插入图片描述

  1. Cassandra：跟HBASE类似，是面向列的NoSQL数据库

7.1.3 HBase的表结构和体系结构

  • 复习Hadoop的生态体系
  • 复习Oracle表结构和HBASE的表结构
  • HBASE的体系结构

在这里插入图片描述

对应关系HBASEHDFS
表目录
数据文件（HFile，默认大小：128M）

在这里插入图片描述

在这里插入图片描述

如何构建高效的大数据数据服务体系？实战经验分享
AI天才研究院
05-11 819
随着企业数字化转型深入，数据已成为核心生产要素。构建高效的大数据数据服务体系，旨在解决数据孤岛、重复建设、服务响应慢等问题，实现数据价值的高效释放。本文覆盖从数据接入到服务输出的完整链路，包括架构设计原则、核心技术选型、实战部署经验及典型问题解决方案，适用于中大型企业数据中台建设和数据服务化改造项目。本文采用"理论架构→核心技术→实战落地→应用扩展"的逻辑，依次讲解数据服务体系的分层架构、核心技术原理、具体代码实现、项目实战案例及工具资源推荐，最后分析未来趋势与挑战。数据服务体系。
Hbase权限控制配置
qianchun22的博客
09-24 698
Hbase权限控制Hbase权限控制简介Hbase权限控制配置 转载来自：https://blog.csdn.net/shenliang1985/article/details/51420332 https://blog.csdn.net/jarth/article/details/52778207 Hbase权限控制简介 Hbase的权限控制是通过AccessController Coprocessor协处理器框架实现的，可实现对用户的RWXCA的权限控制。 Hbase权限控制配置 1、停止HBase运行
Hbase的基本sql使用
似水流年
03-21 8231
运用ambari安装phoenix,连接hbase,运用sql语句 数据存储在HBase中，通过SQL进行CRUD操作 创建test表 create table test( pk VARCHAR primary key, col1 VARCHAR null, col2 VARCHAR null, col3 VARCHAR null ); 创建SRC_TABLE表 create ta...
Hbase高手之路 -- 第七章 -- HBase和Hive（类sql）的整合
kc44601的博客
05-01 1940
1.hive远程模式安装 2.hive的启动 3.hive与hbase建立关联
hbase能够使用SQL的API神器--Phoenix
qq_41261170的博客
10-25 726
Hbase适合存储大量的对关系运算要求低的NOSQL数据，受Hbase 设计上的限制不能直接使用原生的PAI执行在关系数据库中普遍使用的条件判断和聚合等操作。Hbase很优秀，一些团队寻求在Hbase之上提供一种更面向普通开发人员的操作方式，Apache Phoenix即是。 Phoenix 基于Hbase给面向业务的开发人员提供了以标准SQL的方式对Hbase进行查询操作，并支持标准SQL中大部分特性:条件运算,分组，分页，等高级查询语法。 1、Phoenix搭建 Phoenix 4.15 HB.
hive Hbase sql
hyunbar的博客
10-24 256
Hive和HBase的区别 ​ hive是为了简化编写MapReduce程序而生的，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要hive这样的用戶编程接口。Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑，就是些表的定义等，也就是表的元数据。使用SQL实现Hive是因为SQL...
大数据开发面试
weixin_51698042的博客
10-28 501
大数据开发常用框架面试总结
大数据开发资源.docx
04-26
### 大数据开发资源知识点详解 #### 一、基础知识篇 **1.1 Linux基础** - **学习目标**：掌握基本的Linux操作系统命令，能够独立完成日常开发中的基本操作。 - **学习途径**：建议使用在线教程（如菜鸟教程）进行...
2024年最新大数据开发八股文总结——Hadoop_大数据八股文(1)，各种风格的大数据开发面试题进来了解一下
2401_84181942的博客
05-05 1199
MapReduce是一个分布式运算程序的编程框架，它的核心功能是将用户编写的业务逻辑代码和自带默认组件代码整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。MapReduce是一种分布式计算模型，它主要用于大规模数据的处理和分析。在MapReduce模型中,Map函数和Reduce函数都是非常重要的组成部分，它们分别在数据预处理和结果合并阶段发挥重要作用。Map函数一般用来对数据进行预处理。当MapReduce模型读取数据时, Map函数会对每个数据块进行处理。
大数据开发必须掌握哪些技术？
Hadoop环境搭建教程
01-05 1825
当学生问到如何学习大数据技术，每次口头介绍都心中清楚无法清晰讲清楚这些技术名词，简单整理给大家。 大数据开发的工具与语言：编程语言（Java，python，R语言等） 1、大数据离线处理架构Hadoop（基于JAVA）开源免费，懂JavaSE； 2、大数据实时计算的架构storm（基于JAVA）开源免费，懂JavaSE； 3、大数据内存计算Spark（基于Scala语言开发）基于JDK开发...
大数据-NoSQL数据库：HBase【基于Zookeeper/HDFS的分布式、高并发、可扩展的NoSQL数据库；支持“十亿行”ד百万列”海量数据的实时随机读写；仅支持单表查询；不擅长数据分析】
u013250861的博客
01-14 1403
HBase适合场景：单表超千万，上亿，且高并发！ HBase不适合场景：主要需求是数据分析，比如做报表。数据量规模不大，对实时性要求高！ HBase的查询工具有很多，如：Hive、Tez、Impala、Spark SQL、Kylin、Phoenix等。 一、HBase的安装 ①、保证安装Hive的Linux服务器的环境变量中有JAVA_HOME ②、基于HADOOP工作，保证安装Hive的Linux服务器的环境变量中有HADOOP_HOME 1、HBase解压与安装（在hadoop102服务器上） 在had
hbase的基本sql使用
热门推荐
鑫鑫23的博客
03-07 1万+
运用ambari安装phoenix,连接hbase,运用sql语句 数据存储在HBase中，通过SQL进行CRUD操作 创建test表 create table test( pk VARCHAR primary key, col1 VARCHAR null, col2 VARCHAR null, col3 VARCHAR null ); 创建SRC_TABLE表 cre...
HBase入门学习---安装与使用
向心行者
08-07 386
1、前言   HBase属于列式非关系型数据库（NoSQL），最早起源于Google发布的Bigtable，是由Powerset公司的Chad walters和Jim Kelleman在2006年末发起的。2007年7月，由Mike Cafarella提供代码，形成了一个基本可用的系统。 2、NoSQL   NoSQL=Not Only SQL，不仅仅是SQL。NoSQL是一个通用术语，即非关系型数据库，它不是以SQL作为其主要访问语言。NoSQL数据库共分为4类，分别是键值（Key-Value）存储数据库
【Docker】Docker安装RabbitMQ
啥都不会的小码农的博客
05-15 417
docker安装rabbitmq
rabbitmq
weixin_46520767的博客
05-14 979
你可以把这个队列想象成一个停车场，只不过这个停车场是先进先出的，先来的车停在前面。这里的 "阻塞" 的意思是，如果停车场是空的，想要从里面取车的车辆（后面的处理逻辑）会一直等待，直到有车开进来。想象一下这样的场景：用户创建了一个订单，但是过了一段时间（比如 15 秒）没有付款，我们希望自动取消这个订单。这个方法应该会执行实际的取消订单的逻辑，比如更新数据库中的订单状态等等。当 15 秒的延迟时间到了，Redisson 内部的机制会将之前放入延迟队列的订单 ID 取出来，并把它放回。这个队列中取出一个元素。
中小型培训机构都用什么教务管理系统？
weixin_58725274的博客
05-15 974
在教育培训行业快速发展的今天，中小型培训机构面临着学员管理复杂、课程体系多样化、教学效果难以量化等挑战。一个高效的教务管理系统已成为机构运营的核心支撑。本文将深入分析当前市场上适用于中小型培训机构的教务管理系统，重点介绍这一专业解决方案，并从技术角度解析其核心功能与实现逻辑。我们将探讨教务管理系统的关键需求、主流产品对比、爱耕云的技术架构与代码实现，以及如何选择适合自身机构的系统，为培训机构管理者提供全面的决策参考。
2025-05-15 代码人生 - 精选文章周刊
jobleap.cn求职助手首页
05-16 935
在技术日新月异的时代，前沿工具、开源项目、系统架构以及开发实践正以前所未有的速度发展。如果你是一名软件开发者、架构师、AI 工程师，或是想提升开发效率和系统性能的技术从业者，那么掌握这些最新技术趋势、实用框架与工程实践将为你带来显著收益。 本期周刊精选了涵盖 AI 应用、系统性能优化、云平台构建、数据工程、前端开发 等多个方向的高质量文章。我们依据内容主题进行分类，并辅以简明导语，让你能够按需查阅、轻松复用，快速定位你最关心的技术点。
ElasticSearch 8.x新特性面试题
最新发布
真实的菜的博客
05-17 1097
原理理解🧠Async Search、Bulk 异步化等机制实战能力💪错误处理性能调优架构设计API 熟练度🛠️Java 客户端的使用（如延伸问题“如何监控异步任务的资源占用？”（答案：通过和_tasksAPI）“异步写入如何避免数据丢失？”（答案：结合Translog和flush机制）
【Hadoop】伪分布式安装
微信公众号: 后端码匠
05-15 721
Hadoop伪分布式安装是一种在单台机器上模拟多节点集群环境的部署方式，适用于学习、开发和测试Hadoop核心功能。与本地模式不同，伪分布式模式使用HDFS和YARN，但所有服务集中在单机上。安装步骤包括创建专用用户、安装JDK、配置SSH免密登录、下载并解压Hadoop、配置环境变量以及修改Hadoop的核心配置文件（如core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml）。通过这些步骤，用户可以在单机上模拟分布式集群的行为，进行Hadoop的
大数据及云计算领域HBase理论电子书合集
HBase适用于处理大量非结构化和半结构化的稀疏数据。它的设计目标是能够处理非常庞大的表，即使是在普通的硬件上也能提供高吞吐量的数据访问。HBase支持随机访问、高度一致性的读写操作，并且提供了自动的故障转移和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值