Maynor的博客

分布式NoSQL列存储数据库Hbase（一）知识点01：课程回顾离线项目为例数据生成：用户访问咨询数据、意向用户报名信息、考勤信息数据采集Flume：实时数据采集：采集文件或者网络端口Sqoop：离线数据同步：采集数据库的数据数据存储HDFS：分布式离线文件存储系统Hive：离线数据仓库将HDFS上的文件映射成了表的结构，让用户可以通过数据库和表的形式来管理大数据数据计算MapReduce+YARN：分布式离线数据计算Hive：通过SQL进行分布式计算

Hbase的介绍Hbase的设计概念数据库：Namespace表：Table任何一张表，都属于某个NS在访问表时，除了default的Namespace中的表，其他所有Namespace的表在使用时，必须加上NS名称表：分布式表行：Rowkey列：column family : column，唯一标识一列支持多版本：一列中可以存储多个版本的值，通过时间戳来区分，列族级别的属性Hbase架构组成。

文章目录分布式NoSQL列存储数据库Hbase（三）知识点01：课程回顾知识点02：课程目标知识点03：Java API：DML：Table知识点04：Java API：DML：Put知识点05：Java API：DML：Get知识点06：Java API：DML：Delete知识点07：Java API：DML：Scan知识点08：Java API：DML：Filter知识点09：存储设计：存储架构知识点10：存储设计：Table、Region、RegionServer的关系知识点11：存储设计：Regi

分布式NoSQL列存储数据库Hbase（四）知识点01：课程回顾Hbase Java API DMLDML实现规则step1：构建连接，客户端连接服务端通用的机制Configuration：用于管理配置，例如服务端地址【Hbase的JavaAPI服务端地址是ZK的地址】Connection：连接对象MySQL：构建MySQL连接：hostname：3306Hive：构建Hive连接：hostname:10000step2：构建DML操作的表对象Table构建

文章目录分布式NoSQL列存储数据库Hbase_列族的设计（五）知识点01：课程回顾知识点02：课程目标知识点03：Hbase设计：列族的设计知识点04：聊天系统案例：需求分析知识点05：聊天系统案例：Hbase表设计知识点06：聊天系统案例：环境准备知识点07：聊天系统案例：模拟生成数据知识点08：聊天系统案例：构建Rowkey知识点09：聊天系统案例：测试写入代码知识点10：聊天系统案例：查询需求分析知识点11：聊天系统案例：测试查询代码知识点12：聊天系统案例：查询问题知识点13：二级索引附录一：Ma

文章目录分布式NoSQL列存储数据库Hbase（六）知识点01：回顾知识点02：目标知识点03：SQL on Hbase知识点04：Hive on Hbase 介绍知识点05：Hive on Hbase 配置知识点06：Hive on Hbase 实现知识点07：二级索引问题知识点08：Phoenix的介绍知识点09：Phoenix的安装配置知识点10：Phoenix的语法：DDL：NS知识点11：Phoenix的语法：DDL：Table知识点12：Phoenix的语法：DML：upsert知识点13：Ph

文章目录分布式NoSQL列存储数据库Hbase（七）知识点02：课程目标知识点03：Phoenix二级索引设计知识点04：二级索引：全局索引设计知识点05：二级索引：全局索引实现知识点06：二级索引：覆盖索引设计知识点07：二级索引：覆盖索引实现知识点08：二级索引：本地索引设计知识点09：二级索引：本地索引实现知识点10：二级索引：函数索引【了解】知识点11：集群角色功能：Master知识点12：集群角色功能：RegionServer知识点13：集群角色功能：HDFS与ZK知识点14：Hbase读写流程：

文章目录分布式NoSQL列存储数据库Hbase_高级思想（八）知识点01：课程回顾知识点02：课程目标知识点03：Hbase读写流程：写入流程知识点04：Hbase读写流程：meta表知识点05：Hbase读写流程：整体写入流程知识点06：Hbase读写流程：整体读取流程知识点07：LSM模型：设计思想知识点08：LSM模型：Flush知识点09：LSM模型：Compaction知识点10：Region分裂Split设计及规则知识点11：MapReduce回顾知识点12：MR集成Hbase：读Hbase规则

文章目录分布式NoSQL列存储数据库Hbase（九）知识点01：课程回顾知识点02：课程目标知识点03：MR集成Hbase：读Hbase规则知识点04：MR集成Hbase：读Hbase实现知识点05：MR集成Hbase：写Hbase规则知识点06：MR集成Hbase：写Hbase实现知识点07：BulkLoad的介绍知识点08：BulkLoad的实现知识点09：ImportTSV的使用知识点10：协处理器的介绍知识点11：协处理器的实现知识点12：Hbase优化：内存分配知识点13：Hbase优化：压缩机制

文章目录Hbase理论知识点概要问题01：Hbase的功能与应用场景？问题02：Hbase有什么特点？问题03：Hbase设计思想是什么？问题04：Hbase与HDFS的区别是什么？问题05：Hbase与MySQL的区别是什么？问题06：Hbase与Hive的区别是什么？问题07：Hbase的按列存储是什么？问题08：请简述Namespace、Rowkey、ColumnFamily及多版本的功能及含义问题09：请简述Hbase的分布式主从架构问题10：请简述Table表与RegionServer的关系问题1

1.建一个maven项目：（在idea中不需要，只需要建一个java项目->再右键项目->add framework support->找到maven勾上）2.在pom.xml导入：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-in

对给定的数据利用MapReduce编程实现数据的清洗和预处理，编程实现数据存储到HBase数据库，实现数据的增删改查操作接口，同时对MapReduce处理好的数据利用Hive实现数据的基本统计。设计要求：根据数据特征，设计一个任务场景，利用MapReduce编程实现数据的清洗和预处理。（10分）利用HDFS的JavaAPI编写程序将原始数据和预处理后的数据上传到分布式文件系统package com.company.HDFS; import java.io.IOException;imp.

前言大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。时隔一年,终于把主流的大数据组件全部学完了,学成之时,便是出师之日,那为师便来考考你学的如何:问题1：Rowkey如何设计，设计规则是什么？业务原则：贴合业务，保证前缀是最常用的查询字段唯一原则：每条rowkey唯一表示一条数据组合原则：常用的查询条件组合作为Rowkey散列原则：rowkey构建不能连续长度原则：满足业务需求越短越好.

文章目录Hbase二级索引_Hive on Hbase 及phoenix详解知识点02：课程目标知识点03：SQL on Hbase知识点04：Hive on Hbase 介绍知识点05：Hive on Hbase 配置知识点06：Hive on Hbase 实现知识点07：二级索引问题知识点08：Phoenix的介绍知识点09：Phoenix的安装配置知识点10：Phoenix的语法：DDL：NS知识点11：Phoenix的语法：DDL：Table知识点12：Phoenix的语法：DML：upsert知识

08 | HBase 和 Hive 你能分清楚吗？2021/02/25 荒川文章目录HiveHBase29.37M 00:00/11:15看视频在上一讲中，我带你了解了 HDFS 的基本框架，并且动手安装了 Hadoop 系统。我们都知道 HDFS 是 Hadoop 中用来管理文件的系统，是 Hadoop 的核心之一。在实际的生产工作中，仅仅有一套文件管理系统还不能很好地支撑我们业务的需求，我们还希望对数据进行更加便捷的操作，这一讲，我就带你了解下，在日常工作中经常用的而且与 HDFS 有紧密联系

文章目录6. Hbase Java编程6.1 需求与数据集6.2 准备工作6.3 需求一：使用Java代码创建表6.4 需求三：使用Java代码删除表6.5 需求二：往表中插入一条数据6.6 需求三：查看一条数据6.7 需求四：删除一条数据6.8 需求五：导入数据6.9 需求六：查询2020年6月份所有用户的用水量6. Hbase Java编程6.1 需求与数据集某某自来水公司，需要存储大量的缴费明细数据。以下截取了缴费明细的一部分内容。用户id 姓名 用户地址 性别 缴费时间 表示数（本次） 表示

文章目录4.2 创建表4.2 创建表在HBase中，所有的数据也都是保存在表中的。要将订单数据保存到HBase中，首先需要将表创建出来。4.2.1 启动HBase ShellHBase的shell其实JRuby的IRB（交互式的Ruby），但在其中添加了一些HBase的命令。启动HBase shell：hbase shell4.2.2 创建表语法：create '表名','列蔟名'...创建订单表，表名为ORDER_INFO，该表有一个列蔟为C1create 'ORDER_INFO'

集群搭建2.1 安装2.1.1 上传解压HBase安装包tar -xvzf hbase-2.1.0.tar.gz -C ../server/2.1.2 修改HBase配置文件2.1.2.1 hbase-env.shcd /export/server/hbase-2.1.0/confvim hbase-env.sh第28行export JAVA_HOME=/export/server/jdk1.8.0_241/export HBASE_MANAGES_ZK=false2.1.2.