qq_45769990的博客

（一）关于二级索引 因为Hbase的rowkey是唯一索引，无法满足大部分的需求，不能走rowkey索引，导致性能较差 所以要构建二级索引来代替全表扫描 （二）如何实现二级索引 Phoenix底层封装了大量的协处理器来实现二级索引的构建 - 1.根据数据存储需求 创建原始表 将数据写入表中 - 2 根据业务需求 构建二级索引 Phoenix自动创建索引 -create index indexName on tbName(colName); -rowkey:name_id - 3查询数据时，Phoen

Phoenix的介绍 功能 Phoenix是一种专门针对于Hbase 所设计的SQL on Hbase 的一个工具 使用SQL对Hbase进行操作 使用phoenix自动构建二级索引来进行快速查询和维护 原理 - 上层提供了SQL接口 - 底层全部通过Hbase Java API来实现，通过构建一系列的Scan和Put来实现数据的读写 - 功能非常丰富 - 底层封装了大量的内置的协处理器，可以实现各种复杂的处理需求，例如二级索引等 特点 - 优点 - 支持SQL接口 - 支持自动维

(一)数据采集 - Flume：实时数据采集：采集文件或者网络端口 - Sqoop：离线数据同步：采集数据库的数据 (二)数据存储 - HDFS：分布式离线文件存储系统 - Hive：离线数据仓库 - 将HDFS上的文件映射成了表的结构，让用户可以通过数据库和表的形式来管理大数据 (三)数据计算 - MapReduce+YARN：分布式离线数据计算 - Hive：通过SQL进行分布式计算 - 将SQL语句转换为MapReduce程序，提交给YARN运行 (四）HBASE诞生 随着大数据的发展，大数据

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.filter.*; import org.apache.hadoop.hbase.util.Bytes; import java.io.IOException; public class HbaseClie

客户端和服务端模式的代码开发规则 step1：构建连接对象，指定连接服务端地址 step2：调用连接对象的方法，实现需求 step3：释放连接对象 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.NamespaceDescriptor; import org.apache.hadoop.hbase.T

DML命令——put 插入/更新数据【某一行的某一列】（如果不存在，就插入，如果存在就更新） put NS名称:表的名称,'Rowkey'，'列族:列'，'值' 功能及优点 ==功能==：插入 / 更新数据【某一行的某一列】 - SQL - insert：用于插入一条新的数据 - update：用于更新一条数据 - replace：插入更新命令，如果不存在就插入，如果存在就更新 - 原理：先做判断，如果不存在，就直接插入，如果存在，就删除再插入 - Hbase：put

HBASE启动前置工作 1.启动hdfs集群（start-dfs.sh） 2.启动ZooKeeper集群(conf下zkserver.sh) 3.启动HBASE集群(start-hbase.sh) 命令 进入HBASE命令（hbase shell） 查看所有表(list) 查看名字空间(类似于mysql的数据库名)(list_namespace) 例举出一个名字空间下的所有表(list_namespace_tables ‘namespace名字’) 创建名字空间(create_namespace