温故而知新

要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。MemStore：HBase数据先写入HLog之中，并同时写入MemStore，待满足一定条件后将MemStore中数据刷到磁盘，能提升HBase的写性能和读性能。即使是Key值相同，Qualifier也想通的多个KeyValue，也可能有多个版本，此时使用时间戳来区分，这就是同一条数据记录的多版本。

sqoop：开源工具，apache项目，主要用于Hadoop(Hive)与传统关系型数据库间进行数据传递。离线批处理引擎：HDFS，Yarn，MapReduce，Hive，Spark，Spark SQL。Export：将Hadoop(HDFS，Hive，HBase)数据导出到关系型数据库数据中。Hive: 大数据SQL批处理引擎，用于处理SQL类批处理作业，但是处理速度较慢。MapReduce: 大数据批处理引擎，用于处理海量数据，但是处理速度较慢。业务应用：数据集市，数据仓库(交互式分析)，专题库。

Spark是基于内存的分布式批处理系统，任务拆分分配到多个CPU上进行处理，处理数据的中间产物(处理结果)存放在内存中，减少磁盘I/O，提升处理速度，在数据处理和数据挖掘方面比较占优势。查询分析(Query Analysis)：支持SQL的查询分析，同时提供领域特定语言(DSL)，以方便操作结构化数据，并支持多种外部数据源。离线批处理引擎：HDFS，Yarn，MapReduce，Hive，Spark，Spark SQL。Hive: 大数据SQL批处理引擎，用于处理SQL类批处理作业，但是处理速度较慢。

- "DELIMITED FIELDS TERMINATED BY"指定列与列之间的分隔符为','，"MAP KEYS TERMINATED BY"指定MAP中健值的分隔符为'&'-- 当连接一个较小和较大表时，把较小的表直接放到内存中，然后再对较大的表进行Map操作。数据倾斜指计算数据的时候，数据的分散度不够，导致大量的数据集中到了一台或者几台机器上计算，这些数据的计算速度远远低于平均计算速度，导致整个计算过程过慢。

HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发，具有分布式文件系统、高容错、高吞吐量、大文件存储。回收站可以设置一个阀值(单位：分钟)，当回收站的文件存放超过阀值或回收站被清空时，文件才会被彻底删除，释放占用的数据块。离线批处理引擎：HDFS，Yarn，MapReduce，Hive，Spark，Spark SQL。适合做大文件存储与访问、流式数据访问，不适合做大量小文件存储、随机写入、低延迟读写。

MRS提供租户完全可控的一站式企业级大 数据集 群云服务，完全兼容开源接口，结合 华为云计算 、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，并具备在后续根据业务需要进行定制开发的能力，帮助企业快速构建海量数据信息处理系统，并通过对海量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。离线批处理引擎：HDFS，Yarn，MapReduce，Hive，Spark，Spark SQL。