SunnyRivers

前言Spark读写HBase本身来说是没啥可以讲的，最早之前都是基于RDD的，网上的资料就太多了，可以参考:参考链接1参考链接2其实都一样，后来有了Hortonworks公司的研发人员研发了一个Apache Spark - Apache HBase Connector，也就是我们熟悉的shc，通过这个类库，我们可以直接使用 Spark SQL 将 DataFrame 中的数据写入到 HBase 中，具体详细的介绍资料可以参考：shc的github国内大佬的总结再后来，就有了Spark HBas

1-HBase的安装HBase是什么？HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作，如右侧的图所示：HBase在产品中还包含了Jetty，在HBase启动时采用嵌入式的方式来启动Jetty，...

伪分布式一般都是用在测试环境中使用前提：Java环境配置HBase伪分布式搭建步骤：1. 上传并解压HBase的jar包，并把解压后的文件移动到/opt/software目录 2. 配置环境变量 配置完记得刷新 . /etc/profile3. 二次JAVA_HOME配置  4. 配置hbase-site.xml<property><name>hbase.rootdir&l...

节点分布情况  （这里把HMaster和NameNode搭建在一个节点，但是实际开发中，别这样做）前提条件（每个节点）（1）Java环境变量（2）时间同步（3）主从免秘钥（4）启动hadoop 1. 配置hbase-site.xml<configuration>        <property>               ...

HBase官方解释：Apache HBase™是Hadoop数据库，这是一个分布式，可扩展的大数据存储。当您需要随机，实时读取/写入您的大数据时使用Apache HBase™。 该项目的目标是托管非常大的表 - 数十亿行X百万列 - 在商品硬件集群上。 Apache HBase是一个开源的，分布式的，版本化的非关系数据库，其模型是在Chang等人的Google Bigtable：结构化数据分布式存...

HBase采用类LSM的架构体系，数据写入并没有直接写入数据文件，而是会先写入缓存（Memstore），在满足一定条件下缓存数据再会异步刷新到硬盘。为了防止数据写入缓存之后不会因为RegionServer进程发生异常导致数据丢失，在写入缓存之前会首先将数据顺序写入HLog中。如果不幸一旦发生RegionServer宕机或者其他异常，这种设计可以从HLog中进行日志回放进行数据补救，保证数据不丢失。...

原因分析HBase官网 已经告诉我们原因以及解决方法了：原因：默认情况下，部署到MapReduce群集的MapReduce作业无法访问$ HBASE_CONF_DIR下的HBase配置或HBase类。解决方法：要为MapReduce作业提供所需的访问权限，可以将hbase-site.xml_添加到_ $ HADOOP_HOME / conf并将HBase jar添加到$ HADOOP_H...

前言Hive是什么数据仓库，用来分析HDFS数据Hive的作用用SQL访问HDFS数据HBase是什么NoSQL数据库HBase作用随机访问HDFS数据