cff603的专栏

一、概述HBase本身提供了很多种数据导入的方式，通常有两种常用方式：1、使用HBase提供的TableOutputFormat，原理是通过一个Mapreduce作业将数据导入HBase2、另一种方式就是使用HBase原生Client API这两种方式由于需要频繁的与数据所存储的RegionServer通信，一次性入库大量数据时，特别占用资源，所以都不是最有效的。了解过HBase底...

一、 hbase架构简介HBase 是一个开源的、分布式的、数据多版本的，列式存储的nosql数据库。依托 Hadoop 的分布式文件系统 HDFS 作为底层存储, 能够为数十亿行数百万列的海量数据表提供随机、实时的读写访问。 HBase 集群服务包含：HBase 数据库服务、HDFS 分布式文件系统、Phoenix 查询引擎。压缩格式方面支持 GZIP、BZIP2、LZO、SNAPPY，可自...

 hbase hfile -v -p -m -f hdfs://ns1/hbase/data/hush/sdom/e876d29be0b27d45e4a116e71d877362/domains/581955a3a1c347bda51b348fbf112970

hadoop + hbase架构和源码分析 

本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。Auto Flash通过调用HTable.setAutoFlushTo(false)方法可以将HTable写客户端自动flush关闭，这样可以批量写入数据到HBase，而不是有一条put就执行一次更新，只有当put填满客户端写缓存的时候，才会向HBase服务端发起写请求。默认情况下auto flush是开启的。...

http://www.raincent.com/content-85-7554-7.htmlhttp://www.cnblogs.com/peizhe123/p/5540845.html hadoop常用参数配置

Spark查询分区表spark-sql -e"SELECT*FROM td_fixed_http_flowWHERE dt = '2018-12-02'AND HOUR = '16' ；"出现异常：Caused by: java.io.FileNotFoundException: File hdfs://rzx121:8020/apps/hive/wareh...

Spark学习之路 （十二）SparkCore的调优之资源调优讨论QQ：1586558083目录一、概述 二、Spark作业基本运行原理 三、资源参数调优 3.1　num-executors 3.2　executor-memory 3.3　executor-cores 3.4　driver-memory 3.5　spark.default.parallelis...