u010737756的博客

Spark on yarn

关于es部署，相关的博客很多，但由于笔者需要在生产环境部署ES集群，因此尽量参考官网的配置：7.9版本的es guide首页:https://www.elastic.co/guide/en/elasticsearch/reference/7.9/index.html安装链接：https://www.elastic.co/guide/en/elasticsearch/reference/7.9/install-elasticsearch.html此处内置了jdk。在tar包的jdk目录下ES启动时会自动

开坑防止自己懒惰不学习，待续

1.COMPRESSIONHBase 创建表时默认压缩为 NONE ，即没有压缩，除非指定。目前 HBase 主要支持 4 种压缩方式：GZ（GZIP），SNAPPY，LZO，LZ4。| 算法 | 压缩比| 压缩 | 解压 ||–|--|| | |压缩算法的比较：|| | 压缩 | 解压 |GZIP 13.4% 21MB/s 118MB/sLZO 20.5% 135MB/s 410MB/sSnappy/Zippy 22.2% 172MB/s 409MB/s总结：GZIP的压缩率最

hbase的RegionServer内存配置为16G，每次在运行统计任务的时候总会导致RegionServer自动重启。查看web界面发现，运行过程中RegionServer的内存使用率已经达到95%以上，从而导致regionServer长时间垃圾回收且回收不掉。通过spark的history查看任务失败阶段从而定位问题代码。 在代码中有个foreachPartition操作用来查找hbase表中该记录是否已存在。读取该分区下所有的主键，然后一次性查询hbase，导致RegionServer的内存...

首先明确一下使用过滤器的实例，不仅只有Scan支持Filter，Get也支持部分Filter

今天部门分享了HBase。发一下自己的稿子本次分享的开始，想要旧事重提一下，Google被誉为大数据领域的“三驾马车”的那三篇论文:第一篇是:The google file system第二篇是:MapReduce:Simplified Data Processing on Large Clusters第三篇是:2006年发表的 BigTable：A Distributed Storage System for Structured Data. 它介绍了很多BigTable的设计原理，但其实这些原理