spark
卑微的小涛子
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
spark bulkload 到 hbase
在使用Spark时经常需要把数据落入HBase中,如果使用普通的Java API,写入会速度很慢。Spark提供了Bulk写入方式的接口。那么Bulk写入与普通写入相比有什么优势呢?BulkLoad不会写WAL,也不会产生flush以及split。如果我们大量调用PUT接口插入数据,可能会导致大量的GC操作。除了影响性能之外,严重时甚至可能会对HBase节点的稳定性造成影响。但是采用Bulk就不会有这个顾虑。过程中没有大量的接口调用消耗性能...原创 2021-03-04 17:06:39 · 336 阅读 · 1 评论 -
EMR 中升级spark 问题小记 【2.2.0-->2.4.3】
spark原创 2021-03-01 15:01:07 · 441 阅读 · 0 评论
分享