
scala
大数据运维
大数据运维研发SRE
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Kafka->SparkStreaming->Hbase【一】
根据业务需求,将Kafka中数据抽取插入到Hbase中。目前网上可以找到许多相关的文章,这里介绍Github上的一个开源工具。 工具地址 Github上搜索结果 选择工具 SparkOnHbase 环境配置 Hadoop: 2.6.0-cdh5.12.1 Spark: 1.6.0-2.10.5 Hbase: 1.2.0-cdh5.12.1 Hive: 1...原创 2018-05-16 20:24:26 · 1288 阅读 · 0 评论 -
Kafka->SparkStreaming->Hbase【二】
根据业务需求,将Kafka中数据抽取插入到Hbase中。目前网上可以找到许多相关的文章,这里介绍Github上的一个开源工具。 上一章节讲到选择SparkOnHbase为主要原型,将之修改为我们需要的源代码。这里给出修改之后的源代码,修改之后符合我们的业务需求,并尽量避免引起其他不必要的问题。同时,后期优化程序执行效率问题。 源代码 class HBaseContext( @...原创 2018-05-16 20:46:26 · 1436 阅读 · 0 评论