创建java maven 项目实现ES数据读取,到集群spark 引擎进行数据加工,推数据到Kafka
1.大概实现描述:1.1.从ES读取数据到hive库1.2.数据在hive库,用sparksql引擎进行数据处理1.3.数据推送到kafka2.准备工作2.1.安装java相关环境2.2.保证连接ES网络连通2.3.通过SparkSession spark 进行数据连接3.准备相关的用到的包和pom.xml 配置:<dependencies> <dependency> <groupId>org.apache.s..
原创
2020-11-27 11:43:56 ·
541 阅读 ·
1 评论