kafka0.9-spark1.6-ElasticSearch2.1集成

最新推荐文章于 2024-07-18 08:30:00 发布

「已注销」

最新推荐文章于 2024-07-18 08:30:00 发布

阅读量448

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop生态程序人生

本文链接：https://blog.youkuaiyun.com/careefour/article/details/51504248

程序人生同时被 2 个专栏收录

17 篇文章

订阅专栏

Hadoop生态

11 篇文章

订阅专栏

本文介绍如何实现Kafka、Spark Streaming和Elasticsearch的集成应用，通过具体步骤展示了从数据采集、实时处理到搜索展示的全过程，并解决了集成过程中常见的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

kafka0.9-spark1.6-ElasticSearch2.1集成：
工程目的：将kafka读入的数据流，经过spark streaming数据分析，最后写入ES

eclipse卡顿：
内存不足所以会卡死,修改一下eclipse.ini
-XX:MaxPermSize=768m
-Xms1024m
-Xmx3072m

使用maven-assembly，在pom.xml中与dependencies平级加入以下配置：
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-assembly-plugin</artifactId>
<version>2.5.5</version>
<configuration>
<archive>
<manifest>
<mainClass>com.winbox.dataman.ETL</mainClass>
</manifest>
</archive>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
</plugin>
</plugins>
</build>

所需要的外部引用jar包：
spark-assembly-1.6.0-hadoop2.6.0.jar
elasticsearch-spark_2.10-2.2.0.jar
spark-examples-1.6.0-hadoop2.6.0.jar
elasticsearch-hadoop-2.2.0.jar
手动转成maven依赖：
mvn install:install-file -Dfile=spark-assembly-1.6.0-hadoop2.6.0.jar -DgroupId=org.apache.repack -DartifactId=spark-assembly-1.6.0-hadoop2.6.0 -Dversion=2.6 -Dpackaging=jar
mvn install:install-file -Dfile=elasticsearch-spark_2.10-2.2.0.jar -DgroupId=org.apache.repack -DartifactId=elasticsearch-spark_2.10-2.2.0 -Dversion=2.1 -Dpackaging=jar
mvn install:install-file -Dfile=spark-examples-1.6.0-hadoop2.6.0.jar -DgroupId=org.apache.repack -DartifactId=spark-examples-1.6.0-hadoop2.6.0 -Dversion=2.6 -Dpackaging=jar
mvn install:install-file -Dfile=elasticsearch-hadoop-2.2.0.jar -DgroupId=org.apache.repack -DartifactId=elasticsearch-hadoop-2.2.0 -Dversion=2.2 -Dpackaging=jar

使用mvn package assembly:single生成可执行jar包：
遇到的问题：
Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin: 2.3 . 2 :compile ( default -compile) on 解决方法：调整JRE到最新版。
不兼容的类型: lambda 表达式中的返回类型错误 void无法转换为java.lang.Void 解决方法：results.foreachRDD(javaRDD -> {JavaEsSpark.saveToEs(javaRDD, esSchema);return null;});
打出的jar包没有包含配置文件解决方法：maven工程的配置文件必须要放到/src/main/resources资源文件夹中
spark-submit作业部署方式参数报错，无法初始化Driver 解决方法：打包到集群跑的工程，SparConf初始化代码去掉.setMaster(master)

git 操作工程步骤：
git clone git@pmp.yundun.cn:/ES/kafka2es 克隆git仓库
要进入git仓库目录下再进行相应操作
git status 查看当前git状态
git add . 提交当前文件夹内容到git仓库
git commit -a 提交改动
git config --global user.email "you@example.com"
git config --global user.name "Your Name"
git push origin master push工程分支
git log 查看提交日志