华为FusionInsight sparkstreaming消费kafka kerberos异常解决

最新推荐文章于 2024-06-19 11:21:32 发布

蔡锦澄

最新推荐文章于 2024-06-19 11:21:32 发布

阅读量987

点赞数

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/cai453414953/article/details/110480610

版权

背景

使用FusionInsight Manager上的sparkstreaming消费kafka数据到hive

编写

修改FusionInsight client的spark2中的demo进行流程测试
修改maven中的依赖，将所有的dependency增加<scope>provided</scope>，使用maven打包

	<build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.5.1</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                </configuration>
            </plugin>
            <plugin>
                <artifactId>maven-source-plugin</artifactId>
                <version>2.1</version>
                <configuration>
                    <attach>true</attach>
                </configuration>
                <executions>
                    <execution>
                        <phase>compile</phase>
                        <goals>
                            <goal>jar</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId&