flink 13 issue记录

最新推荐文章于 2024-12-22 12:00:00 发布

dchdd

最新推荐文章于 2024-12-22 12:00:00 发布

阅读量718

点赞数

CC 4.0 BY-SA版权

文章标签： flink

本文链接：https://blog.youkuaiyun.com/dchdd/article/details/117091251

本文详细记录了在使用Flink 1.3版本过程中遇到的问题，包括数据处理、容错机制、性能优化等方面，旨在为Flink开发者提供参考和解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Q：
1.hadoop集群启动失败，仅单节点启动
	查看log文件夹下日志，报错为无hadoop依赖
	
2.加flink-shade-hadoop-2.x jar到 flink lib之后
	报错：Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
	
3. WARN  org.apache.flink.shaded.curator4.org.apache.curator.utils.ZKPaths [] - The version of ZooKeeper being used doesn't support Container nodes. CreateMode.PERSISTENT will be used instead.

	zk中的curator-framework版本高于elastic版本， ElasticJob jar冲突
	<dependency>
    	<groupId>org.apache.curator</groupId>
	    <artifactId>curator-framework</artifactId>
	    <version>2.11.0</version>
	</dependency>
	<dependency>
    	<groupId>org.apache.curator</groupId>
	    <artifactId>curator-client</artifactId>
    	<version>2.11.0</version>
	</dependency>
	<dependency>
    	<groupId>org.apache.curator</groupId>
	    <artifactId>curator-recipes</artifactId>
    	<version>2.11.0</version>
	</dependency>

4.WARN  org.apache.flink.runtime.zookeeper.FlinkZooKeeperQuorumPeer  [] - No 'dataDir' configured. Set to '/tmp/58716a26-89d2-4114-9f2d-a01820b4566e/zookeeper'.