pyflink执行任务问题总结

最新推荐文章于 2024-01-24 23:30:32 发布

恰柠檬Y

最新推荐文章于 2024-01-24 23:30:32 发布

阅读量4.2k

点赞数 1

分类专栏： pyflink 文章标签： kafka hadoop flink

本文链接：https://blog.youkuaiyun.com/qq_41895446/article/details/122113635

版权

本文总结了Flink在执行任务时遇到的七大问题，包括Timeout expired while fetching topic metadata（内存不足导致）、Deployment took more than 60 seconds（资源不足或Zookeeper未启动）、SyntaxError: invalid syntax（Python环境问题）、Failed to deserialize JobGraph（版本不匹配）、The cluster does not have the requested resources for the JobManager available!（内存配置过大）、Permission denied（HDFS权限问题）以及再次出现的Timeout expired while fetching topic metadata（Kafka连接问题），并给出了相应的解决办法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

pyflink执行任务问题总结

问题：

问题：

一、Timeout expired while fetching topic metadata

yarn模式下报错：
Caused by: org.apache.flink.kafka.shaded.org.apache.kafka.common.errors.TimeoutException: Timeout expired while fetching topic metadata
原因：内存不足
默认不设置的情况下最大为8G，最小为1G，
修改hadoop/etc/hadoop/yarn-site.xml中的value值

    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
        <description>一个container可申请的最小内存</description>
    </property>