kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries. 最无语的配置

解决KafkaProducer在使用Java版本时遇到的FailedToSendMessageException异常,揭示server.properties文件中IP设置的重要性,需避免使用主机名,应直接指定IP地址。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

注意: 本文不谈废话,低级问题请自行检查。

 

 

我使用Java版本的Kafka Producer生产数据,但是抛出了这个异常。百思不得其解,明明防火墙配置,ZooKeeper,Kafka配置都是没问题的啊。

困扰了我一天,最终发现这样一个问题:  kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.

Kafka的server.properties文件中IP不能写主机名,必须写IP地址而不能写映射后的主机名.

如果你在这写的是hostname,例如bigdata:

跑一个Producer程序,你就会喜提Exception:

但是如果改成IP地址:

程序就能正常运行:

 

我用的版本是Kafka 0.8 ,果然版本低还是BUG太多。浪费了不少时间。

 

我的生产者代码:

import kafka.javaapi.producer.Producer;
import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;

import java.util.Date;
import java.util.Properties;
import java.util.Random;

public class TestProducer {
    public static void main(String[] args) {
        long events = 10;
        Random rnd = new Random();
 
        Properties props = new Properties();
        props.put("metadata.broker.list", "192.168.29.132:9092");
        props.put("serializer.class", "kafka.serializer.StringEncoder");
        props.put("partitioner.class", "SimplePartitioner");
        props.put("request.required.acks", "1");
 
        ProducerConfig config = new ProducerConfig(props);
 
        Producer<String, String> producer = new Producer<String, String>(config);
 
        for (long nEvents = 0; nEvents < events; nEvents++) { 
               long runtime = new Date().getTime();  
               String ip = "192.168.2." + rnd.nextInt(255);
               String msg = runtime + ",www.example.com," + ip;
               KeyedMessage<String, String> data = new KeyedMessage<String, String>("advClickStreamTopic", ip, msg);
               producer.send(data);
        }
        producer.close();
    }
}

 

import kafka.producer.Partitioner;
import kafka.utils.VerifiableProperties;

public class SimplePartitioner implements Partitioner {
    public SimplePartitioner (VerifiableProperties props) {
 
    }
 
    public int partition(Object key, int a_numPartitions) {
        int partition = 0;
        String stringKey = (String) key;
        int offset = stringKey.lastIndexOf('.');
        if (offset > 0) {
           partition = Integer.parseInt( stringKey.substring(offset+1)) % a_numPartitions;
        }
       return partition;
  }
 
}

我在JIRA上并没找到相关BUG。....  只能说有点坑

 

版本信息:

     <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-reflect</artifactId>
            <version>2.10.0</version>
        </dependency>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.9.2-RC3</version>
        </dependency>

        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.9.2</artifactId>
            <version>0.8.1.1</version>
            <scope>compile</scope>
            <exclusions>
                <exclusion>
                    <artifactId>jmxri</artifactId>
                    <groupId>com.sun.jmx</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jms</artifactId>
                    <groupId>javax.jms</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jmxtools</artifactId>
                    <groupId>com.sun.jdmk</groupId>
                </exclusion>
            </exclusions>
        </dependency>

 

转载于:https://www.cnblogs.com/yosql473/p/10722687.html

<think>好的,我现在需要解决用户提出的关于Kafka客户端在获取主题元数据时发生超时错误的问题,具体错误是“KafkaTimeoutError: Failed to update metadata after 60.0 secs”。首先,我要回忆一下之前用户提供的引用内容,看看有没有相关的解决方法。 根据引用[3]提到,这个错误通常是因为Kafka服务器无法及时响应请求,或者网络问题导致的通信延迟。建议先检查Kafka服务是否正常运行,查看日志。另外引用[4]提到,将localhost改为主机IP可能解决,因为网络配置问题可能导致连接失败。此外,引用[2]中的canal同步问题也是类似的超时错误,可能涉及网络配置Kafka服务状态。 接下来,我需要系统化地整理可能的原因和对应的解决方案。首先,考虑网络问题,比如客户端和Kafka服务器之间的连通性,防火墙设置,端口是否开放(9092是默认的)。然后是Kafka服务本身的状态,比如是否所有Broker都正常运行,是否有未处理的请求或资源不足的情况。 另外,配置问题也很重要,比如bootstrap.servers是否正确配置,是否使用了正确的主机名或IP地址。如果客户端配置的是localhost,但Kafka运行在其他服务器上,就会导致连接失败。此外,生产者和消费者的配置参数,如request.timeout.ms,可能需要调整以应对高延迟的情况。 还有元数据的问题,比如目标主题是否存在。如果主题不存在,客户端在尝试获取元数据时可能会超时,尤其是在auto.create.topics.enable被禁用的情况下。此时需要手动创建主题。 另外,ZooKeeper的状态也需要检查,因为Kafka依赖ZooKeeper进行协调。如果ZooKeeper服务有问题,可能会影响Kafka的元数据管理。 在步骤上,应该先检查基础服务状态,包括Kafka和ZooKeeper是否正常运行。然后验证网络连接,使用telnet或nc测试端口可达性。接着检查客户端配置,确保bootstrap.servers正确,避免使用localhost。之后确认主题是否存在,必要时手动创建。如果这些都没问题,可能需要调整超时参数,或者检查资源使用情况,如磁盘、内存、CPU是否过载。 后,用户提供的引用中提到将localhost改为主机IP解决了问题,所以需要特别强调配置中使用正确的主机名或IP的重要性,并建议查看日志来定位具体原因。此外,提醒用户如果问题突然出现,先检查服务是否挂掉,再逐步排查其他可能因素。</think>针对 Kafka 客户端出现 `KafkaTimeoutError: Failed to update metadata after 60.0 secs` 的元数据更新超时问题,以下是系统性解决方案: --- ### **一、问题原因分析** 1. **网络连通性问题**:客户端与 Kafka Broker 之间的网络延迟或端口不通。 2. **Kafka Broker 服务异常**:Broker 进程宕机或资源耗尽。 3. **配置错误**:客户端配置的 `bootstrap.servers` 地址错误或未使用主机 IP。 4. **主题元数据缺失**:目标主题未创建且 `auto.create.topics.enable` 配置为 `false`。 5. **资源争用**:Broker 处理请求超时(如磁盘 I/O 或 CPU 过载)[^3][^4]。 --- ### **二、解决方案步骤** #### **1. 检查 Kafka 基础服务状态** - **验证 Broker 进程**: ```bash # 检查 Broker 是否运行 jps | grep Kafka # 查看 Broker 日志(默认路径) tail -f /kafka/logs/server.log ``` 若日志显示 `Shutting down` 或 `Not responding`,需重启服务[^1][^3]。 - **检查 ZooKeeper 状态**: ```bash echo stat | nc <ZOOKEEPER_IP> 2181 ``` 确保 ZooKeeper 集群正常,Kafka 依赖其协调元数据[^2]。 --- #### **2. 验证网络连通性** - **测试端口可达性**: ```bash telnet <BROKER_IP> 9092 # 默认 Kafka 端口 nc -zv <BROKER_IP> 9092 ``` 若不通,需检查防火墙规则或云服务器安全组设置[^4]。 --- #### **3. 修正客户端配置** - **修改 `bootstrap.servers`**: ```python # 示例:Python 客户端配置 producer = KafkaProducer( bootstrap_servers=&#39;192.168.1.100:9092&#39;, # 使用主机 IP,非 localhost request_timeout_ms=120000 # 延长超时时间 ) ``` 避免使用 `localhost`,确保 IP 地址与 Broker 监听地址一致[^4]。 --- #### **4. 手动创建主题** - **检查主题是否存在**: ```bash ./kafka-topics.sh --list --bootstrap-server <BROKER_IP>:9092 ``` - **创建缺失的主题**: ```bash ./kafka-topics.sh --create --topic <TOPIC_NAME> --bootstrap-server <BROKER_IP>:9092 ``` --- #### **5. 调整超时参数** - **服务端配置**(`server.properties`): ```properties request.timeout.ms=120000 # 延长请求超时时间 num.network.threads=8 # 增加网络处理线程 ``` - **客户端配置**: ```properties metadata.max.age.ms=30000 # 缩短元数据刷新间隔 max.block.ms=120000 # 延长阻塞超时时间 ``` --- #### **6. 检查资源使用率** - **监控 Broker 资源**: ```bash top # 查看 CPU 和内存使用 iostat -x 1 # 检查磁盘 I/O 延迟 ``` 若磁盘写入延迟高,需优化存储或扩容[^3]。 --- ### **三、典型场景案例** - **案例 1**:客户端配置使用 `localhost`,但 Broker 监听外部 IP。 - **解决**:将 `bootstrap.servers` 改为 Broker 的实际 IP[^4]。 - **案例 2**:主题未创建且禁用自动创建。 - **解决**:手动创建主题并验证分区分配。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值