qq_824203453_的博客

转自：https://blog.youkuaiyun.com/bornzhu/article/details/78680964kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.遇到该错误主要有以下几种原因1.服务器的zookeeper和kafka未开启2.配置文件中，没有配置advertised.h...

转载自：http://blog.51cto.com/xujpxm/1934572 Kafka的配置详尽、复杂，想要进行全面的性能调优需要掌握大量信息，这里只记录一下我在日常工作使用中走过的坑和经验来对kafka集群进行优化常用的几点。1.JVM的优化  java相关系统自然离不开JVM的优化。首先想到的肯定是Heap Size的调整。12vim bin/kafka-server-start.sh ...

 kafka-0.8.2 新特性producer不再区分同步（sync）和异步方式（async），所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的repl...

背景介绍Kafka简介Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，并保证即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区，及分布式消息消费，同时保证每个partition内的消息顺序传输同时支持离线数据处理和实时...

版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/80412688交流QQ: 824203453欢迎关注B站，收看更多视频内容：https://space.bilibili.com/383891492spark streaming 2.2 整合 kafk...

 版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/80428047交流QQ: 824203453 版本： sparkstreaming 2.2      kafka  0.10sparkstreaming 集成kafka后（Direct模式），同一个groupi...

版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/80871449交流QQ: 824203453欢迎关注B站，收看更多视频内容：https://space.bilibili.com/383891492kafka 版本 kafka_2.11-0.10.2.1...