
kafka
安然烟火
如果人没有理想,那和咸鱼有什么区别呢?
展开
-
kafka配置内外网访问
listeners: 学名叫监听器,其实就是告诉外部连接者要通过什么协议访问指定主机名和端口开放的 Kafka 服务。advertised.listeners:和 listeners 相比多了个 advertised。Advertised 的含义表示宣称的、公布的,就是说这组监听器是 Broker 用于对外发布的。如下是我们的测试配置:listeners=PRIVATE://192.198.10.01:9092,PUBLIC://192.198.10.01:9093advertised.listen原创 2020-12-22 19:19:28 · 1824 阅读 · 0 评论 -
WARN Received a PartitionLeaderEpoch assignment for an epoch < latestEpoch
Topic 处于 under replicated 状态.server.log 充满:[2020-11-30 19:00:00,006] WARN Received a PartitionLeaderEpoch assignment for an epoch < latestEpoch. This implies messages have arrived out of order. New: {epoch:0, offset:17990690}, Current: {epoch:4, offse原创 2020-12-07 11:42:28 · 3025 阅读 · 2 评论 -
Kafka 配置外网访问
Kafka 有的时候会跨机房接收消息,本地开发机也需要向远程服务器发一些消息,默认是不支持外连的,所以需要配置一下远程访问。Kafka 服务器 host 修改查看 hostname,查看内网 IP 并记录cat /etc/hostnamevm172-31-110-6.ksc.comifconfig编辑 host 文件vim /etc/hosts#添加在文件底部#172.31.110.6 vm172-31-110-6.ksc.comKafka 配置文件修改修改 server.proper原创 2020-07-21 08:51:07 · 3433 阅读 · 0 评论 -
cdh下spark2-yarn运行sparkstreaming获取kafka数据使用spark-streaming-kafka-0-10_2.11报错解决
报错问题20/07/15 17:20:51 INFO utils.AppInfoParser: Kafka version : 0.9.0-kafka-2.0.020/07/15 17:20:51 INFO utils.AppInfoParser: Kafka commitId : unknownException in thread "streaming-start" java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.Kaf原创 2020-07-15 18:04:07 · 618 阅读 · 0 评论 -
kafka的特点和优势
kafka的特点和优势一、kafka的特点高吞吐量:Kafka 每秒可以生产约 25 万消息(50 MB),每秒处理 55 万消息(110 MB) 持久化数据存储:可进行持久化操作。将消息持久化到磁盘,因此可用于批量消费,例如 ETL,以及实时应用程序。通过将数据持久化到硬盘以及replication 防止数据丢失。 分布式系统易于扩展:所有的 producer、broker 和 co...原创 2019-12-30 13:44:41 · 1054 阅读 · 0 评论 -
kafka常用命令
kafka常用命令1)、创建topic:./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test2)、查看topic:./bin/kafka-topics.sh --list --zookeeper localhost:218...原创 2019-12-18 14:31:07 · 615 阅读 · 0 评论