专注大数据与自由

Kafka配置数据和日志目录分离数据和日志目录分离作用默认 kafka的数据和日志都存储在log.dirs=/opt/software/kafka_011/logs中 ; 现将数据指定一个自定义的目录中 方便查询前提清空kafka所有数据进入zk客户端 删除kafka的所有节点进入kafka目录 删除logs文件配置 – 每个节点都执行修改kafka配置文...

Kafka命令行操作常用命令命令行操作Topic任意节点执行都可以增新增一个topic$ cd /opt/software/kafka_011$ ./bin/kafka-topics.sh --create --zookeeper clickhouse1:2181 --topic first --partitions 2 --replication-factor 2参数说明 ...

安装集群规划10.255.175.240(clickhouse1) – zookeeper kafka10.255.175.241(clickhouse2) – zookeeper kafka10.255.175.242(clickhouse3) – zookeeper kafka前置条件安装zookeeper集群 (见 zookeeper系列文章)下载安装包官网 : kaf...

1.概述定义分布式 发布/订阅 主动拉取模式 的 消息队列(Message Queue)源码语言Scala应用场景大数据实时处理 – 常见spark + kafka / flunm + kafka作用消息传递存储流处理关键术语Producer概念生产者 – 发布消息的服务Kafka Cluster概念kafka集群 – 没啥说的Broke...

消息队列MQMQ的传统应用场景MQ作用解偶 – 不需要生产者消费者双方同时在线例如 : 提高系统可恢复性. 一个处理消息的进程挂了 队列中的消息仍然可在系统恢复后被处理削峰 – 缓冲 可控制和优化生产和消费两方处理数据速度不一致问题例如 : 解决生产大于消费服务当机问题. 可避免访问高峰期服务器挂掉 可缓冲至非高峰期再处理灵活性 – 动态增减服务器节点例如 ...

常见启动报错启动kafka中producer出现UnrecognizedOptionException错误解决https://blog.youkuaiyun.com/w3045872817/article/details/77046760

尚硅谷kafka视频 : https://www.bilibili.com/video/av65544753?p=7黑马kafka视频 : https://www.bilibili.com/video/av71991051?from=search&seid=3622996713957626250黑马kafka企业级入门实战视频 : https://www.bilibili....