
kafka
文章平均质量分 92
方方园园
这个作者很懒,什么都没留下…
展开
-
docker安装kafka
先按zkdocker run -d --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeperdocker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=10.9.44.11:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT:原创 2020-05-17 20:54:17 · 40783 阅读 · 17 评论 -
kafka使外网访问配置
参考https://blog.youkuaiyun.com/fengcai19/article/details/54695874修改advertised.listeners=PLAINTEXT://10.20.12.23:9092zookeeper.connect=10.20.12.23:2181原创 2020-02-29 20:16:45 · 1924 阅读 · 0 评论 -
logstash双管道实现kafka到es mongo相同数据数据不同字段存储
公司需要代理平台需要升级,需要记录调用日志,并且返回结果也要保存(可能会有全量数据)于是选择mongo存储logstash配置过程中 刚开始设置了两个两个output中 但是无意中发现 es或者mongo挂了 logstash就一直等待了 于是采用双管道 互不影响工作配置如下:es.confinput { kafka { bootstrap_servers...原创 2020-02-26 17:28:46 · 586 阅读 · 1 评论 -
kafka异步发送
package com.sdyy.maint.kafka;import com.sdyy.maint.entity.KafkaMessage;import lombok.extern.log4j.Log4j;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.ka...原创 2020-02-24 18:58:40 · 382 阅读 · 0 评论 -
kafka->logstash->es配置
logstash.ymlinput { kafka { bootstrap_servers => ["127.0.0.1:9092"] # 注意这里配置的kafka的broker地址不是zk的地址 group_id => "logstash" # 自定义groupid topics => ["ttp"] # ka...原创 2020-02-23 14:27:24 · 1144 阅读 · 5 评论 -
zookeeper在linux下安装以及kafka启动
启动报错在/usr路径下创建一个文件夹javamkdir /usr/java找到之前丢服务器上的JDK压缩包,通过命令将其解压到/usr/java目录下tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/javavi .bashrc添加上export JAVA_HOME=/usr/java/jdk-8u201-linux-x64expo...原创 2019-11-22 15:26:06 · 399 阅读 · 0 评论