
kafka
大数据玩家
致力于大数据源码研究、底层原理研究!
展开
-
kafka面试题(附答案)
1.什么是kafka Kafka是分布式发布-订阅消息系统,它最初是由LinkedIn公司开发的,之后成为Apache项目的一部分,Kafka是一个分布式,可划分的,冗余备份的持久性的日志服务,它主要用于处理流式数据。2.为什么要使用 kafka? 为什么要使用消息队列? 缓冲和削峰:上游数据时有突发流量,下游可能扛不住,或者下游没有足够多的机器来保证冗余,...原创 2019-03-10 22:03:34 · 8831 阅读 · 0 评论 -
kafka-manager安装
为了能更好的监控kafka集群,kafka-manager是一个很好的选择!一、下载源码 使用Git或者直接从Releases中下载,这里我们下载 1.3.3.18 版本:https://github.com/yahoo/kafka-manager/releases二、解压wget https://github.com/yahoo/kaf...原创 2019-04-29 16:38:44 · 1734 阅读 · 3 评论 -
记一次kafka外网无法访问(结合frp内外网穿透)
一.起因 有个需求,需要将阿里云的kafka数据发送到某个内网环境,但是内网环境又没有一个对外的公网IP,怎么办呢?后来采用了frp内网穿透技术,使得阿里云服务器可以访问kafka,但是却发现发送了数据,内网接收不到......二.解决方案1)外网服务器配置 1)hosts配置映射# 配置映射# ip为阿里云服务器的内网ip# k...原创 2019-05-10 12:04:56 · 2307 阅读 · 0 评论 -
openresty无法写入kafka报错 no resolver defined to resolve 无法解析域名
版本 openresty-1.9.7.3缘由 利用server1服务器上的openresty nginx的lua脚本往server5中kafka写数据,发现报错 无法解析主机(no resolver defined to resolve "kafka236"),再后来,经过一天的摸索,发现了问题。原因 先讲讲我的配置,在server...原创 2019-07-15 15:24:28 · 2584 阅读 · 0 评论