➹➹➹④Kafka
关注
分享
扫一扫
爱是与世界平行
努力钻研学习中................
展开
-
Prometheus+Grafana通过kafka_exporter监控kafka
Prometheus+Grafana通过kafka_exporter监控kafka一、暴露 kafka-metric 方式二、jmx_exporter方式2.1 下载jmx_prometheus_javaagent和kafka.yml2.2 监控指标2.3 预警指标分析2.4 Grafana Dashboard JSON原文地址：优快云：GeekXuShuo：[Prometheus 监控之...原创 2020-03-18 15:53:59 · 6485 阅读 · 5 评论 -
Prometheus监控Kafka
Prometheus监控Kafka1.Prometheus监控Kafka，Docker方式Kafka监控优秀博文：简书：whaike：【监控】Kafka - 详细指标优快云：GeekXuShuo：Prometheus 监控之 kafka1.Prometheus监控Kafka，Docker方式Kafka_exporter的GitHub地址：https://github.com/da...原创 2020-01-15 10:00:10 · 1449 阅读 · 0 评论 -
Prometheus+Grafana+kafka_exporter监控kafka
Prometheus+Grafana+kafka_exporter搭建监控系统监控kafka一、Prometheus+Grafana+kafka_exporter搭建监控系统监控kafka1.1Kafka_exporter安装1.2配置prometheus1.3Prometheus浏览器查看状态1.4配置grafana二、其他搭建相关博文相关博文原文地址：51CTO博客：sqtce：Prom...原创 2019-11-10 10:26:03 · 3395 阅读 · 0 评论 -
kafka 主题管理
kafka 主题管理1.创建主题2.查询主题3.修改主题3.1 修改主题分区3.2修改主题级别参数3.3变更副本数3.4修改主题限速3.5主题分区迁移4.删除主题4.1主题删除失败5.常见问题5.1__consumer_offsets 占用太多的磁盘kafka 主题（topic）的管理（增删改查），使用最多的便是kafka自带的脚本。1.创建主题kafka提供的 kafka-topics 脚...转载 2019-09-19 14:50:34 · 625 阅读 · 0 评论 -
SparkStreaming直连方式读取kafka数据，使用MySQL保存偏移量
SparkStreaming直连方式读取kafka数据，使用MySQL保存偏移量1. ScalikeJDBC2.配置文件3.导入依赖的jar包4.源码测试通过MySQL保存kafka的偏移量，完成直连方式读取数据使用scalikeJDBC,访问数据库。1. ScalikeJDBCScalikeJDBC 是一款Scala 开发者使用的简洁 DB 访问类库，它是基于 SQL 的，使用者只需要关...转载 2019-09-09 17:08:27 · 764 阅读 · 0 评论 -
kafka auto.offset.reset参数解析
kafka auto.offset.reset参数解析1.latest和earliest区别2.创建topic3.生产数据和接收生产数据4.测试代码auto.offset.reset关乎kafka数据的读取。常用的二个值是latest和earliest，默认是latest。如果kafka只接收数据，从来没来消费过，程序一开始不要用latest，不然以前的数据就接收不到了。应当先earliest...原创 2019-09-07 15:56:39 · 1513 阅读 · 2 评论 -
删除Kafka中的topic
删除Kafka中的topic一、配置delete.topic.enable=true二、其他方法一、配置delete.topic.enable=true修改kafaka配置文件server.properties， 添加delete.topic.enable=true，重启kafka，之后通过kafka命令行就可以直接删除topic 通过命令行删除topic： ./bin/kafka...原创 2019-07-22 11:08:58 · 567 阅读 · 0 评论 -
Kafka客户端Producer与Consumer
Kafka客户端Producer与Consumer一、pom.xml二、相关配置文件producer.propertieslog4j.propertiesbase.properties三、Producer客户端一、pom.xml <dependencies> <dependency> <groupId>org.apac...原创 2019-07-11 16:55:44 · 617 阅读 · 0 评论 -
提高 Kafka 吞吐量
提高 Kafka 吞吐量1、了解分区的数据速率，以确保提供合适的数据保存空间2、除非您有其他架构上的需要，否则在写 Topic 时请使用随机分区3、如果 Consumers 运行的是比 Kafka 0.10 还要旧的版本，那么请马上升级4、调优 Consumer 的套接字缓冲区（socket buffers），以应对数据的高速流入5、设计具有高吞吐量的 Consumers，以便按需实施背压（bac...转载 2019-07-03 21:51:38 · 4810 阅读 · 0 评论 -
SparkStreaming与Kafka，SparkStreaming接收Kafka数据的两种方式
SparkStreaming接收Kafka数据的两种方式一、SparkStreaming + Kafka Receiver模式二、SparkStreaming + Kafka Direct模式三、Direct模式与Receiver模式比较四、SparkStreaming+Kafka维护消费者offset一、SparkStreaming + Kafka Receiver模式SparkStrea...原创 2019-07-08 10:03:24 · 3002 阅读 · 0 评论 -
Kafka踩坑填坑记录
Kafka踩坑填坑记录一、kafka通过Java客户端，消费者无法接收消息，生产者发送失败消息二、一、kafka通过Java客户端，消费者无法接收消息，生产者发送失败消息在虚拟机上，搭建了3台集群，然后，在虚拟机上，测试kafka，通过创建topic，生成者发送消息，消费者接收消息，全部正常；但是，改用Java客户端在进行测试时，生产者发送的消息，无法发送到虚拟机上，消费者也无法接收到任何消...原创 2019-06-17 15:17:44 · 2912 阅读 · 11 评论 -
kafka架构，消息存储和生成消费模型，Kafka与其他队列对比，零拷贝，Kafka基本介绍
Kafka初识一、初识kafka1.1SparkStreaming+Kafka好处：1.2Kafka的架构：二、kafka的消息存储和生成消费模型三、kafka特点四、kafka与其他消息队列对比五、零拷贝六、kafka概念kafka思维导图下载地址一、初识kafkakafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集...原创 2019-06-13 10:32:50 · 478 阅读 · 0 评论 -
(Linux环境Kafka集群安装配置及常用命令
Centos中搭建Kafka集群及常用命令一、下载Kafka安装包二、Kafka安装包的解压三、设置环境变量四、配置kafka文件4.1 server.properties五、启动kafka集群并测试5.1创建Topic5.2创建broker5.3创建订阅者六、kafka常用命令6.1创建主题（4个分区，2个副本）6.2查询6.3发送和消费6.4平衡leader6.5kafka自带压测命令Kaf...原创 2019-06-13 10:10:52 · 613 阅读 · 0 评论