
kafka
文章平均质量分 91
客 人
这个作者很懒,什么都没留下…
展开
-
发现kafka丢消息后的排查
背景: 最近在用kafka做消息中间件,producer从hive中读取消息发送到kafka,后端storm对消息分类发送到elasticsearch建立索引。问题: hive表中总共350万数据,当时整个全量索引结束后发现,最后索引条数总共310万左右。storm日志没有任何错误日志。排查: 首先排查storm consumer的问题,由于发现storm日志没有任何异常,所以第一步基本排除建索引程序的问题。storm 消费kafka用的官方storm-ka...转载 2020-06-09 21:58:31 · 499 阅读 · 0 评论 -
云计算
一、云计算总纲二、下面是章节部分目录: 2.1 JAVA基础: 2.2 Linux基础 2.3SQL优化 2.4Hadoop 2.0大数据 2.5SPARK+STORM+FLUME 2.6PYTHON 2.7统计学基础 2.8矩阵基础...原创 2019-05-29 21:10:33 · 1020 阅读 · 0 评论 -
kafka总结
一、为什么需要消息系统解耦:允许你独立的扩展或修改两边的处理过程 异步通信:很多时候,用户不想也不需要立即处理消息。消息队列提供了异步处理机制 缓冲:有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处理速度不一致的情况 顺序保证 灵活性和峰值处理能力 冗余:消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险 可恢复性:即使一个处理消息的进程...原创 2020-03-22 13:57:47 · 785 阅读 · 0 评论 -
RabbitMq、ActiveMq、ZeroMq、kafka比较
1)TPS(每秒事务处理量(TransactionPerSecond)比较:Kafka最高,RabbitMq 次之, ActiveMq 最差。2)吞吐量对比:kafka具有高的吞吐量,内部采用消息的批量处理,zero-copy机制,数据的存储和获取是本地磁盘顺序批量操作,具有O(1)的复杂度,消息处理的效率很高。rabbitMQ在吞吐量方面稍逊于kafka,他们的出发点不一样,rabb...转载 2018-04-29 16:24:18 · 360 阅读 · 0 评论 -
Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用
KafkaOffsetMonitor是一个可以用于监控Kafka的Topic及Consumer消费状况的工具,其配置和使用特别的方便。源项目Github地址为:https://github.com/quantifind/KafkaOffsetMonitor。 最简单的使用方式是从Github上下载一个最新的KafkaOffsetMonitor-assembly-0.2.1.jar,上传到某服...转载 2018-07-18 15:38:02 · 243 阅读 · 0 评论 -
Kafka三款监控工具比较
Kafka三款监控工具比较(转)在之前的博客中,介绍了Kafka Web Console这 个监控工具,在生产环境中使用,运行一段时间后,发现该工具会和Kafka生产者、消费者、ZooKeeper建立大量连接,从而导致网络阻塞。并且这个 Bug也在其他使用者中出现过,看来使用开源工具要慎重!该Bug暂未得到修复,不得已,只能研究下其他同类的Kafka监控软件。通过研究,发现主流的三种kaf...转载 2018-07-18 15:31:50 · 36865 阅读 · 2 评论 -
kafka配置文件server.properties
Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。官网配置地址: Configuration每个kafka broker中配置文件server.properties默认必须配置的属性如下: 1 broker.id=0 2 port=9092 3 num.network.threads=2 4 ...转载 2018-06-28 15:20:02 · 1990 阅读 · 0 评论 -
kafka详解
KafkaKafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Link...转载 2018-06-28 11:51:19 · 333 阅读 · 0 评论 -
kafka面试
1、请说明什么是Apache Kafka?Apache Kafka是由Apache开发的一种发布订阅消息系统,它是一个分布式的、分区的和重复的日志服务。2、请说明什么是传统的消息传递方法?传统的消息传递方法包括两种:排队:在队列中,一组用户可以从服务器中读取消息,每条消息都发送给其中一个人。发布-订阅:在这个模型中,消息被广播给所有的用户。3、请说明Kafka相对传统技术有什么优势?Apache ...转载 2018-06-04 21:39:38 · 566 阅读 · 0 评论 -
kafka与Spring的集成
准备工作kafka版本:kafka_2.10-0.10.1.0spring版本:spring4.3配置文件pom文件配置(也可以直接下载jar包)Kafka和spring集成的支持类库,spring和kafka通信监听1 <dependency>2 <groupId>org.springframework.integration</groupId>3 ...转载 2018-05-07 19:43:52 · 402 阅读 · 0 评论 -
kafka详解及搭建
一、基本概念介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢?首先让我们看几个基本的消息系统术语:Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行,可以由一个或多个服务组成...转载 2018-05-06 20:20:57 · 367 阅读 · 0 评论