tianjinsong的专栏

1.ClickHouse 提供了Kafka Engine 作为访问Kafka集群的一个接口（数据流）https://clickhouse.tech/docs/en/engines/table-engines/integrations/kafka/?spm=a2c4g.11186623.2.15.54096144mc3uXv缺点：不可单独按表设置入库大小，比如你想只有1条kafka数据落地clickhouse，可以实现，但比较麻烦2.clickhouse_sinker(推荐)https://g

http://blog.youkuaiyun.com/zhy_yz/article/details/5905637一、 Apache kafka基础介绍          1、kafka 是什么？             首先一句话： Apache Kafka 是一个分布式的消息流平台。其模式就是我们在设计模式中常用的出版-订阅模式。      一个流平台有三个核心关键：

http://blog.youkuaiyun.com/alphags/article/details/52862578?locationNum=10&fps=1本文内容主要参考自Apache Flume用户文档（http://flume.apache.org/FlumeUserGuide.html），由于关于Apache Flume 1.X的中文参考资料不是很多，所以这里将我部

https://blog.youkuaiyun.com/vegetable_bird_001/article/details/51858915主要优化原理和思路kafka是一个高吞吐量分布式消息系统，并且提供了持久化。其高性能的有两个重要特点：利用了磁盘连续读写性能远远高于随机读写的特点；并发，将一个topic拆分多个partition。要充分发挥kafka的性能，就需要满足这两个条件kafka读写的单位是p...

https://blog.youkuaiyun.com/isea533/article/details/73727485Apache Kafka 入门Kafka的基本配置和运行 Kafka命令详细介绍 Kafka-manager的基本配置和运行 Kafka API 简单用法 Spring Boot 集成KafkaKafka支持Linux和WIndows环境，本文运行环境使用Linux（Cen...

https://www.jianshu.com/p/d2cbaae38014前提: 只针对Kafka 0.9.0.1版本; 说是运维,其实偏重于问题解决; 大部分解决方案都是google而来, 我只是作了次搬运工; 有些问题的解决方案未必一定是通用的, 若应用到线上请慎重; 如有疏漏之处, 欢迎大家批评指正; 列表: Replica无法从leader同步消息 Broker到zk...

我的环境：JDK： 1.8.0_131 Gradle： Gradle 3.1 Kafka源码包： kafka-0.10.0.1-src.tgz Zookeeper安装包： zookeeper-3.4.6.tar.gz Scala版本： 2.10.6 提示在 D:\soft\kafka-0.10.0.1-src\build.gradle文件的230行有问题。解决办法：...

https://www.jishux.com/p/99a65efac1d9b17fKafka 集群部署环境 kafka 集群所用版本 0.9.0.1 集群部署了实时监控: 通过实时写入数据来监控集群的可用性, 延迟等; 集群故障发生集群的实时监控发出一条写入数据失败的报警, 然后马上又收到了恢复的报警, 这个报警当时没有重要,没有去到对应的服务器上去看下log, 恶梦的开始啊~~...

https://mp.youkuaiyun.com/postlist1 大数据处理的常用方法前面在我的另一篇文章中《大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例》中已经有提及到，这里依然给出下面的图示：前面给出的那篇文章是基于MapReduce的离线数据分析案例，其通过对网站产生的用户访问日志进行处理并分析出该网站在某天的PV、UV等数据，对应上面的图示，其走的就是离...

http://www.infoq.com/cn/articles/kafka-analysis-part-2Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时

http://blog.youkuaiyun.com/lizhitao/article/details/23743821*/apachekafka参考对kafka规划与思考发布/订阅kafka消息队列调研总体结构：kafka特性：可靠性（一致性)kafak系统扩展性k" style="margin:0px; padding:0px; font-size:20px; font-weight:norm

问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？ 一、入门    1、简介    Kafka is a distr

http://blog.youkuaiyun.com/catshitone/article/details/50462023１.下载kafka正式版，本文使用kafka_2.10-0.8.2.2（在此特别说明下，kafka_2.9.2-0.8.1.1.tgz由于版本相对较低的问题，好多.sh文件时缺少的，比如kafka-topics.sh，所以建议大家在安装的时候不要使用太老的版本，问题较多，

http://blog.youkuaiyun.com/allwefantasy/article/details/50663533 前言Kafka 我个人感觉是性能优化的典范。而且使用Scala开发，代码写的也很漂亮的。重点我觉得有四个NIOZero Copy磁盘顺序读写Queue数据结构的极致使用Zero-Copy 实际的原理，大家还是去Google下。这篇文章重点会分析这项技

http://www.jianshu.com/p/6b2e39ba7787前言在上文中我们介绍了 Kafka 的网络通信，本文打算详细分析 Kafka 的核心 —队列的设计和实现，来对 Kafka 进行更深一步的了解。如何设计队列队列是一种先进先出（FIFO）的数据结构，它是 Kafka 中最重要的部分，负责收集生产者生产的消息，并将这些消息传递给消费者。要实现一个队列

http://www.jianshu.com/p/fcc28b195fa9多线程的最大副作用: 并发.如果多个逻辑控制流在时间上发生了重叠, 就会产生并发.逻辑控制流是指一次程序操作.如读取或者更新内存变量的值.更新的并发性: 多线程同时更新内存值而产生的并发.分布式一致性目标:增加系统可用性, 防止因单点故障引起的系统不可用.提高系统的整体性能,

http://yonghuiyang.github.io/2015/12/04/kafka_data_store/数据存储Topic一类消息称为一个TopicTopic逻辑结构Topic可分为多个Parition;Parition内部保证数据的有序，按照消息写入顺序给每个消息赋予一个递增的offset;为保证数据的安全性，每个Pa

http://tech.meituan.com/kafka-fs-design-theory.htmlKafka是什么Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apach

https://read01.com/jzP2oD.html介绍：       Kafka是一个高吞吐量的分布是消息系统 ，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为多家不同类型的公司作为多种类型的数据管道（data pipeline）和消息系统使用。       现

原创文章，转载请务必将下面这段话置于文章开头处。　　本文转发自Jason’s Blog，原文链接　http://www.jasongj.com/2015/01/02/Kafka深度解析背景介绍Kafka简介　　Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证