大数据训练营

kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：· 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。· 高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。· 支持通过kafka服务器和消费机集群来分区消息。· 支持Hadoop并行数据加载。Kafka的目的是提供一个发布订阅解决方案，它可

kafka-0.8.2 新特性　　producer不再区分同步（sync）和异步方式（async），所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的r

编译kafka 0.8.2.2,解决bug kafka.common.InvalidTopicException: topic name kafka:h5_send_msg is illegal, contains a character other than ASCII alphanumerics, '.', '_' and '-'一: 背景说明异常信息:[2017-10-2

原创文章，转载请务必将下面这段话置于文章开头处。（已授权InfoQ中文站发布）本文转发自Jason’s Blog，原文链接　http://www.jasongj.com/2015/06/08/KafkaColumn3摘要　　本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failo

Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或者多台机器宕机的可能性大大提高，对Failover要求非常高。

Kafka producer的ack有3中机制，初始化producer时的producerconfig可以通过配置request.required.acks不同的值来实现。0：这意味着生产者producer不等待来自broker同步完成的确认继续发送下一条（批）消息。此选项提供最低的延迟但最弱的耐久性保证（当服务器发生故障时某些数据会丢失，如leader已死，但producer并不知情

版本: kafka_2.11-0.8.2.2client:java-client现象: kafka写入数据失败,没有异常信息.kafka客户端生产者日志:服务器一:2016-04-25 10:53:31,764 ERROR org.apache.kafka.common.utils.KafkaThread: Uncaught exception in kafka-pro

本文转发自Jason’s Blog，原文链接　http://www.jasongj.com/2015/12/31/KafkaColumn5_kafka_benchmark摘要　　本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能，以及如何使用Kafka Manager监控Kafka的工作状态，最后给出了Kafka的性能测试报告。

方案:两台采集机器pc1,pc2.有两个写hdfs的sink,分别部署到两台机器,然后两个负载均衡的agent,也是分布部属到两台机器上,每一个agent都是写到两个hdfs sink的source端. 配置:*******************************************hdfs sinkhdfs-sink.sources = r1hdfs-sink.si...

原创文章，转载请务必将下面这段话置于文章开头处。　　本文转发自Jason’s Blog，原文链接　http://www.jasongj.com/2015/01/02/Kafka深度解析背景介绍Kafka简介　　Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数

单节点安装:Ip:single:192.168.1.1861.下载:http://kafka.apache.org/downloads.html 下载源码或者对应scala版本的bin包 2.解压[root@single cloud]# tar -zxvf kafka_2.10-0.8.2-beta.tgz -C /cloud/ 3.进入解压目录[root@sing

一、Kafka简介本文综合了我之前写的kafka相关文章，可作为一个全面了解学习kafka的培训学习资料。12转载请注明出处 : 本文链接1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息如何分析它如何及时做到如上两点以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信...