Kafka
关注
分享
扫一扫
liyonghui123
唐山人士
展开
-
高性能消息系统——Kafka
什么是Kafka？引用官方原文： “Kafka is a distributed, partitioned, replicated commit log service.”它提供了一个非常特殊的消息机制，不同于传统的mq。官网：https://kafka.apache.org它与传统的mq区别？ 更快！单机上万TPS 传统的MQ，消息被消化掉后会被mq删除，而kafka中消息...原创 2014-06-24 13:51:09 · 113 阅读 · 0 评论 -
Kafka 配置说明 含0.8.1版server.properties
server.properties配置： server.properties中所有配置参数说明(解释)如下列表： 参数说明(解释)broker.id =0每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况...原创 2014-12-06 22:01:44 · 460 阅读 · 0 评论 -
kafka_2.9.2-0.8.1.1分布式集群搭建
准备3台虚拟机, 系统是RHEL64服务版.1) 每台机器配置如下:$ cat /etc/hosts # zookeeper hostnames: 192.168.8.182 zk1 192.168.8.183 zk2 192.168.8.184 zk3 2) 每台机器上安装jdk, zookeeper, k...原创 2014-12-06 21:43:52 · 172 阅读 · 0 评论 -
kafka迁移与扩容
参考官网site:http://kafka.apache.org/documentation.html#basic_ops_cluster_expansion https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.ReassignPartitionsTool...原创 2015-03-18 09:55:29 · 1067 阅读 · 0 评论 -
kafka_2.9.2-0.8.1.1伪分布式集群安装
Kafka版本：kafka_2.9.2-0.8.1.1官网：http://kafka.apache.org/官方文档：http://kafka.apache.org/documentation.html#quickstart下载解压[root@rs229 ~]# wget -c -P /root http://mirrors.cnnic.cn/apache/kafka/0.8.1.1...原创 2014-08-19 10:20:16 · 189 阅读 · 0 评论 -
kafka出现错误简单汇总
jetty.io.EofException java.io.IOException: Broken pipe解决办法：在环境变量中设置： export _JAVA_SR_SIGNUM=12 Connection reset by peer解决办法：1、关闭防火墙。2、zookeeper的连接数太多。修改zookeeper的连接数。...原创 2014-08-18 17:18:32 · 926 阅读 · 0 评论 -
Flume-1.5.0+Kafka_2.9.2-0.8.1.1+Storm-0.9.2整合
Flume-1.5.0+Kafka_2.9.2-0.8.1.1+Storm-0.9.2 分布式环境整合# 整合场景使用Flume监控指定目录，出现新的日志文件后将文件数据传到Kafka，最后由Storm从Kafka中取出数据并显示、、、# Flume+Kafka的整合# Flume的fks001.conf的配置文件监控指定目录/usr/local/yting/flume/tdata/td...原创 2014-07-22 10:12:40 · 422 阅读 · 0 评论 -
FlumeNG与Kafka整合
1，作为Producer的Flume端配置，其中是以netcat为source数据源，sink是kafka #agent section producer.sources = s producer.channels = c producer.sinks = r #source section #producer.sources.s...原创 2015-01-06 17:45:30 · 208 阅读 · 0 评论 -
kafka Failed to send messages after 3 tries
kafka Failed to send messages after 3 tries. 在kafka0.8开发过程中 生产者测试用例碰到了Exception in thread "main" kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries. at kafka...原创 2014-07-17 16:01:16 · 241 阅读 · 0 评论 -
Kafka版本0.8.0伪分布集群安装
kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。在这片博文中，作者简单提到了开发kafka而不选择已有MQ系统的原因。两个原因：性能和扩展性。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（...原创 2014-07-16 21:08:38 · 169 阅读 · 0 评论 -
kafka开发实例
1.启动kafka。//启动zookeeper server (用&是为了能退出命令行)：bin/zookeeper-server-start.sh config/zookeeper.properties & //启动kafka server: bin/kafka-server-start.sh config/server.properties &...原创 2014-07-16 20:59:44 · 350 阅读 · 0 评论 -
storm hbase和storm-kafka-0.8-plus兼容性问题
1 org.slf4j.impl.StaticLoggerBinder.SINGLETON错误方案：确保slf4j-api-1.5.6.jar 和slf4j-log4j12-1.5.6.jar 版本一致如果发布，pom中其他依赖的jar包排除上面两个 2 本地调试不行，在LocalCluster cluster = new LocalCluster();突然停...原创 2014-07-12 21:52:35 · 132 阅读 · 0 评论 -
flume-ng+Kafka+Storm+HDFS 实时系统组合
flume-ng+Kafka+Storm+HDFS 实时系统组合 1）.数据采集负责从各节点上实时采集数据，选用cloudera的flume来实现2）.数据接入由于采集数据的速度和数据处理的速度不一定同步，因此添加一个消息中间件来作为缓冲，选用apache的kafka3）.流式计算对采集到的数据进行实时分析，选用apache的storm4）.数据输出对...原创 2014-07-10 14:05:44 · 172 阅读 · 0 评论 -
kafka_2.9.2-0.8.1.1分布式集群搭建代码开发实例
准备3台虚拟机, 系统是RHEL64服务版.1) 每台机器配置如下:$ cat /etc/hosts # zookeeper hostnames: 192.168.8.182 zk1 192.168.8.183 zk2 192.168.8.184 zk3 2) 每台机器上安装jdk, zookeeper, kafk...原创 2014-06-24 14:44:19 · 330 阅读 · 0 评论 -
apache kafka监控系列-KafkaOffsetMonitor
开源社区提供了kafka的web管理平台KafkaOffsetMonitor.就迅速拿过来运行。 说明： 这个应用程序来实时监控你kafka服务的consumer以及他们在partition中的offset(偏移)。 你可以浏览当前的消费者组，每个topic的所有partition的消费 情况都可以一览无余。这其实是很有用得，从这里你很快知道每个partit...原创 2014-12-07 22:06:22 · 182 阅读 · 0 评论