qiezikuaichuan的专栏

概览flume-ng中最重要的核心三大组件就是source,channel,sinksource负责从源端收集数据，产出eventchannel负责暂存event，以备下游取走消费sink负责消费通道中的event，写到最终的输出端上以上是总体的一个简单结构图，下面我们来深入每一个组件的内部看看：1、Sourcesou

从bin/flume 这个shell脚本可以看到Flume的起始于org.apache.flume.node.Application类，这是flume的main函数所在。　　main方法首先会先解析shell命令，如果指定的配置文件不存在就甩出异常。　　根据命令中含有"no-reload-conf"参数，决定采用那种加载配置文件方式：一、没有此参数，会动态加载配置文件，默认每30秒

最近在弄一个信令数据汇聚的事情，主要目的是把FTP上的信令数据汇聚到HDFS上去存储。 逻辑是这样的：把FTP服务器上的文件下载到一台主机上，然后SCP到另外一台主机上的Spooling Directory Source所监控的目录下面去，sink是hdfs（这里解释一下，由于网络环境的因素，另一台不能访问到内网的FTP服务器，所以只能这样中转一下）。嗯，想法不错，逻辑上看上去也应该没啥问

2014-07-10 19:25 1239人阅读 评论(0) 收藏 举报转自：http://blog.youkuaiyun.com/morning_pig/article/details/9093149集群采用3台机器：[html] view plaincopyhost1 load-balance设置  host2 机器1  ho

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.youkuaiyun.com/colorant/==是什么 == 简单的说，Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue) 目标Scope（解决什么问题）

http://blog.youkuaiyun.com/hmsiwtv/article/details/46960053问题导读1.Kafka独特设计在什么地方？2.Kafka如何搭建及创建topic、发送消息、消费消息？3.如何书写Kafka程序？4.数据传输的事务定义有哪三种？5.Kafka判断一个节点是否活着有哪两个条件？6.producer是否

上一篇中分析了Scala版的console producer代码，这篇文章为读者带来一篇console consumer工作原理分析的随笔。其实不论是哪个consumer，大部分的工作原理都是类似的。本文利用console consumer作为切入点，既容易理解又不失一般性。 本文使用的Kafka环境是0.8.2.1版本，这也是当前最新的版本。(注：Kafka 0.9版本据说会

http://blog.youkuaiyun.com/jewes/article/details/42970799版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]Kafka的Log存储解析标签（空格分隔）： kafka引言Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立

http://blog.youkuaiyun.com/lizhitao/article/details/27199863apache kafka中国社区QQ群:162272557概览最近kafka server消息服务上线了，基于jmx指标参数也写到zabbix中了，但总觉得缺少点什么东西，可视化可操作的界面。zabbix中数据比较分散，不能集中看整个集群情况。或者一个cluster中

http://www.biglittleant.cn/2016/12/28/kafka-python/kafka-python-client-example安装kafka-pythonpip安装1pip install kafka-python源码安装12345678910### pipgit

对于Flume的三个组件全部选择是 很保险的三个组件  文件类型这样做的目的是什么？ 这样做的明显速度是非常的慢的。我们开启了这个Flume agentbin/flume-ng agent -n a1 -c conf -f conf/Source-Spoole-C-S-File.confran

（说明，名词对应解释 源-Source，接收器-Sink，通道-Channel）  配置   设置代理          Flume代理配置存储在本地配置文件。这是一个文本文件格式，是Java属性文件格式。在相同的配置文件，可以指定一个或多个代理的配置。配置文件包括每个源，接收器和通道，把它们连接在一起，形成数据流。   配置

转自：http://blog.youkuaiyun.com/luyee2010/article/details/183203511，作为Producer的Flume端配置，其中是以netcat为source数据源，sink是kafka[html] view plaincopyhadoop@stormspark:~/bigdata/

2015-05-12 11:27 239人阅读 评论(0) 收藏 举报从以上截图信息，就可以看出问题了，服务端和客户端连接信息对不上，服务端有很多ESTABLISHED的连接，其实是无用的。这种情况，起初，我也很奇怪，没有发现原因，只能查看日志了。通过日志信息，发现出现了异常，但是很奇怪，在异常信息之前，有一句Rpc sink {} clos

Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均衡。架构设计要点

2015-01-14 10:37 387人阅读 评论(0) 收藏 举报kafka目录(?)[+]Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序

前提前提是要先把flume和kafka独立的部分先搭建好。下载插件包下载flume-kafka-plus:https://github.com/beyondj2ee/flumeng-kafka-plugin把lib目录下的和package下的 都放到flume的lib目录修改原有

转自：http://blog.youkuaiyun.com/luyee2010/article/details/183203511，作为Producer的Flume端配置，其中是以netcat为source数据源，sink是kafka[html] view plaincopyhadoop@stormspark:~/bigdata/

这里只考虑flume本身的一些东西，对于JVM、HDFS、HBase等得暂不涉及。。。。 一、关于Source：　　1、spool-source：适合静态文件，即文件本身不是动态变化的；　　2、avro source可以适当提高线程数量来提高此source性能；　　3、ThriftSource在使用时有个问题需要注意，使用批量操作时出现异常并不会打印异常内容

有的时候希望通过Flume将读取的文件再细分存储，比如讲source的数据按照业务类型分开存储，具体一点比如类似：将source中web、wap、media等的内容分开存储；比如丢弃或修改一些数据。这时可以考虑使用拦截器Interceptor。flume通过拦截器实现修改和丢弃事件的功能。拦截器通过定义类继承org.apache.flume.interceptor.Interceptor接

一、什么是Flume?　　flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版

http://blog.youkuaiyun.com/hwz2311245/article/details/50983121版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]打包好的资源 Kafka-manager-1.3.07 - 卷1: http://download.youkuaiyun.com/detail/hwz2311245