大壮的博客

kafka实际操作管理1.查看topickafka-topics --list --zookeeper pro-app-175:21812.kafka帮助kafka-topics--help3.demo创建topickafka-topics --create --zookeeper pro-app-175:2181 --replication-factor 2 --partitions 6 --topic log_monitor...

调研过flume，目前采用datax，但是都是具有侵入式，即使再增量也会影响服务器性能，详细藐视可以查看我以前的文章。调研flume、cannal、outter、maxwell最后无侵入式的，实时的。主要区别：1、虽然Maxwell不能直接支持HA，但是它支持断点还原，即错误解决后重启继续上次点儿读取数据。2、Canal是服务端，数据过来了并不能直接写出去，需要一个客户端：s...

本文的主要目的就是为了实现以下需求： 通过flume收集日志； 将收集到的日志分发给kafka； 通过sparksteaming对kafka获取的日志进行处理； 然后将处理的结果存储到hdfs的指定目录下。 第一步，我们创建flume配置文件，直接在cm上面改就行了。a1.sources = r1a1.channels = c1...

因为发现有人抄袭我的文章，所以有需要cdh版本做搭建的朋友在下方留言，我提供文档。

已经搞定了开发环境，很快需求就要下来.话不多说，我们开始配置一下先研究部分实时部分的代码逻辑，提供将来实时计算逻辑。[root@node1 ~]# cat kafka_output.sh for((i=0;i<=1000;i++));do echo "hello world haha haha hello haha haha kafka_test-"+$i>...

实时计算部分代码开发 1.首先我们来说一下cdh搭建flume flume非常的简单，直接cdh就可以集成了，不多赘述 用cdh非常的简单，接下来说一下kafka的集成吧，而kafka 则相对比较麻烦点，需要下载kafka的服务描述jar包 ...

一、现将kafka调通 查看zookeeper的topiccd /usr/software/zookeeper/zookeeper/bin./zkCli.sh startls /brokers/topics 先来说一下，删除kafka无用topic./kafka-run-class.sh kafka.admin.DeleteTopicCommand --zooke...

准备做实时数据计算。数据源为mysql的20张表吧。通过flume解析binlog日志，然后sink到kafka，由sparkstreaming消费，实时处理业务数据生成目标数据写到我们的mysql中。 一.mysql搭建0. 检查是否已安装并删除已安装的包yum list installed mysql* yum remove mysql-community-clien...

kafka单节点搭建（创建topic让producer为consumer提供消息）kafka是一种高吞吐量的分布式发布订阅消息系统，了解topic创建然后producer提供消息给consumer 移除点击此处添加图片说明文字​在很多的场景我们使用到了kafka，现在我们开始搭建单机版本kafka，理论我们放到另一篇来说。准备工作： 移除这里写图片描述上述的

kafka原理简介并且与RabbitMQ的选择kafka原理简介，rabbitMQ介绍，大致说一下区别 Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 消息的发布描述为producer，消息的订