1.kafka create topic kafka-topics.sh --create --bootstrap-server 172.19.68.12:9092 --replication-factor 1 --partitions 1 --topic dev-yuqing-topic-test 2.kafka producer kafka-console-producer.sh --broker-list 172.19.68.12.9092 --topic dev-yuqing-topic-t.

启动：bin/kafka-server-start.sh config/server.properties --nohup 创建topic：/bin/katopics.sh --create --zookeeper 172.16.29.231:2181 --replication-factor 1 --partitions 1 --topic topic1 kafka查看topic和消息内容命令： /bin/kafka-console-consumer.sh --zookeeper localhost:..

先上图 运行界面 运行了三个任务 第一个是word count 第二三个是 数据 producer and  consumer ----> 更多代码 可以参考上一篇blog 里面有很详细的介绍 在数据从idea 导出jar 包 已经 运行的过程中遇到两个问题   1，导出时候 因为是单机环境 需要把 kafka 等相关的依赖 一起导出  参考这个blog  ，主要是要勾选...

想在windows 下 ，搭建一个spark kafka 的 最简单的实时流计算： python 随机生成0-100 的随机数据，发送给spark 进行统计 scala  2.11 python 3.5 java 1.8 kafka_2.11-0.11.0.0.tgz zookeeper-3.4.9.tar.gz spark 2.2 step 1 zk  配置  ,启动zk

package com.xing.stream import kafka.serializer.StringDecoder import org.apache.spark.SparkConf import org.apache.spark.streaming.kafka.KafkaUtils import org.apache.spark.streaming.{Seconds, Streamin

启动powershell PS > cd 'C:\Program Files\Metricbeat' PS C:\Program Files\Metricbeat> .\install-service-metricbeat.ps1 C:\Program Files\Metricbeat\metricbeat.yml PS C:\Program Files\Metr

原文 http://www.aboutyun.com/thread-9341-1-1.html 问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的目的的根本原因是什么？

1.列举spark 比hadoop 快的原 因 ，以及现在存在的主要问题 2.描述下使用spark streaming 和 GraphX实现实时计算的可行性，以及可能会遇到的问题 3.GraphX的Pregel API 只支持有向图遍历  ，如何实现无xiang 遍历，描述思路 4.SPark 通过yarn 提交任务时，yarn-client & yarn-cluster 的区别

案例介绍与编程实现 1. 案例介绍 该案例中，我们假设某论坛需要根据用户对站内网页的点击量，停留时间，以及是否点赞，来近实时的计算网页热度，进而动态的更新网站的今日热点模块，把最热话题的链接显示其中。 2. 案例分析 对于某一个访问论坛的用户，我们需要对他的行为数据做一个抽象，以便于解释网页话题热度的计算过程。 首先，我们通过一个向量来定义用户对于某个网页的行为即点击

Kafka 集群搭建步骤 1. 机器准备 本文中，我们将准备三台机器搭建 Kafka 集群，IP 地址分别是 192.168.1.1，192.168.1.2，192.168.1.3，并且三台机器网络互通。 2. 下载并安装 kafka_2.10-0.8.2.1 下载地址: https://kafka.apache.org/downloads.html 下载完成后，上传到目标机器中的一个，

Kafka 是一个分布式的，高吞吐量，易于扩展地基于主题发布/订阅的消息系统，最早是由 Linkedin 开发，并于 2011 年开源并贡献给 Apache 软件基金会。一般来说，Kafka 有以下几个典型的应用场景:     作为消息队列。由于 Kafka 拥有高吞吐量，并且内置消息主题分区，备份，容错等特性，使得它更适合使用在大规模，高强度的消息数据处理的系统中。     流计算系统的

大数据技术之Kafka

/software/kafka/kafka-0.9.0.1/bin/kafka-server-start.sh /software/kafka/kafka-0.9.0.1/config/server.properties & /software/kafka/kafka-0.9.0.1/bin/kafka-console-producer.sh --broker-list hadoop1:9092