冬的博客

首先，kafka是什么：kafka 是一个分布式消息队列系统，用于大数据分析，其中主要是日志分析系统：然后思考一下以下几个场景: 我想分析一下用户行为（pageviews），以便我能设计出更好的广告位 我想对用户的搜索关键词进行统计，分析出当前的流行趋势。这个很有意思，在经济学上有个长裙理论，就是说，如果长裙的销量高了，说明经济不景气了，因为姑娘们没钱买各种丝袜了。 ...

上一篇介绍了kafka的特点，这篇来记录kafka的主要工作方式： 1.创建Topic， 2. 生产者生产 3.消费者消费首先 创建 一个 test topic， 命令如下：./kafka-topics.sh --zookeeper 172.28.201.217:2181 --create --topic test --replication-factor 2 --partitions...

分布式事件流处理已逐渐成为大数据领域的热点话题。该领域主要的流处理引擎（SPE）包括 Apache Storm、Apache Flink、Heron、Apache Kafka（Kafka Streams）以及 Apache Spark（Spark Streaming）等。处理语义是围绕 SPE 最受关注，讨论最多的话题之一，其中“严格一次（Exactly-once）”是很多引擎追求的目标之一，很多...

转自：https://www.cnblogs.com/pilihaotian/p/5830754.html　　 我们通常用用_catAPI检测集群是否健康。 确保9200端口号可用: 　　curl 'localhost:9200/_cat/health?v'　　...

上一篇 介绍了kafka的命令行使用，这一篇主要介绍 Consumer 客户端的参数设置（搬运官网 http://kafka.apache.org/documentation/#consumerconfigs）kafka consumer 参数 意义及设置 名称 描述 类型 默认值 有效值 重要等级 key.deserializer key值 反序列化...