weixin_44327656的博客

简介        Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布

简介        在分布式系统中，消息系统的应用十分广泛，消息可以作为应用间通信的一种方式。消息被保存在队列中，直到被接收者取出。由于消息发送者不需要同步等待消息接收者的响应，消息的异步接收降低了系统集成的耦合度，提升了分布式系统协作的效率，使得系统能够更快地 响应用户，提供更高的吞吐。当系统处于峰值压力时，分布式...

背景在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。如何准确、高效地把MySQL数据同步到Hive中？一般常用的解决方...

Curator简介        Curator是Netflix公司开源的一套Zookeeper客户端框架，可以在其基础上进行封装、实现一些开发细节，包括接连重连、反复注册Watcher和NodeExistsException等，应用场景：Recipe、共享锁服务、Master选举机制和分布式计数器等。...

SparkStreaming读取kafka数据的方式官网：http://spark.apache.org/docs/latest/streaming-kafka-0-8-integration.html#approach-2-direct-approach-no-receivers方式一：Approach 1: Receiver-based Approach（基于Receiver方式）方式二：Ap...

Log4j写入文件 ### 设置###log4j.rootLogger = debug,stdout,D,E### 输出信息到控制抬 ###log4j.appender.stdout = org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.Target = System.outlog4j.appender.stdout.layo...

查询集群描述bin/kafka-topics.sh --describe --zookeeper bigdata001:2181---------------------------输出----------------------------------Topic:test000 PartitionCount:3 ReplicationFactor:2 Configs: Top...

我们都知道，Kafka的特性之一就是高吞吐率，但是Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，那么Kafka为什么速度那么快？即使是普通的服务器，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kafka在日志处理等海量数据场景广泛应用。写入数据Kafka会把收到的消息都写入到硬盘中，它绝对不会丢失数据。为了优化写入速度...