世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。

RocketMQ定位于非日志的可靠消息传输（日志场景也OK），目前RocketMQ在阿里集团被广泛应用在订单，交易，充值，流计算，消息推送，日志流式处理，binglog分发等场景。RocketMQ的同步刷盘在单机可靠性上比Kafka更高，不会因为操作系统Crash，导致数据丢失。同时同步Replication也比Kafka异步Replication更可靠，数据完全无单点。

produce启动的时候参数使用的是kafka的端口而consumer启动的时候使用的是zookeeper的端口；必须先创建topic才能使用；topic本质是以文件的形式储存在zookeeper上的。

本篇文章介绍Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory，主要内容包括基础应用、实用技巧、原理机制等方面，希望对大家有所帮助。kafka是由scala和java编写的。因此须要调一些jvm的参数。java的内存分为堆内内存和堆外内存。-Xms2048m, -Xmx2048m，设置的是堆内内存。-Xms是初始可用的最大堆内内存。-Xmx设置的是最大可用的堆内内存。两者设置成同样是由于效率问题，可让jvm少作一些运算。若是这两

在公钥密码学（也称为非对称密码术）中，加密机制依赖于两个相关的密钥，一个公钥和一个私钥。公钥用于加密消息，而只有私钥的所有者才能解密消息。X.509是定义公钥证书格式的标准。 因此，这种格式描述了其他信息中的公钥。DER是最流行的编码格式，用于在文件中存储 X.509 证书、PKCS8 私钥等数据。这是一种二进制编码，无法使用文本编辑器查看生成的内容。PKCS8是用于存储私钥信息的标准语法。可以选择使用对称算法对私钥进行加密。该标准不仅可以处理 RSA 私钥，还可以处理其他算法。PKCS8 私钥通常通过 P

kafka被设计成通用的数据流处理平台，日志收集器和消息队列。高吞吐（日志聚合）：大型数据块的整合（offline 平台的拉取）低延迟（消息队列）分区、分布式的实时流处理，从一个流派生新的流；容错（当被投喂非日志数据时）为了支持这些特性，一系列组件被开发，使得kafka更像是一个DB的日志收集系统，而不是消息队列。选择用文件系统，而不是把日志存进进程的缓存再统一flush，有以下理由：顺序读写是随机读写的3000x（机械硬盘）OS disk page cache收益很大，有时缓存进进程反而是double c

生产者分区投递原则的简单介绍：即Consumer或者Topic自身发生变化时，会触发Rebalance。通过Topic的一个partition只能给一个分组中的一个消费者消费，所以实现了一个分组中的每台服务器只能接收到一个Topic中的消息是不会重复的。kafka的partition和Replica全部都是均匀的分散在各个broker中，包括leader也分散到各个broker中避免broker热度过高，partition的分散实现了broker的负载均衡。Replica的分散实现了broker同步数据时

kafka就是一个流处理平台，是一个高效和实时具有发布订阅模式、分布式的、多副本的消息系统，kafka具有横行扩展，高容错，高性能的特点。

Kafka 为每个 Partition 维护了一个 AR（Assigned Replicas）列表，由 ISR（In-Sync Replicas，与 Leader 数据同步的 Replica）和OSR（Outof-Sync Replicas，与 Leader 数据不同步的 Replica）组成。

消费者可以从broker中读取数据。一个消费者可以消费多个topic中的数据（其中一个partion）

Kafka是一个分布式的基于发布/订阅模式的消息队列（message queue），主要应用于大数据的实时处理领域。

kafka架构与原理Kafka的介绍和历史Kafka是最初由Linkedin公司开发，是一个分布式(Distribute)、分区(Partition)的、多副本(Replica)的、多生产者(Producer)、多订阅者(Consumer)。最初是基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kakfa的概念和定义【Kafka】是一