草上爬的博客

一.编译librdkafka环境：Fedora 20，32位依赖：pthreads（必选），zlib（可选），libssl-dev（可选），libsasl2-dev（可选）先查看自己的linux上是否安装了pthreads，指令如下：# locate libpthread因为我之前安过了，所以可以直接编译librdkafka，没有安的下个pthreads的源码——con

kafka是一个分布式的流式平台，它到底是什么意思？流式平台有以下三个主要的功能：☆发布和订阅流记录，类似消息队列或企业级的消息系统。☆你以一种容错的方式存储流记录。☆当流记录产生时及时处理。kafka被用于两大类别的应用程序:☆建立实时的流式数据通道，这个通道能可靠的获取到在系统或应用间的数据☆建立实时流媒体应用来转换流数据或对流数据做出反应。为了明白kafka能怎么做这些事情，让我们从下面开始...

今天在用下面的指令启动kafa的时候报错了：# bin/kafka-server-start.sh config/server.properties &错误信息如下：[2018-04-11 16:27:31,185] ERROR [KafkaServer id=0] Fatal error during KafkaServer startup. Prepare to shutdown (

在kafka的编译和使用中说明了kafka环境的搭建和本机自测。但是如果在外部电脑上启动生产者和消费者，并不能进行消息的发布和订阅，会报解析服务器hostname失败的错误。解决的方法有两个：1.将服务器的IP和计算机名信息添加到外部电脑的/etc/hosts文件，添加方法参考：https://blog.youkuaiyun.com/caoshangpa/article/details/798

一.kafka的使用kafka官网提供了编译好的二进制包，下载即用http://kafka.apache.org/downloads。最新版本的是1.1.0Kafka是使用scala编写的运行于jvm虚拟机上的程序，虽然也可以在windows上使用，但基本上是运行在linux服务器上，因此我们这里也使用linux（Fedora 20）来开始今天的实战。首先确保你的机器上安装了jdk，k

操作指令如下：将topic gome中的partition增加到10个bin/kafka-topics.sh --alter --zookeeper 10.112.179.12:2181 --partitions 10 --topic gome具体参数的含义可以通过执行bin/kafka-topics.sh来查看，如下所示：