anjing900812的博客

kafka SimpleConsumer API

1手写快速排序，算法和算法导论两个版本；链表的快排；单链表中交换指定的两个节点；ok，leetcode刷题找未排序数组中的中位数：partition选择排序；流式数据的中位数：同时使用最大堆和最小堆；两个已排序数组的中位数？lt数组右旋、字符串旋转；海量数据：统计一分钟内查询关键词的TOK10，划分、负载均衡、一致性哈希、先统计部分结果、修改进行hash的key（uid#1）进一步划分

原文链接：http://www.cnblogs.com/kgdxpr/p/3381974.htmlActiveMQ简介1.  什么是ActiveMQActiveMQ是一种开源的，实现了JMS1.1规范的，面向消息(MOM)的中间件，为应用程序提供高效的、可扩展的、稳定的和安全的企业级消息通信。ActiveMQ使用Apache提供的授权，任何人都可以对其实现代码进行修改。Active

原文链接：http://www.cnblogs.com/chenpingzhao/p/5262050.html一、消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题实现高性能，高可用，可伸缩和最终一致性架构使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ二、消息队

ImplementationLog        现有一个topic“my_topic”，两个分区，则在配置选项“log.dirs”指定的存储日志文件的目录下有两个文件夹：my_topic_0和my_topic_1。        每个文件夹下面有.index和.log两种类型的文件，.log由本文件内第一条消息的offset命名；每个日志文件大小不得超过指定值；        .

Replication        kafka中一个topic有若干分区，以分区为单位进行备份。创建topic时可以指定该topic的分区个数以及副本数m，一个partition有一个leader broker以及(m-1)个follower broker。follower像普通的consumer那样从leader同步消息，producer和consumer只和leader进行通信交互。所以

继续上一篇。The consumer：      kafka的消费者通过向broker发送“fetch”请求获取他要消费的partition的信息。消费者在每个请求中标记他已经消费到的offset值，broker将以该offset作为起始位置的a chunk of log即一批消息返回给consumer。可见消费者自己维护消费状态，broker是无状态的，如有需要可重复消费。Push

DesignPersistence：    kafka高度依赖于文件系统来存储和缓存消息。对于磁盘的正确认识：对磁盘的线性读写比随机读写快很多倍，且有研究表明：对磁盘的线性读写在有些情况下可以比内存的随机访问要更快！Efficiency：    在消息队列系统中，如果磁盘的因素被排除之后(线性读写磁盘的速度并不那么慢)，还有两个原因会导致inefficiency：太多IO操作（to

Apache kafka：一个高吞吐量的分布式发布订阅消息系统        从最初的了解、学习kafka，到后来基于其API进行开发，再到后来有意识地了解其实现原理，是一个漫长的过程。趁周末有空梳理一下期间读过的官方文档、技术博客等，以便自己日后复习。特性如下：Fast：单台broker节点每秒便可处理来自数千个client的(hundreds of megabyte

开发的hadoop-consumer程序周期性重启，在程序运行日志中也找不到异常。后来才发现是因为：1、try catch中使用e.printStackTrace()，本以为出现异常时会打印日志。但程序的日志直接输出至屏幕，然后写了一个shell脚本将其重定向至一个文件，郁闷的是异常信息并没有写入日志文件中，所以发现不了这个错误；2、在catch中增加了system.out.print

增强版的hadoopconsumer，消费kafka中的消息，存储至hdfs