u010627840的专栏

1.背景 最近在接触实时大数据框架Storm，要求延时在秒级，需求包括用户转账实时APP和短信通知，新股破板通知等；数据规模在每天百万级，高峰期每秒1000。2.架构设计2.1 分块 该系统主要包括三部分：数据采集模块，数据加工模块，数据推送模块。 数据采集模块通过接收对应Topic的Kafka消息来实现，需要根据数据量设置分区个数，数据保留周期，数据发送准确级别（不重发，漏发）；

最近在整理kafka相关的资料，其中有一些常用的命令，因此记录下来。作为一款生产者消费者模式的框架，最基本的功能就是发送数据和接收数据。1.发送数据命令>kafka-console-producer.sh --broker-list 192.168.70.188:9092,192.168.70.189:9092 --topic kafka-entrust-test-12

1. Hbase介绍 Hbase是一种分布式的,多版本的,面向列的,半结构化的,稀疏的,多维的,排序的组件. Hbase表可以理解为一个3维Map,包括row key, column(family+qualifier),timestamp 分布式: 将数据切分成多个region 持久化: 底层为HDFS ...