robinjun的专栏

Redis应用介绍 1 Redis简介NoSQL数据库Ø  NoSQL=Not Only SQL，是非关系型的数据库。是以Key-Value的形式存储，不一定遵循传统数据库的一些基本要求，例如：SQL标准、ACID属性（原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）、结构化表结构等。Ø  主要特性：非

Storm 入门(wuchangjun)摘要  互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求，软件行业除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前，很多银行别说实时转 账，连实时查询都做不到，但是数据库和高速网络改变了

Hadoop-Eclipse插件编译1.下载hadoop 1.2.1 （http://hadoop.apache.org/releases.html#Download），解压在自定义的一个目录中（最好全英文路径，试过中文路径除了问题）。2.Eclipse导入..\hadoop-1.2.1\src\contrib\eclipse-plugin项目，默认项目是MapReduceTo

Hadoop- Zookeeper-Hbase搭建

1. Impala架构       Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS

先来说下Hive中内部表与外部表的区别： Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径， 不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除， 而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。 需要注意的是传统数据库对表数据验证是 schema on wr

“Stream”是Trident中的核心数据模型，它被当做一系列的batch来处理。在Storm集群的节点之间，一个stream被划分成很多partition（分区），对流的操作（operation）是在每个partition上并行进行的。注：①“Stream”是Trident中的核心数据模型：有些地方也说是TridentTuple，没有个标准的说法。②一个stream被划分成很多pa

Trident是在storm基础上，一个以实时计算为目标的高度抽象。 它在提供处理大吞吐量数据能力（每秒百万次消息）的同时，也提供了低延时分布式查询和有状态流式处理的能力。 如果你对Pig和Cascading这种高级批处理工具很了解的话，那么应该很容易理解Trident，因为他们之间很多的概念和思想都是类似的。Tident提供了 joins, aggregations, grouping, fun

1. 介绍Flume 是 Cloudera 提供的日志收集系统，具有分布式、高可靠、高可用性等特点，对海量日志采集、聚合和传输，Flume 支持在日志系统中定制各类数据发送方，同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。Flume 使用 java 编写，其需要运行在 Java1.6 或更高版本之上。官方网站：http://flume.apache.org/用