hxyerui的博客

个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章：1.一个好的项目架构应该具备什么特点？2.本项目架构是如何保证数据准确性的？3

Storm中一些重要的概念：Spout（消息源）Bolt（消息处理者）Stream grouping（数据的分发方式）Topology（拓扑）Worker（工作进程）Task（执行具体逻辑的任务）Executor（执行Task的线程）Configuration（配置）编程模型：物理模型：worker进程：

在storm环境部署完毕，并正确启动之后，现在就可以真正进入storm开发了，按照惯例，以wordcount作为开始。这个例子很简单，核心组件包括：一个spout，两个bolt，一个Topology。spout从一个路径读取文件，然后readLine，向bolt发射，一个文件处理完毕后，重命名，以不再重复处理。第一个bolt将从spout接收到的字符串按空格split，产生word，发

1. 安装Redis版本：win-3.0.501https://github.com/MSOpenTech/redis/releases页面有，我下载的是zip版本的：Redis-x64-3.0.501.zip；最好也下载源代码的zip包。将redis解压，如解压到d:\opt\redis(压缩包内无文件夹)2. 安装Rubyhttp://dl.bint