- 博客(6)
- 收藏
- 关注
RSS订阅原创 贫农的大数据之四(Storm简介及开发)
Storm是一个分布式实时计算系统 Storm特点： 速度快 - 每个节点每秒能处理百万级的数据 扩展性好 - 集群本身扩展简单；Topology的每个部分的并行数都能轻易的进行调节；线上环境能够随时进行rebalance，重新分配系统资源的占用 容错能力强 - 当Woker死掉，Storm会自动重启它；当节点死掉，运行在它上面的Worker会被重新分配到新的
2014-04-29 17:38:08
1242
原创 贫农的大数据之三(Storm集群部署)
Kafka集群部署 部署环境 实体机2台，CPU：4核，内存：8G，硬盘：SAS 600G RAID1，网卡：1000M。 ip分别为192.168.0.136，192.168.0.137。系统均为Centos 6.3 软件版本 SUN JDK 1.6 Zookeeper 3.4.5 ,这里我使用了3个节点的集群分别为：zkserver1,zks
2014-04-29 17:23:56
1176
原创 贫农的大数据之一(设计篇)
所在部门的主要职责是为公司生产的设备提供统一的业务管理平台，相对来说搞数据只是个贫农，没有土豪那么多的人力，也没有土豪那样成百上千台机器的集群，但是贫农也有追求大数据的幸福啊----其实是被领导逼得，之前的MySQL+ETL随着业务量的增长已经无法满足需求，不得不调整。 虽然是贫农，但是该有的还是要有，该用的还是得用，要做就尽量做到最好吧。下面就直接进入正题了 设计目标： 能够尽快投
2014-04-23 17:15:07
867
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人