
云计算
doliu6
这个作者很懒,什么都没留下…
展开
-
Hadoop生态系统(Hadoop Ecosystem)
Hadoop内部:MapReduce分布式编程处理模型HDFS分布式文件系统Zookeeper分布式集群协商服务软件HBASE类似BigTable,基于列存储非结构化数据Hive数据仓库Pig创建mapreduce程序的高级脚本语言Flumecloudera提供日志手机系统Sqoop与关系数据库转移工具HueCloudera提供用原创 2012-01-19 16:33:36 · 2666 阅读 · 0 评论 -
HBase模式设计之ID顺序增长(rowkey顺序增长)
在设计RowKey的时候,常常有应用的RowKey必须包含ID部分,这样才可以支持查询访问。但ID自增长,会导致写入数据的时候压力集中在某一个或少数几个Region上,这是HBase设计的大忌。 经过多个应用的实践,我创造了ID的二进制反转的方式来避免。 简单说明: 比如ID是Byte型(一般为int或者long,此处为方便解释),RowKey=ID+timestamp,1,2,3原创 2013-09-24 02:14:12 · 7861 阅读 · 1 评论 -
利用开源软件架设中小型私有云存储系统【简要选型】
本文给出了可行的开源参考。应当以一种敏捷、快速和高效的方式开始云存储服务的旅程。并不是所有的舰艇都是航母,没有最好的软件,只有最合适的。因此开始你的旅程吧。这里建议多种利用开源系统实现的私有云存储实现方案,快捷迅速。对于公有云存储,如果没有经验,更多的技术和系统要求,需要实践积累,因此不做推荐。Hadoop、HBase、FastDFS...原创 2013-10-23 05:32:50 · 4279 阅读 · 3 评论 -
SQL到NoSQL概览性总结之一 数据库应用场景选型
面对不同的场景,不知道数据应该怎么存储?数据量很大?查询很复杂?数据库到底该怎么用?请持续关注该系列原创 2013-11-01 00:20:37 · 2161 阅读 · 0 评论 -
HBase入门到精通——培训资料分享
包括:《大数据存储之道-HBase介绍》《HBase设计:用与不用的智慧》《HBase使用之基础与原理》《HBase使用之建模与使用》另外深度实践篇和系统调优篇主要是经验,可以从网络收集。主要内容包括:应用层设计模式、架构(多级缓存设计、混合数据源使用)、优化配置如scan一次获取的条数,notcpdelay,重试机制等,也可以看asynchbase客户端代替原生hbase原创 2014-01-23 15:49:16 · 1741 阅读 · 1 评论