静湖微风

十道海量数据处理面试题与十个方法大总结 http://blog.youkuaiyun.com/v_july_v/article/details/6279498 海量数据处理面试题集锦与Bit-map详解 http://blog.youkuaiyun.com/v_july_v/articl

了解 NoSQL 的必读资料     http://blog.youkuaiyun.com/DL88250/article/details/5191092NoSQL开篇-为什么要使用NoSQL   http://www.infoq.com/cn/news/2011/01/nosql-whyNoSQL学习笔记 — 开篇     http://www.cnblogs.com/bmlzf/archive/2

问题: 日志文件是从若干台线上服务器用工具自动同步到HDFS,  每天几百G,  要统计某个字段的出现次数.先后尝试过以下方法:1.最初是用php写的mapreduce脚本.  少量测试文件ok, 但真正那hdfs中日志跑起来, 内存占用超高,  ini_set("memory_limit", "800M");时hadoop任务仍然以超内存限制失败.   但用memory_ge

原文:http://blog.sina.com.cn/s/blog_6e273ebb0100pid0.html长期一来，Hadoop因为其Java实现带来的性能问题而饱受争议，同时也涌现了很多方案来缓解这一问题。Jeff Hammerbacher（Cloudera首席科学家）曾在Quora上写过这样一段：---------------------------------------

原文:http://cloud.youkuaiyun.com/a/20111124/308082.html导读：尽管还存在安全等问题，但Hadoop已经为部署在大企业中的大型项目做好准备。Hadoop作为Apache的顶级开源项目，主要被应用于分析大数据集，现今已被包括eBay、Facebook、Yahoo、AOL和Twitter等互联网公司广泛采用。而就在上个月微软、IBM和甲骨文也都纷纷拥抱Had

用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库1. 基于Hadoop+Hive架构对海量数据进行查询：http://blog.youkuaiyun.com/kunshan_shenbin/article/details/71053192. HBase 0.90