蓝刺的博客

from http://blog.51cto.com/balich/20620521、操作系统环境配置1.1、操作系统环境主机名IP地址角色Hadoop用户hadoop-master192.168.30.60NameNode、ResourceManager、SecondaryNameNodehadoophadoop-slave01192.168.30.61DataNode、NodeManagerh...

    最近一直在看Hadoop的框架，学习原理，完成一个小demo。这个想法已经持续俩月之久，直到今天才算完成，实在拖的太久了。总体学习下来感觉，要比想象中的简单的多，为什么能拖俩月也是与自己的畏惧心理有关系，总是把问题想象的过于复杂，对于未知的恐惧。    Hadoop总结来说，主要是hdfs+mapRuduce，由于大数据的特点，所有这个框架肯定要有一个能对海量数据进行存储，操作的文件系统，...

hdfs适合于存储文件，不适合存储小文件；例如有100w个小文件，每个为1k，datanode可以把他存储，但是namenode的压力会非常大，这时使用Hbase就非常合适，Hbase适用于存储数据，hdfs适合于存储文件...

ElasticSearch作为一个基于Lucene的搜索服务器，主要用于全文检索、结构化搜索、分析以及这三个功能的组合。 由于其数据结构特点（倒排索引），能够达到秒级响应。 统计使用其提供的聚合，基本能满足日常工作中的需求。 使用bool可以实现类似于sql的结构化查询。 他的嵌套对象可以满足对数组的查询。 对于排序分页也提供了相应的接口，但数量有限（10000），大量数据传输建议使用游...

面向列的分部署存储技术，适用于大数据量（亿行，百万列）的存储。基于HDFS。 zookeeper，元信息，三级定位，结合使用，使高效查询成为可能。区别于数据库索引的B+树数据结构，hbase具有处理更大数据量的能力，相当于三层索引结构，不管面对多大是数据量都是足够的。 zookeeper找到hbase:meta，meta上记录这每个库的位置，以及start rowkey，end rowkey。...