<br />来自 http://www.sansky.net/article/2008-09-17-depth-analysis-of-storage.html<br /> <br />云存储（cloud storage）这个概念一经提出，就得到了众多厂商的支持和关注。Amazon在两年前就推出的Elastic Compute Cloud（EC2：弹性计算云）云存储产品，旨在为用户提供互联网服务形式同时提供更强的存储和计算功能。内容分发网络服务提供商CDNetworks和业界著名的云存储平台服务商 Nirv

转自：http://etongchina.blogcn.com/2011/05/26/qq%E4%BA%91%E8%BE%93%E5%85%A5%E6%B3%95%E4%BB%8B%E7%BB%8D/QQ云输入法采用javascript技术，贴出其代码如下：j

转自：http://dongxicheng.org/mapreduce/hadoop-shuffle-phase/宏观上，Hadoop每个作业要经历两个阶段：Map phase和reduce phase。对于Map phase，又主要包含四个子阶段：从磁盘上读数据-》执行map函数-》combine结果-》将结果写到本地磁盘上；对于reduce phase，同样包含四个子阶段：从各个m

【注】 本文的源代码分析是基于redis-2.4.3版本的。1. Redis server基本数据结构redisServer主要记录了server的全局信息，如数据库，连入的client，支持的所有操作，从配置文件中读取的配置信息等。123456789101112

1. Hadoop pipes编程介绍Hadoop pipes允许C++程序员编写mapreduce程序，它允许用户混用C++和Java的RecordReader， Mapper， Partitioner，Rducer和RecordWriter等五个组件。关于Hadoop pipes的设计思想，可参见我这篇文章：Hadoop Pipes设计原理。本文介绍了Hadoop pipes编程的基本方法

1、概述Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer，例如：采用shell脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reducer）$HADOOP_HOME/bin/hadoop  jar $HADOOP_HOME/hadoop-stre

转自：http://www.searchtb.com/2011/01/understanding-hbase.html这个网站还不错 有很多淘宝的技术文章，建议大家多看看HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

转自：http://bbs.sciencenet.cn/home.php?mod=space&uid=425672&do=blog&id=321016采用云计算技术，实现海量数据的存储、分析、处理、挖掘，提供高可靠性、高性能的数据挖掘分析。从系统架构来讲，基于云计算的并行数据挖掘工具平台包括三个层次，依下而上为分布式计算层；数据挖掘平台层；业务应用层（1）分布式计算

转自：http://www.ibm.com/developerworks/cn/java/java-lo-mapreduce/#简介： 日志分析往往是商业智能的基础，而日益增长的日志信息条目使得大规模数据处理平台的出现成为必然。MapReduce 处理数据的有效性为日志分析提供了可靠的后盾。本文将以对访问网页用户的日志进行分析，进而挖掘出用户兴趣点这一完整流程为例，详尽解释 Map

转自：http://www.yankay.com/google-dremel-rationale/简介Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群，处理PB级别的数据。MapReduce处理一个数据，需要分钟级的时间。作为MapReduce的发起人，Google开发了Dremel将处理时间缩短到秒级，作为MapReduce的有力补

<br />转自：http://www.cnblogs.com/daizhj/archive/2010/09/09/1822264.html<br /> <br />之前的文章中介绍了如何基于Mongodb进行关系型数据的分布式存储，有了存储就会牵扯到查询。虽然用普通的方式也可以进行查询，但今天要介绍的是如何使用MONGODB中提供的MapReduce功能进行查询。<br />有关MongoDb的MapReduce之前我写过一篇文章 Mongodb Mapreduce 初窥，<br />今天介绍如何基于sh

<br />来自 http://www.sansky.net/article/2008-11-05-cloud-computing-and-storage-cloud-the-relationship-and-distinction.html<br /> <br /> <br /> <br />在“深度剖析云存储”这篇文章中，我详细介绍了云存储系统的架构及其技术特点，也提到了云计算。那么云存储和云计算之间到底有什么样的关系，两者之间有什么区别呢。<br />云计算是分布式处理(Distributed Com

<br />基于Eclipse的Hadoop应用开发环境的配置<br />配置好了Hadoop运行环境，下一步就要配置，开发环境了。实际上开发环境很好配置，网上很多的帖子，都指向了IBM提供的Hadoop开发工具，这个工具很好用。大家打开这个网址，很容易就能Step by step搞定，http://www.alphaworks.ibm.com/tech/mapreducetools。但是细心的读者不难发现，这个工具似乎是个绝版，到现在似乎还是停留在2007年3月23日呢，而且其支持的Eclipse也是3.

<br />1. 下载Hadoop源代码<br />Hadoop 各成员源代码下载地址：http://svn.apache.org/repos/asf/hadoop，请使用SVN下载，在SVN浏览器中将trunk目录下的源代码check-out 出来即可。请注意只check-out出SVN 上的trunk 目录下的内容，如：<br />http://svn.apache.org/repos/asf/hadoop/common/trunk，<br />而不是http://svn.apache.org/repo

<br />一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。 1.2、元数据节点(Namenode)和数据节点(datanode) 元数据节点用来管理文件系统的命名空间 其将所有的文件和文件夹的元数据保存在一个文件系统

<br />转自：http://blog.youkuaiyun.com/lolinzhang/archive/2009/07/16/4353699.aspx<br /> <br />有关于MongoDB的资料现在较少，且大多为英文网站，以上内容大多由笔者翻译自官网，请翻译或理解错误之处请指证。之后笔者会继续关注MongoDB，并翻译“Developer Zone”和“Admin Zone”的相关内容，敬请期待下期内容。<br />MongoDB是一个基于分布式文件存储的数据库开源项目。由C++语言编写。旨在为WEB应用

<br />转自：http://www.wentrue.net/blog/?p=772<br /> <br />用了一阵子mongodb，作一些小结，作为将来的参考。按照以往的习惯，先作一个总览，然后再挑出一些自己比较关注的几个点，作为珠玑，加以串联阐述。<br />mongodb由C＋＋写就，其名字来自humongous这个单词的中间部分，从名字可见其野心所在就是海量数据的处理。关于它的一个最简洁描述为：scalable, high-performance, open source, schema-fre

<br />转自：http://blog.youkuaiyun.com/yczz/archive/2010/10/28/5972624.aspx<br /> <br /> <br />MongoDB数据库简单介绍<br />MongoDB是一个高性能 ，开源 ，无模式的文档型数据库，它在许多场景下可用于替代传统的关系型数据库或键/值存储模式。MongoDB是用C++开发， 提供了以下功能：<br /> <br />面向集合的存储：适合存储对象及JSON形式的数据。 <br />动态查询：Mongo支持丰富的查询表达式。

<br />转自：http://blog.youkuaiyun.com/kk5595/archive/2011/01/04/6115950.aspx<br />【IT168 评论】 几乎每个Web开发人员都有自己喜欢的数据库，或自己最熟悉的数据库，但最常见的无外乎以下几种：<br />　　MySQL<br />　　PostgreSQL<br />　　MSSQL<br />　　SQLite<br />　　MS Access<br />　　或是更简单的XML，文本文件等。这些数据库有优秀的文档，背后有强大的社区支持，大部分

<br />用了一阵子mongodb，作一些小结，作为将来的参考。按照以往的习惯，先作一个总览，然后再挑出一些自己比较关注的几个点，作为珠玑，加以串联阐述。<br />mongodb由C＋＋写就，其名字来自humongous这个单词的中间部分，从名字可见其野心所在就是海量数据的处理。关于它的一个最简洁描述为：scalable, high-performance, open source, schema-free, document-oriented database。我对于文档型数据库有一些个人的偏好，这种

在本地或者远程安装部署hadoop2.2.0,然后