<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Hadoop For Cloud]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/iteye_5314</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; iteye_5314]]></copyright><item><title><![CDATA[4.Hadoop I/O]]></title><link>https://blog.youkuaiyun.com/iteye_5314/article/details/81795943</link><guid>https://blog.youkuaiyun.com/iteye_5314/article/details/81795943</guid><author>iteye_5314</author><pubDate>Mon, 30 Nov 2009 22:34:22 +0800</pubDate><description><![CDATA[4.	Hadoop I/O
4.1.	Data Integrity 数据完整性
一般使用checksum检查数据的完整性，但是他仅能检查完整性，而不提供任何的修复办法，checksum的值也有出错的可能。
Hadoop采取了不同策略的checksum来克服以上的不足
4.1.1.	Data Integrity In HDFS HDFS中的数据完整性
1)	HDFS透明的计算其内部数据的c...]]></description><category></category></item><item><title><![CDATA[3.The Hadoop Distributed File System]]></title><link>https://blog.youkuaiyun.com/iteye_5314/article/details/81795942</link><guid>https://blog.youkuaiyun.com/iteye_5314/article/details/81795942</guid><author>iteye_5314</author><pubDate>Mon, 30 Nov 2009 22:33:32 +0800</pubDate><description><![CDATA[3.	The Hadoop Distributed File System
3.1.	The Design of HDFS
HDFS设计的针对对象：适合流式访问的超大文件、在使用便宜的硬件搭建的集群上运行。
HDFS不足：
低延迟数据访问（Hbase是个好选择）、小文件多的时候出现问题（HDFS将文件Meta信息存储在内存中，内存限制了可以控制的文件数量）、对文件的多个wirter进行写入...]]></description><category></category></item><item><title><![CDATA[2.MapReduce]]></title><link>https://blog.youkuaiyun.com/iteye_5314/article/details/81795938</link><guid>https://blog.youkuaiyun.com/iteye_5314/article/details/81795938</guid><author>iteye_5314</author><pubDate>Mon, 30 Nov 2009 21:58:34 +0800</pubDate><description><![CDATA[2.	MapReduce
2.1.	A Weather Dataset 一个天气数据集
数据是NCDC的数据，我们关注以下特点：
1）	数据是半格式化的
2）	目录里面存放的是从1901-2001年一个世纪的记录，是gzip压缩过的文件。
3）	以行为单位，使用ASCII格式存储，每行就是一条记录
4）	每条记录我们关注一些基本的元素，比如温度，这些数据在每条数据中都会出现，并且宽度也...]]></description><category></category></item><item><title><![CDATA[1.	Meet Hadoop]]></title><link>https://blog.youkuaiyun.com/iteye_5314/article/details/81789760</link><guid>https://blog.youkuaiyun.com/iteye_5314/article/details/81789760</guid><author>iteye_5314</author><pubDate>Thu, 05 Nov 2009 08:40:36 +0800</pubDate><description><![CDATA[1.	Meet Hadoop
1.1.	Data 数据
本节陈述了这样的事实：数据量越来越大，并且来源也越来越多，我们面临的问题是如何有效的存储和分析它们。
1.2.	Data Storage and Analysis 数据存储和分析
现在面临这这样的一个问题：当磁盘的存储量随着时间的推移越来越大的时候，对磁盘上的数据的读取速度却没有多大的增长。
读取硬盘上的全部数据会花费比较长的时间，...]]></description><category></category></item></channel></rss>