庸医2048的博客

Google面对的数据和计算难题 1>大量的网页怎么存储呢？ 传统是买一个很大很大的存储设备。 是存到各个pc服务器的内存中，加快，采取了冗余的办法。 2>搜索算法 响应时间是0.00000几秒。 3>Page-Rank计算问题。 对网页价值进行排名。 谷歌搜索为什么会快？ 使用了倒排索引（哈希索引） 1首先对这个文章进行分词。 快速定位到关键字。

Hadoop的SequenceFile适合记录 二进制键/值对提供一个持久数据结构。 将它作为日志文件的存储格式时，你可以自己选择key为LongWritalbe类型所表示的时间戳，values可以是Writable类型用于表示日志记录的数量。 SequenceFile可以作为小文件的容器。 就这样就写入了一个SequenceFile.createWriter方法：

Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses. at org.apache.hadoop.mapre

Hadoop各个端口详解的查看链接 1.DataNode的http服务的端口、ipc服务的端口分别是哪个？ 2.NameNode的http服务的端口、ipc服务的端口分别是哪个？ 3.journalnode的http服务的端口、ipc服务的端口分别是哪个？ 4.ResourceManager的http服务端口是哪个？ 5.NodeManager的http服务端口是

Exception in thread "main" java.io.IOException: java.net.ConnectException: Call From LiuKai-PC/192.168.3.86 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refus