<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ptrdu的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/ptrdu</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ptrdu]]></copyright><item><title><![CDATA[hadoop学习笔记（七）reduce在16%暂停]]></title><link>https://blog.youkuaiyun.com/ptrdu/article/details/8884109</link><guid>https://blog.youkuaiyun.com/ptrdu/article/details/8884109</guid><author>ptrdu</author><pubDate>Sat, 04 May 2013 15:47:29 +0800</pubDate><description><![CDATA[reduce在16%暂停
因为有两台datanode，但是各台host文件中并没有添加各自的ip，在datanode1和datanode2中分别加上各自的ip地址就行。
因为当datanode1和datanode2执行完map后有一个shuffle过程，如果datanode1不知道datanode2的ip地址就会导致失败，所以datanode1的hosts文件中应该有datanode2的，同样]]></description><category></category></item><item><title><![CDATA[hadoop学习笔记（五） java heap space报错]]></title><link>https://blog.youkuaiyun.com/ptrdu/article/details/8883838</link><guid>https://blog.youkuaiyun.com/ptrdu/article/details/8883838</guid><author>ptrdu</author><pubDate>Sat, 04 May 2013 15:35:48 +0800</pubDate><description><![CDATA[Java    heap   space 报错

实验过程中，执行map过程中，出现task failed，报错为java heap space，原因是jvm的内存太小了，无法达到要求，修改方法一般是改进程序，减小程序消耗的内存，还有就是增大datanode的jvm内存。
因为在datanode上使用java -Xmx命令出现无法创建虚拟机的报错（不知道什么原因），所以只能去更改mapred]]></description><category></category></item><item><title><![CDATA[hadoop学习笔记（四）Wrong FS报错]]></title><link>https://blog.youkuaiyun.com/ptrdu/article/details/8883826</link><guid>https://blog.youkuaiyun.com/ptrdu/article/details/8883826</guid><author>ptrdu</author><pubDate>Sat, 04 May 2013 15:33:19 +0800</pubDate><description><![CDATA[Wrong FS  expected: file:/// 问题
 对于一个简单的hadoop api调用问题，经常出现以下报错：
Configuration conf = new  Configuration（）；

FileSystem fs = FileSystem.get(conf);

fs.copyFromLocalFile(new Path(“/home/ptrdu/inp]]></description><category></category></item><item><title><![CDATA[hadoop学习笔记（三）mapreduce程序wordcount]]></title><link>https://blog.youkuaiyun.com/ptrdu/article/details/8883814</link><guid>https://blog.youkuaiyun.com/ptrdu/article/details/8883814</guid><author>ptrdu</author><pubDate>Sat, 04 May 2013 15:32:19 +0800</pubDate><description><![CDATA[Mapreduce程序WordCount
参考：
http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html
http://www.cnblogs.com/taven/archive/2012/11/03.html
http://luluq1987.blog.163.com/blog/static/407906812011]]></description><category></category></item><item><title><![CDATA[hadoop学习笔记（二）eclipse插件的配置（转载）]]></title><link>https://blog.youkuaiyun.com/ptrdu/article/details/8883776</link><guid>https://blog.youkuaiyun.com/ptrdu/article/details/8883776</guid><author>ptrdu</author><pubDate>Sat, 04 May 2013 15:28:33 +0800</pubDate><description><![CDATA[转载自http://www.cnblogs.com/hiddenfox/archive/2011/11/26/2264461.html 

                                                                   
  在eclipse中配置hadoop插件
1.安装插件
准备程序：
eclipse-3.3.2（这个版本的插件]]></description><category></category></item><item><title><![CDATA[hadoop学习笔记（一） 环境的配置]]></title><link>https://blog.youkuaiyun.com/ptrdu/article/details/8883682</link><guid>https://blog.youkuaiyun.com/ptrdu/article/details/8883682</guid><author>ptrdu</author><pubDate>Sat, 04 May 2013 15:14:12 +0800</pubDate><description><![CDATA[Hadoop环境的搭建
环境配置需要：vm8，ubuntu11.10，hadoop 
构架：（虚拟机下）：
      namenode：192.168.75.129
      Datanode1：192.168.75.131
      Datanode2：192.168.75.130
配置步骤：
（一）：虚拟机下安装ubuntu。
（二）：安装jdk，并配置环境：]]></description><category></category></item></channel></rss>