<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Pirate_G的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Pirate_G</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Pirate_G]]></copyright><item><title><![CDATA[Hadoop自定义InputFormat]]></title><link>https://blog.youkuaiyun.com/Pirate_G/article/details/8535033</link><guid>https://blog.youkuaiyun.com/Pirate_G/article/details/8535033</guid><author>Pirate_G</author><pubDate>Wed, 23 Jan 2013 17:16:31 +0800</pubDate><description><![CDATA[本文定义的InputFormat主要用于处理不需要分割的文件（例如视频，音频等），并将并将key值定为文件名，value值定为文件路径
代码如下：
public class videoInputFormat extends FileInputFormat{
	
	
	private static class videoRecordReader extends RecordReader{]]></description><category></category></item><item><title><![CDATA[MapReduce编程练习（一）]]></title><link>https://blog.youkuaiyun.com/Pirate_G/article/details/8487289</link><guid>https://blog.youkuaiyun.com/Pirate_G/article/details/8487289</guid><author>Pirate_G</author><pubDate>Wed, 09 Jan 2013 21:24:30 +0800</pubDate><description><![CDATA[蒙特卡罗概率算法求π值的MapReduce并行实现
 
分析：我们可以按如下方法让计算变得可并行化:
1. 在正方形内随机地生成一些点
2. 计算这些点在圆形内的个数
3. p = 圆形内的点的个数
正方形内的点的个数
4. π = 4p
 
代码：（注：为了简单起见，我选用正方形1/4区域计算）
（1）Driver：
public class piDriver {
	pu]]></description><category></category></item><item><title><![CDATA[Ganglia监控Hadoop]]></title><link>https://blog.youkuaiyun.com/Pirate_G/article/details/8463395</link><guid>https://blog.youkuaiyun.com/Pirate_G/article/details/8463395</guid><author>Pirate_G</author><pubDate>Fri, 04 Jan 2013 10:11:12 +0800</pubDate><description><![CDATA[Ganglia集群监控配置
操作系统环境：ubuntu-11.04-server-i386
集群环境:
namenode 192.168.1.1
datanode1 192.168.1.2
datanode2 192.168.1.3
安装步骤
1.ganglia的服务端安装在namenode上




$ sudo apt-get install  ganglia-moni]]></description><category></category></item><item><title><![CDATA[值得分享学习的网站和博客]]></title><link>https://blog.youkuaiyun.com/Pirate_G/article/details/8460563</link><guid>https://blog.youkuaiyun.com/Pirate_G/article/details/8460563</guid><author>Pirate_G</author><pubDate>Thu, 03 Jan 2013 10:22:37 +0800</pubDate><description><![CDATA[Python学习：
简明Python教程：http://woodpecker.org.cn/abyteofpython_cn/chinese/
Hadoop学习：
Hadoop学习记录：http://lory-yang.com/2012/08/31/hadoop%e7%9a%84%e8%b5%b7%e6%ba%90/
Sed学习：
Sed简明教程：http://coolshell.cn/]]></description><category></category></item><item><title><![CDATA[Fuse-dfs on Ubuntu 11.04]]></title><link>https://blog.youkuaiyun.com/Pirate_G/article/details/8450739</link><guid>https://blog.youkuaiyun.com/Pirate_G/article/details/8450739</guid><author>Pirate_G</author><pubDate>Sat, 29 Dec 2012 16:56:04 +0800</pubDate><description><![CDATA[﻿﻿﻿﻿首先需要有Hadoop环境和java（sun-java6-jdk）。（此处不再详述）
1.环境需求
sudo apt-get install gcc g++ make gawk ant automake



2.安装Fuse
下载Fuse，这里我用的是Fuse-2.8.4
tar xvf Fuse-2.8.4.tar.gz  

./configure --prefi]]></description><category></category></item><item><title><![CDATA[﻿﻿MapReduce组合式，迭代式，链式]]></title><link>https://blog.youkuaiyun.com/Pirate_G/article/details/8167801</link><guid>https://blog.youkuaiyun.com/Pirate_G/article/details/8167801</guid><author>Pirate_G</author><pubDate>Fri, 09 Nov 2012 20:58:07 +0800</pubDate><description><![CDATA[1.迭代式mapreduce
一些复杂的任务难以用一次mapreduce处理完成，需要多次mapreduce才能完成任务，例如Pagrank，Kmeans算法都需要多次的迭代，关于mapreduce迭代在mahout中运用较多。有兴趣的可以参考一下mahout的源码。
在map/reduce迭代过程中，思想还是比较简单，就像类似for循环一样，前一个mapreduce的输出结果，作为下一个ma]]></description><category></category></item><item><title><![CDATA[解决Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory]]></title><link>https://blog.youkuaiyun.com/Pirate_G/article/details/8106048</link><guid>https://blog.youkuaiyun.com/Pirate_G/article/details/8106048</guid><author>Pirate_G</author><pubDate>Wed, 24 Oct 2012 11:24:33 +0800</pubDate><description><![CDATA[在eclipse运行某些关于hdfs的Java API时，可能会遇到如下问题：
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory
 at org.apache.hadoop.conf.Configuration.(Configuration.java:]]></description><category></category></item><item><title><![CDATA[﻿eclipse+makefile开发hadoop]]></title><link>https://blog.youkuaiyun.com/Pirate_G/article/details/8000343</link><guid>https://blog.youkuaiyun.com/Pirate_G/article/details/8000343</guid><author>Pirate_G</author><pubDate>Thu, 20 Sep 2012 15:33:56 +0800</pubDate><description><![CDATA[注：此篇文章是我在别的地方转载过来的，原文出处：http://trac.nchc.org.tw/cloud/wiki/waue/2009/0617#a2.1安裝hadoop的eclipseplugin。在eclipse下开发hadoop程序很方便，但之前试了很多版本的eclipse都没有成功。有幸找到这篇文章，按照其一步一步配置，最后成功了。希望能给看到的人一些帮助。还有文中提到的hadoop-0]]></description><category></category></item><item><title><![CDATA[启动tomcat无法访问http://localhost:8080/的解决方案]]></title><link>https://blog.youkuaiyun.com/Pirate_G/article/details/7993622</link><guid>https://blog.youkuaiyun.com/Pirate_G/article/details/7993622</guid><author>Pirate_G</author><pubDate>Tue, 18 Sep 2012 21:54:52 +0800</pubDate><description><![CDATA[当在eclipse中启动tomcat后,在浏览器器输入http://localhost:8080/,无法打开我们熟悉的tomcat默认主页,而http://localhost:8080/projectpath却可以进入项目主页,这是为什么呢?


其实很简单,几步就解决问题:

首先,找到servers标签(别告诉我你找不到啊,这样我就无话可说了),找到你已经配置好的tomcat,看看t]]></description><category></category></item><item><title><![CDATA[Hadoop Map/Reduce教程]]></title><link>https://blog.youkuaiyun.com/Pirate_G/article/details/7620763</link><guid>https://blog.youkuaiyun.com/Pirate_G/article/details/7620763</guid><author>Pirate_G</author><pubDate>Thu, 31 May 2012 17:37:36 +0800</pubDate><description><![CDATA[目的
这篇教程从用户的角度出发，全面地介绍了Hadoop Map/Reduce框架的各个方面。
先决条件
请先确认Hadoop被正确安装、配置和正常运行中。更多信息见：
Hadoop快速入门对初次使用者。 
Hadoop集群搭建对大规模分布式集群。 
概述
Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并]]></description><category></category></item><item><title><![CDATA[Hadoop集群搭建]]></title><link>https://blog.youkuaiyun.com/Pirate_G/article/details/7597413</link><guid>https://blog.youkuaiyun.com/Pirate_G/article/details/7597413</guid><author>Pirate_G</author><pubDate>Thu, 24 May 2012 10:36:20 +0800</pubDate><description><![CDATA[一 配置环境
ubuntu 11.04
4台ubuntu11.04的虚拟机
IP地址分别为：server1：59.64.158.209（指定为namenode）
server2：59.64.159.145；server3：59.64.159.89；server4：59.64.159.156
二 配置步骤
1 使用VMware Workstation安装ubuntu11.04过程略去]]></description><category></category></item><item><title><![CDATA[UBUNTU 下编译安装opencv 2.3.1]]></title><link>https://blog.youkuaiyun.com/Pirate_G/article/details/7586216</link><guid>https://blog.youkuaiyun.com/Pirate_G/article/details/7586216</guid><author>Pirate_G</author><pubDate>Thu, 24 May 2012 09:35:51 +0800</pubDate><description><![CDATA[1.首先在终端运行下列命令进行必要的编译环境安装。
sudo 
apt-get installbuild-essential libgtk2.0-dev libavcodec-dev libavformat-dev libjpeg62-dev libtiff4-dev
 cmake libswscale-dev libjasper-dev
2.下载相应的版本到电脑里面，这里我们以下载Ope]]></description><category></category></item></channel></rss>