本文分享了使用Hadoop进行Map/Reduce计算及HDFS操作的实际经验，包括自定义命令的部署与执行、调试流程等关键步骤。
可以利用到hadoop的map/reduce和hdfs，感觉还是很爽，需要注意的几点总结如下:
1.自定义命令类可以单独作一个jar，但要记得部署到<wbr></wbr>每个节点，否则会无法执行
2.记得启动maper服务，否则无法进行map/re<wbr></wbr>duce计算
3.自定义命令调用方法bin/nutch CLASSNAME 参数
4.目前没有找到更简便的调试方式，目前都是编译完，打<wbr></wbr>包上传，执行，步骤觉得复杂了一些
5.nutch0.8不能使用最新的hadoop0.1<wbr></wbr>4比较可惜，不过照发展趋势应该很快可以使用
1.自定义命令类可以单独作一个jar，但要记得部署到<wbr></wbr>每个节点，否则会无法执行
2.记得启动maper服务，否则无法进行map/re<wbr></wbr>duce计算
3.自定义命令调用方法bin/nutch CLASSNAME 参数
4.目前没有找到更简便的调试方式，目前都是编译完，打<wbr></wbr>包上传，执行，步骤觉得复杂了一些
5.nutch0.8不能使用最新的hadoop0.1<wbr></wbr>4比较可惜，不过照发展趋势应该很快可以使用
扫一扫
2622
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
