<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Alice_xiaochen的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Alice_xiaochen</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Alice_xiaochen]]></copyright><item><title><![CDATA[Hadoop实战任务-----编写MapReduce进行数据清洗]]></title><link>https://blog.youkuaiyun.com/Alice_xiaochen/article/details/123637661</link><guid>https://blog.youkuaiyun.com/Alice_xiaochen/article/details/123637661</guid><author>Alice_xiaochen</author><pubDate>Mon, 21 Mar 2022 15:59:57 +0800</pubDate><description><![CDATA[标题项目需求:

一个英文书籍包含成千上万个单词或者短语,在大量的单词中,找出相同字母组成的所有单词.

策略:

为加快数据处理的速度,借助Hadoop中的MapReduce编程模型的特点,编写出并行计算程序.

解决方案:
  　


1、在 Map
阶段，对每个word（单词）按字母进行排序生成sortedWord，然后输出key/value键值对(sortedWord,word)。
2、在 Reduce 阶段，统计出每组相同字母组成的所有文本

代码如下:
Map代码
package com.its]]></description><category></category></item><item><title><![CDATA[解决hadoop启动后没有datanode]]></title><link>https://blog.youkuaiyun.com/Alice_xiaochen/article/details/123245901</link><guid>https://blog.youkuaiyun.com/Alice_xiaochen/article/details/123245901</guid><author>Alice_xiaochen</author><pubDate>Thu, 03 Mar 2022 09:36:11 +0800</pubDate><description><![CDATA[出现上述问题可能是格式化两次hadoop，导致没有datanode
解决办法是：在所有datanode节点上找到/root/hadoop/data里面的current文件夹删除
然后从新执行一下 hadoop namenode -format
再使用start-dfs.sh和start-yarn.sh 重启一下hadoop
用jps命令看一下就可以看见datanode已经启动了

...]]></description><category></category></item></channel></rss>