guduyishuai的博客

    hadoop的原理总结在写得中    hadoop原理    hadoop的伪分布式搭建比较容易，官方文档写得很清晰。    这里的hadoop版本为2.6.5，官方文档地址为    官方文档地址    完全分布式相对比较复杂，这里做一下总结    一、时间同步的处理    由于是分布式环境，所以服务器之间的时间同步是第一个要解决的问题。参见以下文章    linux服务器时间同步    ...

    这里的eclipse版本为Eclipse Jee Oxygen，hadoop为2.6.5    下载对应的插件hadoop-eclipse-plugin-2.6.5    将该文件夹放到eclipse安装目录下的dropins文件夹中    重启eclipse        发现在ProjectExplorer下多出了DFS Locations    最后，需要计算机的用户名为hadoop...

    hdfs的NameNode节点用来保存元数据信息，一旦宕机，则集群不可恢复。因此需要高可用，在hadoop2.x以后，可以支持NameNode的高可用。hadoop3.x则支持一主多从。    hadoop2.x的高可用有一个缺点，就是数据节点的心跳需要向NameNode集群的每个节点发送，这样比较占用资源，因此NameNode节点并不是越多越好    一、架构    先来看一下架构图  ...

目录一、简介二、思路三、实现一、简介             这个应该是mapReduce里面最简单，也是所有人写的第一个例子吧。二、思路             map阶段，分词，把每个词作为key，value为1             reduce阶段，把每个词的value相加三、实现             @Slf4jpublic clas...

目录一、简介二、思路三、实现一、简介             好友推荐功能简单的说是这样一个需求，预测某两个人是否认识，并推荐为好友。二、思路             某两个非好友的用户，他们的共同好友越多，那么他们越可能认识。              比如，原始数据如下Tom Cat Hello Hadoop SpringCat Hello Spring...

目录简介安装配置插件环境变量代码中的配置core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlmapReduce简介       一般来说，我们的hadoop部署在linux服务器上，我们在windows上用eclipse进行开发，所以我们要进行开发环境配置。       工具和版本号    ...