
分布式:Hadoop
文章平均质量分 77
wutangpuer
无言独上西楼 月如钩
展开
-
Hadoop格式化HDFS报错java.net.UnknownHostException
异常描述在对HDFS格式化,执行hadoop namenode -format命令时,出现未知的主机名的问题,异常信息如下所示:Java代码 [shirdrn@localhost bin]$ hadoop namenode -format 11/06/22 07:33:31 INFO namenode.NameNode: STARTUP_MSG:转载 2014-11-10 11:49:05 · 1237 阅读 · 0 评论 -
Hadoop datanode重新加载失败 无法启动解决步骤
笔者使用的是基于虚拟机的Hadoop分布式安装,由于关闭datanode和namenode的顺序不恰当,所以经常会出现datanode加载失败的情况。本人的解决方法适用于首次已经成功启动整个集群,但是由于不正常的操作造成第二次无法正常启动。首次的启动失败可能原因有很多:可能是由于配置文件错误写入造成的,或是由于ssh无密码登陆配置错误造成。而第二次的错误原因与首次启动的有一些区别,转载 2014-11-10 11:53:36 · 970 阅读 · 0 评论 -
Hadoop集群(第1期)_CentOS安装配置
1、准备安装 1.1 系统简介 CentOS 是什么? CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持(通过安全更新方式)。新版本的 CentOS 每两年发行一次,而每个版本的 CentOS 会定期(大概每六个月)更新一次,以便支持新转载 2014-11-13 15:04:07 · 391 阅读 · 0 评论 -
MapReduce实现(一)
package searchResult;/** * map函数 * 输出键:搜索词(search_string) * 输出值:对应搜索结果数(result_num)+搜索时间(start_time) */import java.io.IOException;import org.apache.hadoop.io.Text;import org.apache.hadoop.map原创 2014-11-18 09:17:17 · 355 阅读 · 0 评论 -
Hadoop集群(第3期)_VSFTP安装配置
Hadoop集群(第3期)_VSFTP安装配置 1、VSFTP简介 VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件,它的全称是Very Secure FTP 从此名称可以看出来,编制者的初衷是代码的安全。 安全性是编写VSFTP的初衷,除了这与生俱来的安全特性以外,高速与高稳定性也是VSFTP的两个重要特点。 在速度方转载 2014-11-24 11:27:05 · 355 阅读 · 0 评论 -
Hadoop集群(第2期)_机器信息分布表
虾皮工作室赠人玫瑰,手留余香。博客园首页博问闪存新随笔联系订阅管理随笔-97 文章-0 评论-540 Hadoop集群(第2期)_机器信息分布表1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。图1 集群的架构转载 2014-11-24 11:21:25 · 301 阅读 · 0 评论