hadoop
关注
分享
扫一扫
drl_blogs
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
MapReduce:共同好友详解
首先我们要使用的数据如下A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I,J要想实现共同好友，首先，我们先求出哪些用户是他的好友，如B是A的好友，C是A的好友，D是...原创 2019-05-24 15:24:59 · 711 阅读 · 0 评论 -
Windows运行hadoop报错：org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
报错信息 Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0...原创 2019-05-27 22:28:14 · 1577 阅读 · 2 评论 -
ssh 免密登录
首先在linux 上安装ssh的客户端yum -y install openssh-clients实现步骤在A机器(hadoop01)上生成密钥对：ssh-keygen将生成好的公钥注册给目标机器(hadoop02)ssh-copy-id hadoop02以后再进行连接 hadoop02这台机器的是时候或者是在发送指令的时候就不需要在输入密码了...原创 2019-05-22 23:36:31 · 488 阅读 · 0 评论 -
hadoop安装
1 HADOOP安装部署上传HADOOP安装包规划安装目录 /usr/local/hadoop-2.7.3解压安装包修改配置文件 /usr/local/hadoop-2.7.3/etc/hadoop/最简化配置如下：vi hadoop-env.shjdk环境变量export JAVA_HOME=/usr/local/jdk1.8.0_211vi core-sit...原创 2019-05-22 22:28:24 · 423 阅读 · 0 评论 -
HA集群（高可用）安装部署
文章目录HA集群安装部署1 运行环境1软件环境2 安装准备2.1准备虚拟机2.2 修改主机名2.3 关闭防火墙2.4 配置时间同步2.5 配置ssh免秘登录2.6 安装jdk3 安装其他组件3.1 安装zookeeper3.2 安装高可用hadoop3.2.1 HDFS3.2.2 YARN3.2.3 分发配置文件3.2.4 启动HDFS3.2.5 验证是否成功3.2.6 启动yarn3.2.7 验...原创 2019-05-22 21:46:36 · 1243 阅读 · 0 评论 -
Hadoop安全模式：Cannot create directory /tmp/hive/root/。。。。. Name node is in safe mode
Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.ipc.Rem oteException(org.apache.hadoop.hdfs.server.namenode.SafeModeExc...原创 2019-05-31 21:14:47 · 1410 阅读 · 0 评论