hadoop
关注
分享
扫一扫
文章平均质量分 64
LCYong_
这个作者很懒，什么都没留下…
展开
-
dfs.hosts配置
dfs.hosts/usr/local/hadoop/conf/datanode-allow-list dfs.hosts.exclude/usr/local/hadoop/conf/datanode-deny-list其中dfs.host列出了连入namenode的节点，如果为空，则所有的datanode都可以连入namenode。如果不为空，则文件中存在的dat原创 2017-05-17 14:37:21 · 3982 阅读 · 0 评论 -
mkdir: Permission denied: user=root, access=WRITE, inode="/lcy/test5.txt":hdfs:hdfs:drwxr-xr-x
环境： centos 7 hadoop2.7今天使用root用户hadoop上传文件测试的时候，怎么弄都无法上传成功，报错#hdfs dfs -mkdir -p /lcy/test5.txtmkdir: Permission denied: user=root, access=WRITE, inode="/lcy/test5.txt":hdfs:hd原创 2017-05-18 22:09:46 · 2364 阅读 · 0 评论 -
ssh免密登陆
在搭建Hadoop环境的时候，需要用到ssh的免密登陆，配置方法如下我的测试系统有三个节点nodenode1node21、打开三个节点2、创建密钥 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa3、追加密钥到autorized_keys文件，并设置权限$ cat ~/.ssh原创 2017-05-16 20:22:46 · 589 阅读 · 0 评论 -
HDFS命令笔记
环境：hadoop 2.71 上传文件上传tem下的文件到 hdfs中的/lcy路径 上传文件的路径必须是hdfs有访问权限的 上传到的文件路径必须是hdfs能够写入的 sudo -u hdfs hdfs -put /tem/y* /lcy2 查看文件查看hdfs下的文件 路径为 /lcy/yarn-site.xmlhdfs dfs -cat /lc原创 2017-05-19 10:25:47 · 596 阅读 · 0 评论 -
java 编码上传删除HDFS文件中的的用户名权限问题
hadoop环境：hadoop2.7 centos6主机环境： jdk1.8 Ubuntu16直接编辑的的代码如下：package com.lcy.hdfs.updata;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.a原创 2017-05-19 14:49:29 · 1973 阅读 · 0 评论 -
Ambari2.5+HDP2.6集群配置安装
有道有笔记地址： http://note.youdao.com/noteshare?id=4a8bb0f1a02e3b9605824bc6ce3a1c9e一、官方链接Ambari版本：ambari-2.5.0.3-centos7http://ambari.apache.org/HDP版本：HDP-2.6.0.3-centos7-rpm HDP-U原创 2018-01-01 23:06:31 · 3213 阅读 · 0 评论 -
java实现HDFS增删改查
HDFS增删改查原创 2018-04-12 11:46:35 · 836 阅读 · 0 评论