Hadoop
文章平均质量分 79
困境囚徒
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
认识Hadoop
NameNode(NN) 基于内存存储 只存在内存中 持久化 NameNode主要功能: 接受客户端的读写服务 收集DataNode汇报的Block列表信息 NameNode保存metadata信息包括 文件owership和permissions 文件大小,时间 (Block列表:Block偏移量),位置信息 Block每副本位置(由DataNode上报) NameNode翻译 2017-10-19 15:06:50 · 258 阅读 · 0 评论 -
阿里云 ECS Hadoop-异常“could only be replicated to 0 nodes, instead of 1” 无法上传文件
阿里云搭建伪分布式遇到这个问题,正常办法解决不了了的时候,可以一试,步骤如下:1、/etc/hosts 文件的多余主机名全部注释掉 ,新增加一个你的内网IP 和 hadoop的用户名; 注意:这里是内网地址,而不是阿里云的外网地址,先 ifconfig 查看本机内网ip[root@cx hadoop]# ifconfig eth0: flags=4163 mtu 1原创 2020-06-18 09:00:00 · 406 阅读 · 0 评论 -
Hadoop学习之java连接HDFS文件系统
1、配置环境变量HADOOPHOME,不然会报错。 2、windows上的权限系统和linux上的权限系统,测试期间为了简单起见可以关闭权限检查 在namenode的hdfs-site.xml上,添加配置:property> name>dfs.permissions.enabledname> value>falsevalue>property>3、这原创 2018-02-05 10:16:46 · 690 阅读 · 0 评论 -
Hadoop伪分布式、完全分布式搭建和测试(详细版)
安装Hadoop 入门学习,快速搭建伪分布式环境。注:需要下载的安装包在文章底部,请自行获取。1. 修改主机名vim /etc/hostnamevim /etc/hostsrebootreboot 重启主机使修改配置文件生效,这里我设置的主机名是 : cx。注意:出于安全考虑,如果只想局域网访问 127.0.0.1 cx 就可以 如果不在远程服务器,不在一个局域网...原创 2017-10-19 14:47:05 · 7308 阅读 · 0 评论
分享