hdfs
旭cooler
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
用java客户端实现hdfs的简要功能
首先是将hadoop中的相关jar包导入到java运行环境中首先进入配置构建路径选择库,点击添加库选择用户库这里由于我已经添加了,,无法再次添加,就不做演示大体要添加进去的jar包是/hadoop/share/hadoop/hdfs中的和/hadoop/share/hadoop/common中的添加完以上的jar包之后,就可以开始代码的编写了前戏,解读:@Test方法用...原创 2019-04-25 08:24:58 · 275 阅读 · 0 评论 -
阿里云无法下载hdfs中的文件
首先,/etc/hosts的那个文件,第一行的127.0.0.1一定要注释掉,然后下面配置的是阿里云的内网ip其次就是检查控制台中的防火墙是否添加了相关的端口规则然后,core-site.xml中,针对fs.defaultFS的值修改为<property> <name>fs.defaultFS</name> <value>hdfs://0....原创 2019-04-25 08:28:27 · 813 阅读 · 0 评论 -
通过java代码上传文件到hdfs时,hdfs文件系统上的文件大小为o
原因:文件夹和文件名都是存放在 NameNode 上的,本地可以通过公网访问 NameNode,所以创建文件夹和文件都可以,但是当写数据的时候,NameNode 和DataNode 是通过内网通信的,NameNode 会返回给 DataNode 的内网 IP,本地就访问不了了。所以在java代码中需要添加一句conf.set("dfs.client.use.datanode.hostname...原创 2019-04-25 08:30:09 · 1546 阅读 · 0 评论
分享