hdfs
wang972779876
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
apache hadoop 升级
hadoop版本apache:2.7.7->2.9.2 hadoop集群为非高可用集群 1.创建镜像回滚:hdfs dfsadmin -rollingUpgrade prepare 2.hdfs dfsadmin -rollingUpgrade query查看镜像回滚状态,直到显示Proceed with rolling upgrade状态 3.下载并解压hadoop-2.9.2 4.将hdfs-site.xml、core-site.xml 、yarn-site.xml拷贝到hadoop-.原创 2021-10-12 09:40:56 · 403 阅读 · 0 评论 -
hdfs 客户端超时时间设置
问题:使用java连接hdfs当输入错误时,都需要等待很长时候或者停止程序,有没有什么办法设置我们的等待时间,客户端的超时连接有那些参数决定 参考:https://blog.youkuaiyun.com/zhanglong_4444/article/details/99471338 解决hdfs的超时连接有两个参数决定:ipc.client.connect.max.retries.on.timeouts 和ipc.client.connect.timeout两个参数决定第一个是尝试次数,第二个是超时的时间,也就是说原创 2021-05-18 17:40:56 · 3713 阅读 · 0 评论 -
多线程创建FileSystem,当close时导致其他的FileSystem关闭
问题1:当我们使用FileSystem.get(conf)时会创建几个实例 针对这个问题我们进行代码测试 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import java.io.IOException; import java.util.List; public class ThreadTest extends Thread{ private FileSystem原创 2021-05-18 16:12:13 · 934 阅读 · 0 评论
分享