疑惑:
Configuration conf=new Configuration();
FileSystem fs=FileSystem.get(URI.create("/user/algo/wy/tmp"),conf);这是打开hdfs系统上的文件的常用写法。但是我不明白:
conf感觉就是一个空的配置文件,一个空的配置文件相当于里面没有携带任何有用的信息,为什么FileSystem的get函数还一定要加入conf参数呢,保留这个conf参数的作用是什么?
回答:
Configuration conf=new Configuration();
创建一个Configuration对象时,其构造方法会默认加载hadoop中的两个配置文件,分别是hdfs-site.xml以及core-site.xml,这两个文件中会有访问hdfs所需的参数值,主要是fs.default.name,指定了hdfs的地址,有了这个地址客户端就可以通过这个地址访问hdfs了。即可理解为configuration就是hadoop中的配置信息。
创建一个Configuration对象时,其构造方法会默认加载hadoop中的两个配置文件,分别是hdfs-site.xml以及core-site.xml,这两个文件中会有访问hdfs所需的参数值,主要是fs.default.name,指定了hdfs的地址,有了这个地址客户端就可以通过这个地址访问hdfs了。即可理解为configuration就是hadoop中的配置信息。
本文解释了在Hadoop中使用Configuration对象初始化FileSystem的过程。详细介绍了Configuration对象如何加载默认配置文件,并说明这些配置对于访问HDFS的重要性。
3982

被折叠的 条评论
为什么被折叠?



