hadoop可以从命令行上使用hadoop fs [command]来读取文件系统中的文件。同时也可以使用java接口来实现这些功能。
刚写好了一个权威指南上的例子,附上代码:
package baseOperation;
import java.io.InputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
public class FileSystemCat {
public static void main(String[] args) throws Exception{
String uri = "hdfs://localhost/user/root/Esther/pome";
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(uri),conf);
InputStream in = null;
try{
in = fs.open(new Path(uri));
IOUtils.copyBytes(in,System.out,4096,false);
}finally{
IOUtils.closeStream(in);
}
}
}在导入hadoop 的conf文件、一些jar包信息之后,编译出错:
Could not find or load main class baseOperation.FileSystemC

本文介绍了如何使用Hadoop从文件系统中读取URL数据,包括通过命令行和Java接口的方式。在实践过程中遇到类路径错误,解决方法是调整源文件的存放位置,确保它们在正确的包内。此外,还提到了运行时出现的远程连接错误,推测可能由Eclipse与Hadoop的配置不匹配导致。
最低0.47元/天 解锁文章
1968

被折叠的 条评论
为什么被折叠?



