hadoop学习笔记之以标准输出方式显示hadoop文件

周小科

于 2016-12-02 00:01:26 发布

阅读量423

点赞数

分类专栏： hadoop学习笔记文章标签： URLCat.java

本文链接：https://blog.youkuaiyun.com/cakecc2008/article/details/53428538

版权

hadoop学习笔记专栏收录该内容

3 篇文章

订阅专栏

本文介绍如何配置Hadoop环境变量及类路径，并通过一个名为URLCat的Java程序示例展示如何读取Hadoop文件系统的文件内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

设置环境变量: .bash_profile

PATH=$PATH:$HOME/bin:/home/hadoop/jdk1.8.0_111/bin
JAVA_HOME=/home/hadoop/jdk1.8.0_111
export JAVA_HOME
export PATH

设置类目录：vi conf/hadoop-env.sh
export HADOOP_CLASSPATH=/home/hadoop/hadoop-1.2.1/myclass

创建URLCat.java文件

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
import java.io.InputStream;
import java.net.URL;

public class URLCat {
static {
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
}
public static void main(String[] args) throws Exception {
InputStream in = null;
try {
in = new URL(args[0]).openStream();
IOUtils.copyBytes(in, System.out, 4096, false);
} finally {
IOUtils.closeStream(in);
}
}
}

编译URLCat.java
javac -classpath ../hadoop-core-1.2.1.jar URLCat.java

执行
bin/hadoop URLCat hdfs://hadoop01:9000/user/hadoop/in2/test2.txt