cloudera hadoop CDH目录下Hadoop-streaming.jar等其他jar包的路径

最新推荐文章于 2021-06-16 13:55:42 发布

涛歌依旧fly

最新推荐文章于 2021-06-16 13:55:42 发布

阅读量5.3k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据学习文章标签： cloudera hadoop

本文链接：https://blog.youkuaiyun.com/zimojiang/article/details/80747340

大数据学习专栏收录该内容

8 篇文章

订阅专栏

本文分享了作者在使用Hadoop进行大数据处理过程中的经验心得。详细介绍了在学校集群环境下寻找并使用hadoop-streaming-jar包的过程，包括两种查找方法及相关的环境配置文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景

前面我是在自己的电脑上搭建分布式环境hadoop，做了一些实验，但是就今天下午上传了一个300多MB的文件，然后进行处理都非常的慢，估计没有几个小时是弄不完的。于是想起前面借用学校的一个集群，也折腾了一下，但是就是不知道他的目录结构，要找什么东西都找不到，是用cloudera进行管理和配置的，我想用hadoop-streaming-*jar来运行python脚本。于是网上百度，终于找到了！

正文

参考博客：
hadoop基础—-hadoop实战(十一)—–hadoop管理工具—CDH的目录结构了解
第一种：
ls /opt/cloudera/parcels/CDH/jars

可以看到：
hadoop-streaming-2.6.0-cdh5.12.0.jar
hadoop-streaming-2.6.0-mr1-cdh5.12.0.jar
应该就是它了！
第二种：
ls /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce

可以看到：
hadoop-streaming-2.6.0-cdh5.12.0.jar
hadoop-streaming.jar
其他资料：
Cloudera hadoop配置文件地址和修改配置属性方法
可以看到环境配置文件：
core-site.xml hadoop-env.sh hdfs-site.xml log4j.properties mapred-site.xml ssl-client.xml topology.map topology.py yarn-site.xml