cloudera hadoop CDH目录下Hadoop-streaming.jar等其他jar包的路径

最新推荐文章于 2024-04-15 12:01:54 发布
原创 最新推荐文章于 2024-04-15 12:01:54 发布 · 5.3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#cloudera #hadoop

本文分享了作者在使用Hadoop进行大数据处理过程中的经验心得。详细介绍了在学校集群环境下寻找并使用hadoop-streaming-jar包的过程，包括两种查找方法及相关的环境配置文件。

背景

前面我是在自己的电脑上搭建分布式环境hadoop，做了一些实验，但是就今天下午上传了一个300多MB的文件，然后进行处理都非常的慢，估计没有几个小时是弄不完的。于是想起前面借用学校的一个集群，也折腾了一下，但是就是不知道他的目录结构，要找什么东西都找不到，是用cloudera进行管理和配置的，我想用hadoop-streaming-*jar来运行python脚本。于是网上百度，终于找到了！

正文

参考博客：
hadoop基础—-hadoop实战(十一)—–hadoop管理工具—CDH的目录结构了解
第一种：
ls /opt/cloudera/parcels/CDH/jars

可以看到：
hadoop-streaming-2.6.0-cdh5.12.0.jar
hadoop-streaming-2.6.0-mr1-cdh5.12.0.jar
应该就是它了！
第二种：
ls /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce

可以看到：
hadoop-streaming-2.6.0-cdh5.12.0.jar
hadoop-streaming.jar
其他资料：
Cloudera hadoop配置文件地址和修改配置属性方法
可以看到环境配置文件：
core-site.xml hadoop-env.sh hdfs-site.xml log4j.properties mapred-site.xml ssl-client.xml topology.map topology.py yarn-site.xml

查找Hadoop-streaming中jar包位置
oxygensss的博客
06-16 2056
安装的hadoop版本不一样，比如hadoop2.9.2，那么你相应的hadoop-streaming.jar包的名 字可能叫hadoop-streaming-2.9.2.jar。总之你可以在你的hadoop安装目录下（即$HADOOP_HOME）搜索hadoop-streaming*.jar来确定它的位置。 hadoop-streaming*.ja ...
hadoop.dll放在那哪个目录_Wowza技术：如何开始一个VOD点播？内容文件存放在哪个目录?...
weixin_39577052的博客
12-08 268
如何开始一个VOD点播？内容文件存放在哪个目录?这篇文章介绍了用Wowza Stream Engine 4 搭建一个VOD点播业务的基本步骤。配置 这里介绍了如何建立一个VOD应用，以及如何配置Application.xml。注意:从Wowza Media Server 3.0.0版本开始，安装完成后，系统就已经包含了一个名字为vod的预先定义好的应用。1.创建一个应用文件夹[inst...
Hadoop Streaming 问题及排查
sw
09-14 1459
@[TOP] 运行报错及排查 hdfs dfs -rm -r /output1 mapred streaming \ -input /idis_demo_dir \ -output /output1 \ -mapper wc_map.py \ -reducer wc_reducer.py \ -file wc_map.py \ -file wc_reducer.py 报错： Caused by: java.io.IOException: Cannot run program "
hadoop-2.6.0-cdh5.12.1源码编译支持Snappy
Levin的技术工厂
04-16 1044
最近学习Kylin,但是在执行到第一个Example时,提示没有Snappy支持。之前没有配置过Snappy,在经过一系列的Google、百度后,并没有成功添加配置,最后还是通过编译源码的方式才将支持搞定,现在先说一下大体流程,因为尝试了很多种方式,只能提供大体思路 下载源码 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5...
Hadoop中怎么快速得到包的路径？
十色花的博客
07-10 1112
在hadoop用户下执行hadoop classpath命令，我们可以得到运行 Hadoop 程序所需的全部 classpath 信息。然后vi .bash_profile文件）添加：export CLASSPATH=.:/home/hadoop/hadoop-2.6.0-cdh5.5.2/etc/hadoop:/home/hadoop/hadoop-2.6.0-cdh5.5.2/share/ha...
hadoop-2.6.0-cdh5.7.0.tar.gz
05-04
CDH（Cloudera Distribution Including Apache Hadoop）是Cloudera公司对Hadoop生态系统的商业发行版，CDH5.7.0则是这个发行版的一个特定版本，它集成了多个开源组件，如HDFS、MapReduce、YARN等，并且进行了优化和...
精选资源
spark-2.2.1-bin-2.6.0-cdh5.14.2.tar.gz
10-19
CDH（Cloudera Distribution Including Apache Hadoop）是Cloudera公司提供的一个全面、集成且经过测试的数据平台，包含了多个Apache开源项目，如Hadoop、HBase等。在本例中，我们讨论的是Spark 2.2.1版本与CDH ...
精选资源
hive2.1.1-cdh6.3.2
05-08
1. **hive-jdbc-2.1.1-cdh6.3.2-standalone.jar**：这是Hive JDBC的独立版本，包含了所有必要的依赖，可以直接在没有其他CDH库的环境中运行。开发者可以将这个JAR文件添加到他们的项目中，以便通过Java应用程序或Web...
精选资源
hadoop-2.6.0-cdh5.7.0版本.zip
03-25
4. **CDH**: CDH是Cloudera对Hadoop生态的商业发行版，它包含了经过测试和优化的Hadoop组件，包括HDFS、MapReduce、YARN等，同时也包含了其他如Hive（SQL查询工具）、Pig（数据流编程工具）、Oozie（工作流调度器）...
spark源码编译之集成cdh的hadoop版本
lihuazaizheli的博客
07-04 1457
0.编译目标 spark-2.4.5.tgz 集成hadoop-2.6.0-cdh5.16.2.tar 1.下载指定版本源码 https://archive.apache.org/dist/spark/ 后边四个就是四种格式的源码，余下的是安装包 wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5.tgz 2.准备maven jdk git编译环境 Maven 3.5.4 or + Java 8 scala 2.11.
centos6.5-hadoop-2.6.0-cdh5.9.0-nativelib
12-13
64位centos6.5 hadoop-2.6.0-cdh5.9.0 新编译最新的native lib包。
hadoop 所用的jar包
01-04
该jar包是属于大数据hadoop使用的些jar包，可以在编写代码的时候导入工程中
CDH集群配置、日志、jar包以及安装目录和常用命令汇总
小蚯蚓的博客
05-09 5872
一、总结目的 因为CDH集群的配置、日志、jar包以及安装文件的目录非常多，而且分散，每次绕进去就有种绕不出来的感觉。所以，下决心总结一下，防止自己后面采坑。 二、关键目录 1.开启应用目录：默认可以直接敲命令行 /opt/cloudera/parcels/CDH/bin 查询 # ls avro-tools kite-dataset sqoop-cre...
Missing artifact org.apache.hadoop:hadoop-client:jar:2.6.0-cdh5.12.0 的解决 CDH版本hadoop的pom.xml
Ahuuua的博客
06-03 6290
需要配置下载环境CDH库 <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> <relea...
CDH jar包路径
MY BLOG
02-24 2274
/opt/cloudera-manager/cm-5.9.2/share/cmf/common_jars
Hadoop-2.4.1学习之Streaming编程
skyWalker_ONLY
11-17 4510
本篇文章学习了如何编写hadoop streaming程序，重点讲述了工作原理及用到的各种参数
Hadoop之CDH安装
热门推荐
dongyunlon的专栏
03-30 2万+
1. 离线数据存储及查询环境部署 离线数据的存储与查询主要是以hadoop为中心的技术栈，包括hive，hbase，hue，kylin等。部署hadoop的方式比较流行的主要有三种： 1. 直接部署Apache Hadoop，即手工部署，需要自己配置，协调版本兼容等，好处是能够加深理解，但是过程较繁琐。 2. Ambari ：Hortonworks的产品，用于创建，管理，监视hadoop集群...
hadoop-2.6.0-cdh5.4.5.tar.gz(CDH)的3节点集群搭建(含zookeeper集群安装）
weixin_34332905的博客
09-06 409
　　 前言 　　本人呕心沥血所写，经过好一段时间反复锤炼和整理修改。感谢所参考的博友们！同时，欢迎前来查阅赏脸的博友们收藏和转载，附上本人的链接 http://www.cnblogs.com/zlslch/p/5846390.html      附链接如下： 　　http://blog.csdn.net/u010270403/article/details/51446674   关...
JAR does not exist or is not a normal file
alac2002的博客
04-15 1350
于是翻找安装目录下的每个文件夹，查看share/hadoop下的所有目录中的子目录和文件，发现tools目录下没有编译好的jar包，但发现了有source子目录，在source下发现hadoop-streaming-3.3.0-sources.jar，于是在lib目录下发现编译好的hadoop-streaming-3.3.0.jar。搜索得出结论不论是Hadoop3还是Hadoop2都存在hadoop-streaming.jar。
[root@cdh1 expers]# yarn jar /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop-mapreduce/hadoop-streaming.jar \ > -D mapreduce.job.queuename=default \ > -files mapper.py,reducer.py \ > -mapper "python mapper.py" \ > -reducer "python reducer.py" \ > -input /user/dr/exper.txt \ > -output /user/dr/output WARNING: YARN_OPTS has been replaced by HADOOP_OPTS. Using value of YARN_OPTS. packageJobJar: [] [/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/hadoop-streaming-3.0.0-cdh6.3.2.jar] /tmp/streamjob4915326641913657665.jar tmpDir=null 25/03/18 21:20:15 INFO client.RMProxy: Connecting to ResourceManager at cdh1/192.168.153.90:8032 25/03/18 21:20:16 INFO client.RMProxy: Connecting to ResourceManager at cdh1/192.168.153.90:8032 25/03/18 21:20:17 INFO mapreduce.JobResourceUploader: Disabling Erasure Coding for path: /user/root/.staging/job_1742297342561_0008 25/03/18 21:20:17 INFO mapred.FileInputFormat: Total input files to process : 1 25/03/18 21:20:18 INFO mapreduce.JobSubmitter: number of splits:2 25/03/18 21:20:18 INFO Configuration.deprecation: yarn.resourcemanager.system-metrics-publisher.enabled is deprecated. Instead, use yarn.system-metrics-publisher.enabled 25/03/18 21:20:18 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1742297342561_0008 25/03/18 21:20:18 INFO mapreduce.JobSubmitter: Executing with tokens: [] 25/03/18 21:20:18 INFO conf.Configuration: resource-types.xml not found 25/03/18 21:20:18 INFO resource.ResourceUtils: Unable to find 'resource-types.xml'. 25/03/18 21:20:19 INFO impl.YarnClientImpl: Submitted application application_1742297342561_0008 25/03/18 21:20:19 INFO mapreduce.Job: The url to track the job: http://cdh1:8088/proxy/application_1742297342561_0008/ 25/03/18 21:20:19 INFO mapreduce.Job: Running job: job_1742297342561_0008 25/03/18 21:20:24 INFO mapreduce.Job: Job job_1742297342561_0008 running in uber mode : false 25/03/18 21:20:24 INFO mapreduce.Job: map 0% reduce 0% 25/03/18 21:20:24 INFO mapredu
最新发布
03-19
<think>嗯，用户给了一个关于Hadoop Streaming命令的问题，需要解释这个命令的执行过程和输出日志。首先，我得理解用户的需求是什么。看起来他们可能是在运行一个MapReduce作业时遇到了问题，或者只是想了解这个命令的具体含义和日志信息。用户提供的命令使用了yarn jar来执行Hadoop Streaming的JAR文件，指定了队列、mapper和reducer脚本，输入输出路径等参数。然后有一堆日志输出，里面包括警告和信息消息。 首先，我需要分解这个命令的各个部分，解释每个参数的作用，比如-D设置队列，-files分发文件，-mapper和-reducer指定执行脚本，输入输出路径的意义。然后，用户提供的日志中有一些关键点，比如WARNING提示YARN_OPTS被替换，ResourceManager的连接信息，作业提交的过程，分片数量，以及作业跟踪的URL。另外，日志中提到的进度信息显示作业刚开始运行，但用户可能想知道后续的结果或者是否成功，不过给出的日志只到map 0% reduce 0%，可能用户没有贴出完整的日志，或者作业刚开始就被中断了。 接下来，用户可能需要了解这些日志的含义，是否有错误，或者如何确认作业是否成功。此外，可能需要解释Hadoop Streaming的工作原理，即允许用任何可执行脚本来处理数据，这里用的是Python脚本。还需要提到常见问题，比如权限问题、脚本是否正确、输入输出路径是否存在等。此外，关于YARN_OPTS的警告可能不需要担心，但可以建议用户检查环境变量。另外，提到的resource-types.xml缺失的信息，可能只是Hadoop版本的问题，可以忽略。 用户可能还不太清楚如何查看作业状态，可以指导他们使用提供的URL来跟踪作业进度，或者使用yarn application -list等命令。同时，如果作业失败，需要检查日志中的错误信息，比如mapper或reducer是否有异常。另外，需要确认输入路径是否存在，输出路径是否未被创建，否则作业会失败。 可能用户在执行这个命令时遇到了问题，比如作业卡住或者失败，所以才会贴出日志询问。但根据提供的日志，作业刚刚提交，可能还在运行中。需要告诉用户如何进一步诊断，比如查看作业跟踪页面，或者使用yarn logs命令获取详细日志。 总结来说，回答应该分步骤解释命令结构，日志中的关键信息，可能的警告和提示，以及后续如何验证作业状态和解决常见问题。同时，保持语言清晰，结构分明，帮助用户逐步理解整个过程。</think>这个命令是使用Hadoop Streaming工具运行一个MapReduce作业。以下是对命令和输出日志的逐层解析： --- ### **一、命令结构解析** ```bash yarn jar /opt/cloudera/parcels/CDH-6.3.2-.../hadoop-streaming.jar \ -D mapreduce.job.queuename=default \ -files mapper.py,reducer.py \ -mapper "python mapper.py" \ -reducer "python reducer.py" \ -input /user/dr/exper.txt \ -output /user/dr/output ``` 1. **`yarn jar`** 使用YARN框架运行Hadoop JAR包。 2. **`-D mapreduce.job.queuename=default`** 指定作业提交到YARN的`default`队列。 3. **`-files mapper.py,reducer.py`** 将本地文件`mapper.py`和`reducer.py`分发到集群所有节点。 4. **`-mapper` 和 `-reducer`** 指定用Python解释器执行Mapper和Reducer脚本。 5. **`-input` 和 `-output`** 输入路径为HDFS上的`/user/dr/exper.txt`，输出路径为`/user/dr/output`。 --- ### **二、日志关键信息解析** 1. **`WARNING: YARN_OPTS replaced by HADOOP_OPTS`** 环境变量`YARN_OPTS`已废弃，改用`HADOOP_OPTS`（可忽略此警告）。 2. **`Connecting to ResourceManager at cdh1:8032`** 作业连接到YARN资源管理器（ResourceManager），IP为`192.168.153.90`，端口`8032`。 3. **`Total input files to process : 1`** 输入文件只有一个（`exper.txt`）。 4. **`number of splits:2`** Hadoop将输入文件切分为2个分片（Split），即启动2个Map任务。 5. **`application_1742297342561_0008`** 作业的YARN应用ID，可通过`http://cdh1:8088`的Web UI跟踪作业状态。 6. **`map 0% reduce 0%`** 初始进度显示，作业刚刚开始运行。 --- ### **三、可能的问题与验证方法** 1. **作业是否成功？** - 检查输出目录是否存在：`hdfs dfs -ls /user/dr/output` - 查看最终日志是否显示`map 100% reduce 100%`。 2. **常见失败原因** - **Mapper/Reducer脚本权限问题**：确保脚本有可执行权限（`chmod +x *.py`）。 - **Python环境问题**：集群节点需安装Python，且版本与脚本兼容。 - **输出目录已存在**：Hadoop要求输出目录必须不存在（删除旧目录：`hdfs dfs -rm -r /user/dr/output`）。 3. **调试建议** - 通过Web UI查看详细日志：`http://cdh1:8088/proxy/application_1742297342561_0008/` - 本地测试脚本：`cat exper.txt | python mapper.py | sort | python reducer.py` --- ### **四、Hadoop Streaming工作原理** 1. **数据流** 输入数据 → Mapper逐行处理 → Shuffle排序 → Reducer聚合 → 输出到HDFS。 2. **跨语言支持** 通过标准输入（`stdin`）和标准输出（`stdout`）与MapReduce框架交互，支持任意语言编写脚本。 --- 如果需进一步排查问题，请提供完整的作业完成日志或错误堆栈。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

涛歌依旧fly

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值