linux 运行wordcount.jar

2020-12-23利用自带的jar包运行wordcount程序 利用自带的jar包运行wordcount程序 参考博客1:https://blog.csdn.net/cai_4399/article/details/78431568 参考博客2:https://www.cnblogs.com/snowbook/p/5712130.html 向HDFS中上传文件 先在server3(一个slave节点)的/home/hadoop/file文件夹下建立两个文本文件:file1.txt、file2.txt file1的内容:this is file1.txt 2020-12- 阅读详情

打jar包,然后不打lib包 ,我们用linux的hadoop的jar包
 

hdplib=`find /opt/aps/hadoop-2.8.5/ -name "*.jar" | xargs | sed 's/ /:/g'`

定义变量,拼接classPath 

java -cp task.jar:${hdplib} com.ws.wordcount.WordCountMap arg0 arg1 arg2 

[root@dream4 testhdp]# find /opt/apps/hadoop-2.8.5/ -name "*.jar"
/opt/apps/hadoop-2.8.5/share/hadoop/hdfs/hadoop-hdfs-native-client-2.8.5.jar
/opt/apps/hadoop-2.8.5/share/hadoop/hdfs/hadoop-hdfs-client-2.8.5.jar
/opt/apps/hadoop-2.8.5/share/hadoop/hdfs/hadoop-hdfs-native-client-2.8.5-tests.jar
/opt/apps/hadoop-2.8.5/share/hadoop/hdfs/hadoop-hdfs-2.8.5.jar
/opt/apps/hadoop-2.8.5/share/hadoop/hdfs/sources/hadoop-hdfs-native-client-2.8.5-test-sources.jar

[root@dream4 testhdp]# find /opt/apps/hadoop-2.8.5/ -name "*.jar" | xargs
/opt/apps/hadoop-2.8.5/share/hadoop/hdfs/hadoop-hdfs-native-client-2.8.5.jar /opt/apps/hadoop-2.8.5/share/hadoop/hdfs/hadoop-hdfs-client-2.8.5.jar /opt/apps/hadoop-2.8.5/share/hadoop/hdfs/hadoop-hdfs-native-client-2.8.5-tests.jar /opt/apps/hadoop-2.8.5/share/hadoop/hdfs/hadoop-hdfs-2.8.5.jar 

find /opt/apps/hadoop-2.8.5/ -name "*.jar" | xargs | sed 's\ \:\g'
/opt/apps/hadoop-2.8.5/share/hadoop/hdfs/hadoop-hdfs-native-client-2.8.5.jar:/opt/apps/hadoop-2.8.5/share/hadoop/hdfs/hadoop-hdfs-client-2.8.5.jar:/opt/apps/hadoop-2.8.5/share/hadoop/hdfs/hadoop-hdfs-native-client-2.8.5-tests.jar:/opt/apps/hadoop-2.8.5/share/hadoop/hdfs/hadoop-hdfs-2.8.5.jar:/opt/apps/hadoop-2.8.5/share/hadoop/hdfs/sources/hadoop-hdfs-native-client-2.8.5-test-sources.jar

[root@dream4 testhdp]# hdplib=`find /opt/apps/hadoop-2.8.5/ -name "*.jar" | xargs | sed 's\ \:\g'`

[root@dream4 testhdp]# echo ${hdplib}

 

Spark中WordCount案例实操(linux上直接运行)下篇 6.打包jar包 6.1 点击Maven --> package 生成jar包 6.2 选择不带有依赖的jar包,因为linux系统中有相关环境,如果没有,则选择带有依赖的jar包 6.3 将jar包上传到linux系统上(我上传到了/opt/module/spark-yarn/WordCount.jar) 7. 编译spark代码进行运行 7.1模板 bin/spark-submit –calss idea中的含有main方法的完整名字 –master 选择运行模式 –deploy-mode 阅读详情

相关推荐

Hadoop2.6.0版本MapReudce示例之WordCount(一)

本文详细讲解了Hadoop2.6.0版本MapReudce示例之WordCount的测试数据准备、运行命令、运行过程展示、运行结果查看等过程,并展示了WordCount的代码。

辰辰爸的博客 9408

Hadoop之——WordCount案例与执行本地jar包

Hadoop之——WordCount案例与执行本地jar包

雷神乐乐的博客 9941

wordcount.jar

这是运行wordcount程序的jar包,源代码有三个java文件,下载即可使用,已验证,可以使用,谢谢大家。

linux运行wordcount,Hadoop之本地运行WordCount

本文主要记录在windows搭建Hadoop开发环境并编写一个WordCount的mapreduce在本地环境执行。主要内容:1.搭建本地环境2.编写WordCount并在本地运行1.搭建本地环境1.1.解压去官网下载指定的hadoop版本hadoop-2.7.3.tar.gz将下载好的hadoop压缩包解压到任意目录拷贝winutils.exe 到 hadoop-2.7.3/bin 目录下1.2...

weixin_33859931的博客 394

linux环境下运行Eclipse用来测试WordCount示例

linux环境下,创建eclipse的快捷方式,并且在eclipse中运行示例,查看hdfs中的文件目录

HALCON深度学习模型部署新选择:一份详细的OpenVINO 2021.4 LTS集成与配置避坑指南

本文详细介绍了如何将HALCON深度学习模型与OpenVINO 2021.4 LTS集成,提供环境配置、硬件加速优化及故障排除的实用指南。特别针对Intel独立显卡的AI加速器接口进行优化,帮助机器视觉工程师提升AI推理效率,适用于工业检测等高要求场景。

weixin_42531779的博客 238

Linux 下运行wordcount的过程详解

[root@hadoop1 ~]# hadoop jar wordcount.jar bigDate.LinuxWordCount    // 运行的命令 16/10/05 01:40:03 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id 16/10/05

知识的力量 2544

Windows/Linux双平台实战:QtCreator构建套件配置全攻略(含GCC/G++/GDB/CMake)

本文详细介绍了在Windows和Linux双平台下配置QtCreator构建套件的完整流程,涵盖GCC/G++、GDB和CMake等核心工具链的设置技巧。通过分步指导和实用示例,帮助开发者解决跨平台开发中的配置难题,提升Qt应用开发效率。特别针对QtCreator新手和需要在多平台切换的开发者提供了全面的配置指南。

weixin_28836507的博客 471

全网最全Linux 运行jar包的几种方式

linux上运行jar程序,java

zhangmingyue1226的博客 1万+

NY8A053E 例程 之 PWM Ouput

更多关于NY8A053E的相关例程请留言!

倪彬笑阳的博客 2925

API Streaming Failed 400 <400>InternalError.Algo.InvalidParameter input content must be a string解决方案

本文主要介绍了API Streaming Failed 400 <400> InternalError.Algo.InvalidParameter input content must be a string解决方案,希望能对使用vscode中cline的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 3万+

linux下jar命令和eclipse两种方式生成wordcount.jar包和hadoop下wordcount实例的运行

wordcount项目在包solution 下由三个文件组成,一个是包含主类的WordCount.java,一个是mapper文件WordMapper.java,一个是reducer文件SumReducer.java。 WordCount.java文件源码如下: package solution; import org.apache.hadoop.fs.Path; import org.

na_beginning的专栏 1068

LVGL core group焦点分组管理(lv_group.c)

lv_group_t是用于焦点管理的,将需要获取焦点的对像加入到同一个分组内,再将其通过挂到指定的事件驱动中,就可以控制焦点了。而被加入的对象又可以通过焦点状态事件和事件来控制对象的焦点逻辑了。创建好的分组通过接口挂事件驱动中,这样就可以指定一个自定义的焦点分组了。;) {if(!} }友情提示:无论是接口还是都是单例的,即被设置后前一个被设置的值就失效了;此方案可以保证焦点的唯一 性,但也一定要记住要在适合的位置设置回来,以防丢失焦点。

Bigan(安)的博客 3909

linux hadoop 运行jar,Linux下执行Hadoop WordCount.jar

Linux执行 Hadoop WordCountUbuntu 终端进入快捷键 :ctrl + Alt +thadoop启动命令:start-all.sh正常执行效果如下:hadoop@HADOOP:~$ start-all.shWarning: $HADOOP_HOME is deprecated.starting namenode, logging to /home/hadoop/hadoop-...

weixin_42439576的博客 352

2、实时DSP编程技术及其应用

本文详细介绍了实时数字信号处理(DSP)技术及其应用,涵盖三种流行的浮点DSP处理器系列的特点、开发工具和优化方法。通过具体的应用实例,如语音压缩、音乐信号处理和雷达信号处理,展示了如何在实际项目中应用这些技术,帮助工程师提高系统的性能和可靠性。

cicd6pipeline的博客 840

基于 Arduino 的鱼缸水质检测控制系统设计

本系统通过多传感器实时采集鱼缸水质参数(pH 值、温度、溶解氧、浊度),经 Arduino 主控芯片处理后,驱动执行模块自动调节水质,并通过显示模块实时展示数据。系统具备阈值报警、自动换水、温度调节、增氧等功能,适用于家庭或小型水族箱的水质智能管理。本设计提供了低成本、易扩展的鱼缸水质管理方案,适用于家庭水族箱或小型水产养殖场景,可根据实际需求调整传感器类型和控制逻辑。注:本设计如有疑问需要解惑可直接私信本人,看我个人简介。

weixin_42300449的博客 1087

Linux执行hdfs上的jar包,如何运行Hadoop自带的Wordcount案例

1,在运行这个案例之前,首先启动你的Hadoop集群,我的Hadoop集群搭建的是完全分布式,三台机器,保证都启动起来2,进入Hadoop的安装目录3,重点来了,如果你不知道这个examples这个jar包在哪里的情况下,可以在hadoop的安装目录执行find ./ -name example.jarimage.png4,上传相关文件到hdfs上面hdfs dfs -put /home/a.t...

weixin_39851809的博客 813

java.sql.SQLIntegrityConstraintViolationException: #23000

java.sql.SQLIntegrityConstraintViolationException: #23000**异常信息****异常原因****解决方法** 异常信息 ### Cause: java.sql.SQLIntegrityConstraintViolationException: #23000 ; #23000; nested exception is java.sql.SQLIntegrityConstraintViolationException: #23000] with root c

123 4357

bin/hadoop jar hadoop-*-examples.jar wordcount 路径错误。

初学hadoop,准备在linux上单机运行wordcount例子,结果初学错误。 根据例子第一次运行hadoop,运行命令“bin/hadoop jar hadoop-*-examples.jar wordcount”,结果发生了异常,如下:        Exception in thread "main" java.io.IOException: Error opening job

谭运华的专栏 8450

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Spark实战演练:WordCount实例

摘要:本文主要讲了如何使用Spark来运行一个wordCount实例1、本地运行实例 package com.lin.wordcount import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ /** * 本地运行Spark *

Evankaka的专栏 6263

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

hadoop 打jar包,在linux下运行

1、在linux系统中,所在目录“/home/kcm”下创建一个文件input   [ubuntu@701~]$ mkdir input 2.在文件夹input中创建两个文本文件file1.txt和file2.txt,file1.txt中内容是“hello word”,file2.txt中内容是“hello hadoop”、“hello mapreduce”(分两行)。   

Timebeggar的博客 1478

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

eclipse中打可执行jar包

eclipse下打成可运行的jar包

路漫漫其修远兮 吾将上下而求索 818

linux运行hadoop实例wordcount详解

在服务器上配置了hadoop准备自己从wordcount.java开始到跑起wordcount程序,但是就这简单的几步遇到了很多问题,现在总结一下我碰到的问题: 整个过程步骤是: 1.首先创建文件目录: mkdir  Test 2.编译wordcount.java文件生成.class文件,存放在第一步创建的文件夹Test中: javac  -classpath /hadoop*core*

DaiDaiHan1的专栏 1869

MapReduce程序的3种集群提交运行模式详解---基于Windows与Linux两种开发环境

继上一篇博客—-Hadoop本地运行模式深入理解,本篇文章将详细介绍在基于Windows与Linux两种开发环境下,MapReduce程序的3种集群运行方式。在通篇文章中,仍然以经典的WordCount程序为例进行说明,以提高文章的易读性,下面进入文章的正题。 (1)MapReduce程序的集群运行模式1—将工程打成jar包,上传到服务器,然后用hadoop命令hadoop jar xxx.

什么最重要?算法!! 5622
上一篇: 分布式wordcount Map阶段
下一篇: 分布式wordcount Reduce阶段
JNWsong
博客等级 码龄9年 287粉丝 204原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值