学习笔记:从0开始学习大数据-8.直接在Eclipse配置运行MapReduce程序

windows(64位)本地(local)用eclipse调试mapreduce程序 一,环境准备 java环境,eclipse,hadoop -2.x(windows环境下) 此处本人所用hadoop包链接:https://pan.baidu.com/s/1230HUG2HluDsP1FT-tXa-g密码:sodt(此处文件已全部替换完毕) 首先从网上下载64位winutils.exe,hadoop.dll将文件复制到hadoop / bin目录下,将lib文件中的本地库替... 阅读详情

前面开发hadoop程序是打包成jar,然后在命令行执行 hadoop jar  XXX.jar  XXXX 的方式提交作业,现在记录直接在Eclipse IDE执行MapReduce作业的方法,还是用经典的WordCount程序。

1.配置Eclipse 的hdfs环境

(1)菜单:窗口-》透视图-》打开透视图-》其它-》选“Map/Reduce”

(2) 选“New Hadoop Location”

(3) 输入你的hdfs地址

 (4)可以在资源管理器看到DFS Location,直接查看hdfs文件目录

2.创建新的WordCount项目

(1)菜单:文件-》新建-》其它-》Map/Reduce Project

(2) 输入项目名,选hadoop根目录-》完成

(3)在新建的项目App.java文件中按我的上篇文章

https://blog.youkuaiyun.com/oLinBSoft/article/details/84311188 学习笔记:从0开始学习大数据-4.Eclipse配置hadoop开发环境

加入WordCount类的代码

3.配置WordCount类运行环境

(1)菜单:运行-》运行配置-》双击 “Java 应用程序”  新建WordCount的运行配置

(2)  输入运行程序需要的参数

5.运行程序

6.在资源管理器中查看执行产生的hdfs文件

 

 

在Eclipse中实现MapReduce过程 MapReduce就是将本地的文件从磁盘中拿出,经过map执行我们指定的计算程序去排序后在传入Reduce中进行处理,最后传入磁盘中。 那么我们怎么写一个计算程序呢? 首先我们先建立一个MapReduce项目 然后在src传入 org.apache.hadoop.io.nativeio这个jar包,这个jar包包括我们接下来所有开发的方法,所以一定要放入。 接下来我们就要创建一个空的packag... 阅读详情

相关推荐

使用Eclipse编译运行MapReduce程序

下载eclipse 64位: http://eclipse.bluemix.net/packages/mars.1/?JAVA-LINUX64 解压到安装目录 安装 Hadoop-Eclipse-Plugin 要在 Eclipse 上编译和运行 MapReduce 程序,需要安装 hadoop-eclipse-plugin文件地址https://download.csdn.net/downlo...

迪宝宝的博客 5296

在Windows平台下的Eclipse中运行Map-Reduce程序

一、Hadoop下载 首先下载Hadoop包,将他安装到你喜欢的位置。 Hadoop包(2.6.5)下载地址: http://apache.fayea.com/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz 二、在Windows下配置Hadoop环境变量 找到"此电脑"图标 右键选择"属性",在左侧菜单栏中选择“高级系统设置” 选择&quo

Code忆旧录 707

Ubuntu下,使用Eclipse配置Hadoop环境并编写MapReduce程序

准备工作 希望你在开始之前已经在Linux中安装好了以下几样东西: (1)jdk1.8(最新版的eclipse必须得jdk1.8以上,根据你下的eclipse版本来安装jdk,楼主原来是jdk1.7,后来换成了jdk1.8。如果不知道怎么切换多个jdk请参照文章https://blog.csdn.net/qq_27435059/article/details/80513553) (2)e...

qq_36908841的博客 3657

在Eclipse中本地运行Mapreduce

1.首先创建一个maven项目,pom.xml中的配置信息如下: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 h...

qq_36055407的博客 466

Hadoop+eclipse运行MapReduce程序

前面,我们已经通过eclipse下安装Hadoop的插件配置好了基于Hadoop+eclipse的MapReduce开发环境。现在,我们在这个Hadoop+eclipse环境下运行MapReduce程序。 一、新建MapReduce项目 【 File】—>【new】->【Project】,选择【Map/Reduce Project】,单击下一步,设置项目名称为WordCount,确定。

GarfieldEr007的专栏 1669

使用Eclipse编写MapReduce程序并提交到集群运行

本人是在linux虚拟机上安装的 hadoop 集群,版本3.2.1,在本地 Windows 用 Eclipse 开发 Map/Reduce 程序,并提交到集群运行,我们以经典的 wordcount 为例,演示用 Eclipse 开发 MapReduce 程序,Eclipse 要先配置好 Hadoop 开发环境,如果还没配置好可以先看Eclipse配置Hadooop开发环境。 1、新建MapRed...

weixin_43311978的博客 1494

使用Eclipse编译运行MapReduce程序_Hadoop2.6.0_Ubuntu/CentOS

环境 本教程在 Hadoop 2.6.0 下验证通过,适用于 Ubuntu/CentOS 系统,理论上可用于任何原生 Hadoop 2 版本,如 Hadoop 2.4.1,Hadoop 2.7.1。 本教程主要测试环境: Ubuntu 14.04Hadoop 2.6.0(伪分布式)Eclipse 3.8 此外,本教材在 CentOS 6.4 系统中也验证通过,对 Ubunt

dantengc的博客 1175

使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS

本教程介绍的是如何在Ubuntu/CentOS 中使用Eclipse 来开发MapReduce 程序,在Hadoop 2.6.0 下验证通过。虽然我们可以使用命令行编译打包运行自己的MapReduce程序,但毕竟编写代码不方便。使用Eclipse,我们可以直接对HDFS 中的文件进行操作,可以直接运行代码,省去许多繁琐的命令。 注:本教程引用于厦门...

学到的就要教人 赚到的就要给人 1171

eclipse编译运行MapReduce程序

eclipse编译运行MapReduce程序 一、环境 Ubuntu16,Hadoop2.7.1 二、安装eclipse 你可以直接在Ubuntu的Ubuntu软件中心直接搜索安装Eclipse,在桌面左侧任务栏,不过我用这种方法安装之后Eclipse打不开,就参照了下面这个网站的安装步骤: Eclipse安装步骤 jdk安装可以参考这个网站的安装JAVA环境 三、安装配置Hadoop-Eclip...

weixin_43709601的博客 2294

在Eclipse中运行、配置Hadoop

版权所有: zhe-jiang.he@hp.com  严禁转载! 1.安装插件 准备程序: eclipse-3.3.2(这个版本的插件只能用这个版本的eclipse) hadoop-0.20.2-eclipse-plugin.jar (在hadoop-0.20.2/contrib/eclipse-plugin目录下) 将hadoop-0.20.2-eclipse-plugin.j

何哲江的专栏 1864

Eclipse打包mapreduce程序并提交至hadoop集群运行

在命令行里能够将程序运行在hadoop集群环境后,

tangtang5156的专栏 5125

使用Eclipse创建MapReduce工程

1.实训目标(1)掌握以Exlipse创建MapReduce工程2.实训环境(1)使用CentOS的Linux操作系统搭建的3个节点(2)使用Eclipse软件作为编程软件(3)使用插件hadoop-eclipse-plugin-2.x.x.jar3.实训内容(1)配置MapReduce环境(2)新建MapReduce工程4.实训步骤4.1配置MapReduce环境。

weixin_64420247的博客 3663

高通410随身WiFi刷OpenWRT与Debian双系统一键集成方案

本文详细介绍高通410随身WiFi设备刷入OpenWRT与Debian双系统的一键集成方案。通过虎王工作室提供的一键刷机包,用户可轻松实现双系统部署,兼顾OpenWRT的网络功能与Debian的完整应用服务,适用于网络加速、服务器部署等多种场景,并提供了硬件资源分配与系统切换的实用指南。

docker7nomad的博客 1137

使用Eclipse编写MapReduce程序

写在前面: 测试环境:Deepin 15.10.1、Hadoop-2.8.5、Eclipse Photon Release (4.8.0) Step0:使用Eclipse操作HDFS 安装hadoop2x-eclipse-plugin插件,能够使得在Eclipse中查看HDFS中的目录和文件。 安装 hadoop-eclipse-plugin,可在下Github 上下载的hadoop...

DivingKitten Coding驿站 3930

Shopee前端反爬三要素:x-sap-Ri、x-sap-Sec与af-ac-enc-dat深度解析

电商前端反爬机制本质是运行时环境可信验证,其核心在于动态生成的请求指纹、会话签名与行为加密载荷。这类机制不依赖静态Token,而是基于浏览器真实交互(如鼠标轨迹、页面可见性、时间精度)实时计算,体现JS运行时环境不可模拟性。技术价值在于将风控前移至客户端,大幅提升自动化绕过成本;典型应用场景包括商品价格监控、竞品数据采集与合规爬虫开发。本文聚焦Shopee实战案例,深入拆解x-sap-Ri(设备+行为哈希指纹)、x-sap-Sec(动态密钥签名)及af-ac-enc-dat(AES加密行为载荷)三大字段的生

weixin_29015127的博客 402

基于 SoC 的卷积神经网络车牌识别系统设计(1)引言

通过 CPU 软核 IP 在纯 FPGA 平台上构建一个 AI SoC 卷积神经网络车牌识别系统,其中,缩放、填充层、卷积层、ReLU、池化层、全连接层 IP 都是 Verilog 设计的,同时集成了各种高性能的 IP。这是最具挑战性的 AI SoC 芯片设计项目,集成了 Python 卷积神经网络代码、Verilog 卷积神经网络硬件设计、ARM SoC 设计、ARM 与 FPGA 的交叉编译流程等等。这不仅是科研学习、集创竞赛、秋招求职的一个极具优势的精彩项目,也是目前最火热的芯片行业之中的一个...

新芯设计的博客 3780

Eclipse开发mapreduce程序环境搭建

Eclipse作为一个常用的java IDE,其使用程度虽然比不上idea那么强大,但是对于习惯使用eclipse开发的人来说,也不失为一个可以选择的IDE。对于喜欢eclipse开发的人来说,就是想让他更加的智能化,更加的友好,比如开发mapreduce程序,我们可以利用hadoop-eclipse-plugin这个插件让eclipse能够可视化查看hdfs上的文件系统,并且可以创建ma...

feinifi的博客 4236

TypeError: XGBClassifier.fit() got an unexpected keyword argument ‘early_stopping_rounds‘ 解决方案

本文主要介绍了TypeError: XGBClassifier.fit() got an unexpected keyword argument 'early_stopping_rounds’解决方案,希望能对使用XGBoost的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 1万+

Eclipse编译、Hadoop集群运行MapReduce程序

本文介绍的是如何在Windows中使用Eclipse来开发MapReduce程序,并打包成jar包在已经搭建好的hadoop集群环境上运行。 环境 Windows 7 Hadoop 2.7.3 Eclipse Mars Release (4.5.0) 安装Hadoop-Eclipse-Plugin 由于Windows系统下配置JDK环境和Eclipse的安装比较简单,所以此处省略其安装步骤。 ...

风信子 2646

【CicadaPlayer】av_rescale_q 学习:转换PTS和Duration

参考 av_rescale_q()理解 大神时间基准的总结: AVPacket下的pts和dts以AVStream->time_base为单位(数值比较大),时间间隔就是AVStream->time_base。 大神:多种转换的总结 av_rescale_q用于计算Packet的PTS 如: if (pkt->pts != AV_NOPTS_VALUE) { pkt->pts = av_rescale_q(pkt->pts, m

突围 841

科研绘图系列:基因突变瀑布图统计以及可视化

科研绘图系列:基因突变瀑布图统计以及可视化

专注生信领域 1653

hadoop学习笔记-4-eclipse运行MapReduce

Eclipse安装 1.      下载eclipse安装包:eclipse-SDK-4.2.1-Linux.tar.gz 2.      解压到指定目录:例如/usr/local 3.      运行./eclipse即可   使用Eclipse开发MapReduce程序 1.      将hadoop安装目录的contribute/eclipse-plugin中的jar包拷贝至ec

专注 2082

【推荐100个unity插件】unity易于使用模块化设计的天空、体积云和天气系统——Enviro 3

Enviro 3是一款功能强大的Unity天空与天气系统插件,提供动态天空、体积云、天气模拟等丰富功能。安装时需将预制体拖入场景并配置主相机,URP支持需激活深度纹理和添加渲染特性。模块化设计允许自由添加/移除时间、光照、雾效等模块,并通过API控制参数。推荐配合色调映射(如ACES模式)获得最佳视觉效果。插件支持季节、温湿度模拟及闪电风暴等特效,适用于需要逼真环境渲染的Unity项目。

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 2094

搭建eclipse下运行mapreduce代码的环境

搭建eclipse下运行mapreduce代码的环境 准备:基本的hadoop环境搭建好,并启动hadoop。 Hadoop集群环境: 10.20.153.125  h5  master                                        10.20.153.126  h6  slave

fyqmegan的专栏 3990

Pointnet++改进90:2025最新改进模块-EVA模块

本教程提出了一种改进PointNet++特征提取模块的方法,通过在PointNetSetAbstraction模块中加入NAMAttention注意力机制,显著提升了模型性能。具体改进包括:1)新建eva.py文件,实现了包含SDLSKA、CKS等关键组件的EVA模块;2)在pointnet2_utils.py中添加Conv和PointNetSetAbstractionAttention类,整合注意力机制;3)修改pointnet2_sem_seg.py模型结构。这种改进方法降低了实现难度,同时保持了33F

AIcurator的博客 361

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

上一篇: 学习笔记:从0开始学习大数据-7.hbase java编程hello world
下一篇: 学习笔记:从0开始学习大数据-9. MapReduce读并写Hbase数据
领尚
博客等级 码龄14年 1143粉丝 271原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值