eclipe搭建hadoop应用开发环境

eclipse搭建Hadoop(2.7.3)开发环境遇到的问题及应对办法 开发环境: eclipse Mars.2 Release (4.5.2) Hadoop 2.7.3添加hadoop-eclipse-plugin-2.7.3.jar到eclipse的plugins目录下。 hadoop-eclipse-plugin-2.7.3.jar 下载地址连接伪分布式环境(centos6.5 + hadoop 2.7.3): 连接成功如下: 本地测试wordCou 阅读详情

         前段时间,搭建eclipse学习java gui开发程序,只要调用JFRAME相关的类就会异常,原因是因为ubuntu安装了默认的openjdk,里面没有相关的库,所以要重新安装sun-jdk,现在的ubuntu apt-get源里面已经移除了sun-jdk,所以需要手动添加源,在网上找了很久,终于找一个可以用的,手动添加add-apt-repository ppa:sun-java-community-team/sun-java6;然后apt-get update,再安装sun-jdk就可以,安装完后再配置一下,然后再重新解压eclipse,不然还是会出错。

         言归正传

第一步     解压eclipse-jee-juno-sr1-linux-gtk.tar.gz,然后将hadoop-0.21.0.eclipce-plugin.jar拷贝到eclipse安装目录下的plugins下面,注意,hadoop-0.21.0.eclipce-plugin.jar不是hadoop自带的那个,需要到网上下载,不然会出现eclipse后面点击没反应的问题,后面将此资源上传到csdn上面。

第二步   如果安装插件成功,打开Window-->Preferens,你会发现Hadoop Map/Reduce选项,在这个选项里你需要配置Hadoop installation directory。配置完成后退出。 

第三步 在Window-->Show View中打开Map/Reduce Locations。 
在Map/Reduce Locations中新建一个Hadoop Location。在这个View中,右键-->New Hadoop Location。在弹出的对话框中你需要配置Location name,如myubuntu,还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。

配置完后退出。点击DFS Locations-->myubuntu如果能显示文件夹(2)说明配置正确,如果显示"拒绝连接",请检查你的配置。

hadoop开发环境搭建 很早就听说hadoop,但项目中一直没怎么接触,今天终于下定决心,花了一天的时间,搭起了基本的开发环境,总结如下。 一.软件准备 jdk、hadoop软件包、eclipse软件包(linux版) 二.安装java 详见http://blog.youkuaiyun.com/tonytfjing/article/details/42167599 三.安装hadoop(单机伪分布式) 3 阅读详情

相关推荐

eclipse+hadoop环境搭建及注意事项

搭建eclipse+hadoop1.2.1开发环境以及注意事项

Lord_War的博客 3696

windows上搭建hadoop开发环境

windows上搭建hadoop开发环境   前言   Windows下运行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行;另一种是通过Cygwin模拟Linux环境。后者的好处是使用比较方便,安装过程也简单   准备工作 安装JDK1.6或更高版本,安装时注意,最好不要安装到带有空格的路径名下,例如:

青衫烟雨客的专栏 3万+

Eclipse搭建Hadoop开发环境二三事

前言        当我们完成了基本的概念学习,我们就应该着手写代码了。毕竟时间才是真理啊!好了,今天我们就来聊聊如何搭建Hadoop的开发环境。材料准备        毕竟如果想要烹饪出一道美食的话第一就是要选好食材,而我们想要搭建好开发环境也需要提前准备好需要的软件。需要的软件清单如下: Eclipse Hadoop的tar包 Eclipse的Hadoop插件 开始配置

jacker 1994

eclipse配置hadoop2.7.2开发环境并本地跑起来

  先安装并启动hadoop,怎么弄见上文http://www.cnblogs.com/wuxun1997/p/6847950.html。这里说下怎么设置IDE来开发hadoop代码和调试。首先要确保你本地装了eclipse,再下个eclipse的hadoop插件就完事了。下面细说一下:   1、到http://download.youkuaiyun.com/detail/wuxun1997/9841487...

weixin_30702887的博客 326

Ubuntu 搭建Hadoop源码阅读环境

JDK,Eclipse的安装请参考:Ubuntu 安装 搭建 J2EE 开发环境 Ant安装:     下载ant:http://ant.apache.org/bindownload.cgi     解压Ant:     tar -xvzf apache-ant-1.9.2-bin.tar.gz      移动重命名: mv apache-ant-1.9.2/ ~/opt/

大T的专栏 4941

Ubuntu环境下搭建Hadoop Eclipse开发环境

本文介绍了在Ubuntu环境下,如何搭建Hadoop的Eclipse开发环境,并以实际的例子为例,演示应用具体的开发步骤。Hadoop伪分布式运行环境的配置,不算复杂,可以参考个人整理的在Ubuntu环境下搭建Hadoop伪分布式模式运行环境。

Bob Liu的程序人生 1507

Hadoop环境搭建测试以及MapReduce实例实现

首先我们启动eclipse需要管理员的权限,这样我们在运行这个程序时,避免了“无法访问”的错误。MapReduce实例实现的主要难点是代码的编写.希望各位既可以掌握Hadoop伪分布式的搭建过程,也熟悉一些Linux指令,锻炼动手能力。

黄笳倞的博客 1万+

Hadoop学习笔记(一)-- Hadoop环境搭建

大数据是时下非常火的名词,而Hadoop作为大数据的一个平台也十分受欢迎,但是目前市面上的书籍针对的版本都比较低,根据用软件的原则, 要用就用最新的,所以想学习一下Hadoop-2.2.0,可是只有一些官方文档,还有网上的一些资料,发现并没有很系统的讲解Hadoop学习的,毕竟写博客也是比较辛苦的事情,坚持一两个月还行,真的要一直坚持下去,确实比较困难。

tl200366zhanhao的专栏 779

windows 7 with eclipse 下hadoop应用开发环境搭建

一、概述 最近开始着手高校云平台的搭建,前些天做了hadoop集群测试环境的安装与配置的经验分享,这篇文章主要介绍win7 64位下 eclipse4.2 连接远程Redhat Linux 5下hadoop-1.2.0集群开发环境搭建 二、环境 1、window 7 64位 2、eclipse 4.2 3、Redhat Linux 5 4、hadoop-1.2.0 三

一名系统架构师的征途 1万+

基于文件通信的QMT量化交易信号桥接方案设计与实现

在量化交易系统开发中,进程间通信(IPC)是连接不同计算模块、实现策略逻辑与交易执行解耦的关键技术。其核心原理在于允许运行于独立环境或进程的程序安全、可靠地交换数据。文件系统通信作为一种经典的IPC方法,因其实现简单、跨平台兼容性好且数据可持久化,在非高频场景下具有重要技术价值。它尤其适用于需要将外部复杂计算环境(如配备丰富数据科学库的Python环境)与专用交易终端(如迅投QMT)集成的应用场景。通过约定文件路径与数据格式,外部程序可将包含交易指令的JSON信号文件写入特定目录,而交易终端通过轮询或监听机

weixin_28678151的博客 419

一文搞懂STM32定时器翻转模式(产生多路频率、占空比的PWM)

(产生多路频率、占空比的PWM)

weixin_56688599的博客 7935

使用Eclipse搭建Hadoop编程环境

在前人的基础上,进行总结学习,发现bug,修改bug。系统平台:Ubuntu14.04TLS(64位)Hadoop环境:Hadoop2.7.1Eclipse插件:hadoop-eclipse-plugin-2.7.1.jar。

m0_67393157的博客 5267

学习笔记:物理信息神经网络(PINN)

PINN 的强大在于它打破了传统数值方法的限制,将神经网络的非线性拟合能力与物理方程的严谨性结合起来。它在处理高维、数据稀缺、复杂物理约束的场景下尤其出色。当然,PINN 也有收敛慢、梯度消失等挑战,比如,复杂 PDE 可能导致梯度传播困难,收敛慢(梯度消失)、于具有快速变化特征的系统,如冲击波,标准 PINN 可能精度不足,需要改进策略,比如自适应采样或多尺度特征提取。但随着研究深入,这些问题正在不断被解决。物理或化学方程为什么往往是偏微分方程?什么是物理信息神经网络(PINN)?x_%7Bi%7D。

qq_52635735的博客 1万+

Hadoop基于Windows+eclipse开发环境搭建

0 准备工作: 本篇以hadoop2.7.7 + eclipse 2019 03为例 先在windows上下载如下包: JDK: https://www.oracle.com/technetwork/java/javase/downloads/index.html 进入下载页面选择一个版本进行下载 eclipse: https://www.eclipse.org/downloads/p.........

tangyi2008的专栏 5322

Codex 桌面端自定义模型列表为空 — 修复记录

摘要:Codex桌面端首次启动正常,但二次启动后出现中文界面且模型列表丢失。问题根源在于Electron的Chromium持久化状态损坏,导致UI渲染异常。解决方案包括:1) 将config.toml中的模型路径改为绝对路径;2) 删除损坏的状态文件.codex-global-state.json;3) 清除Chromium用户数据目录AppData\Roaming\Codex\web。验证显示修改后模型功能恢复正常,重装无效的原因是卸载未清除用户数据目录。

猿小白的博客 1154

OSPF规划两大模型:双塔奇兵、犬牙交错

大家好,今天给大家带来的是OSPF规划两大模型:双塔奇兵、犬牙交错,让我们直接开始吧! OSPF规划之双塔奇兵 说明: OSPF 如果某个区域存在两个 ABR,并且在两个 ABR 上都对 area n 内的路由做了聚合操作。 最佳配置: 两台ABR之间的红线应该使用以太网的子接口技术,一个子接口属于area0,另一个属于 area n;或者该链路规划为 area n,同时配置虚连接; ABR 的 loopback0 规划入 area 0 OSPF 规划之犬牙交错 说明: 有时接入层的设备会以乱序的

网络技术联盟站 2423

在linux中搭建hadoop开发环境

在linux中搭建hadoop开发环境     一、在windows上安装linux双系统   hadoop是运行在linux下的并行计算框架,在windows上搭建也是通过cygwin模拟linux的环境来运行,所以个人觉得直接在windows下搭建hadoop几乎没有任何好处,还不如在windows上安装linux的虚拟机,通过虚拟机中的linux系统来运行hadoop。所以安装li...

何秋森的博客 6811

某物data魔改与变种算法还原(含加解密Py纯算)

某物data加解密、设备指纹魔改、变异、自定义加密分析与纯算还原

吴秋霖的博客 1281

eclipe hadoop 开发环境搭建

1、Hadoop开发环境简介 1.1 Hadoop集群简介   Java版本:jdk-6u31-linux-i586.bin   Linux系统:CentOS6.0   Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介   Java版本:jdk-6u31-windows-i586.exe   Win系统:Windows 7 旗舰版   Ec

原创学无止尽 1023

人体分割笔记总结

人体分割 人体分割(human parsing),属于语义分割任务的子任务,旨在对人类图像进行像素级的是细粒度分割(例如,划分出身体部位和服装)。根据不同的场景,又可以分为单人人体解析(single-person human parsing)和多人人体解析(multi-person human parsing,或者 instance-level human parsing)。除此之外,按照处理媒介分类,还可以分为基于图像的人体解析和基于视频的人体解析。 对于人体解析任务,常用的度量指标包括 Pixel a

jacke121的专栏 4255

QEMU源码全解析 —— virtio(3)

QEMU源码全解析 —— virtio(3)

phmatthaus的专栏 1849

Hadoop环境搭建之windows环境下的hadoop配置

Hadoop环境搭建之windows环境下的hadoop配置 所用文件 hadoop-2.6.5.tar.gz eclipse mars hadoop-eclipse-plugin-2.6.0.jar https://www.xpgod.com/soft/44745.html windows10 64位编译hadoop 2.6.5 bin文件 https://download.youkuaiyun.com/d...

foreverlove_ty的博客 554

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

Hadoop开发环境搭建

Hadoop版本:2.4.0 集群运行环境:Ubuntu14.04 java version:1.7.0_

z363115269的专栏 9036

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

hadoop的eclipse环境搭建

大数据专栏 上一篇 主目录 下一篇 目录1. eclipse的安装2. 安装hadoop插件3. 搭建eclipse开发环境 【前言】 1. eclipse的安装 参见 https://blog.youkuaiyun.com/qq_36554582/article/details/8183...

ShaneHolmes 709

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

搭建Hadoop源代码阅读环境

本节将介绍如何创建一个Hadoop源代码工程以方便阅读源代码。总体上说,目前存在两种Hadoop源代码阅读环境搭建方法,分别是构建Maven工程和构建Java工程。两种方法各有利弊:前者可通过网络自动下载依赖的第三方库,但源代码会被分散到多个工程中进而带来阅读上的不便;后者可将所有源代码组织在一个工程中,但需要自己添加依赖的第三方库,大家可根据自己的喜好选择一种方法。本节将依次介绍这两种方法。

发展是曲折的但也是前进的 4400
上一篇: hbase 0.90.5 单机搭建
下一篇: 安装ubuntu几个基本软件
devil27
博客等级 码龄19年 1粉丝 18原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值