安装Windows下 CDH5开发环境

最新推荐文章于 2024-05-23 17:22:29 发布
原创 最新推荐文章于 2024-05-23 17:22:29 发布 · 2.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何在Cloudera CDH5环境下配置Hadoop，并提供下载源码包、插件等资源链接。针对Windows环境下的Eclipse集成开发环境，详细介绍了使用hadoop-eclipse-plugin进行远程开发的具体步骤，包括常见问题及其解决方案。

一，cloudera



二，下载源码包


我在此页面下下载了hadoop-2.6.0-cdh5.4.7-src.tar.gz 与运行环境的版本匹配。

三，hadoop插件


我下载了 hadoop-eclipse-plugin 2.6.0的jar包，使用在cdh5.4.7上无问题。

要注意从github上下载 winutils.exe 和 hadoop.dll



四，创建wordcount


问题一，发现下面的部分找不到jar包 

import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

解决：在hadoop-2.6.0-cdh5.4.7\share\hadoop\mapreduce2 中添加jar包。



CDH 安装步骤
weixin_75004435的博客
12-03 1234
CDH（Cloudera Distribution for Hadoop）是一个由 Cloudera 提供的 Hadoop 生态系统的发行版，集成了 Apache Hadoop、Hive、HBase、Impala、Spark 等大数据处理工具。它为企业提供了一个易于安装、管理和扩展的 Hadoop 集群解决方案，并包含了增强的管理功能和企业级支持。CDH 提供了图形化的管理界面（Cloudera Manager）来简化集群配置、监控和故障排除，适合大规模数据处理和分析任务
【大数据集群搭建-CDH-（1）虚拟机基础环境配置】CDH版本进行大数据集群各组件环境部署-（1）虚拟机基础环境配置
weixin_53543905的博客
02-22 1016
安装vim,telnet,ifconfig,根据情况进行安装。最后通过客户端进行连接三台虚拟机,然后就可以使用了。【大数据集群搭建-CDH-（1）虚拟机基础环境配置】CDH版本进行大数据集群各组件环境部署-（1）虚拟机基础环境配置
CDH5安装
kingjo002的专栏
04-14 6492
https://wiki.debian.org/JavaPackage java-package provides the ability to build a Debian package from a Java binary distribution by running make-jpkg  (with archive files downloaded from provid
IDEA开发CDH
qq_37243563的博客
03-29 1588
新建Maven项目打开 –> File –> New –> Project点击Next点击Finish编写MapReduce程序1.编写 Maven 依赖：依照Cloudera官方文档进行配置： Using the CDH 5 Maven RepositoryMaven Artifacts for CDH 5.11.x Releasespom.xml:<?xml versi...
win7编译cdh5.14.0
坚哥笔记
04-21 291
环境准备跳过所有，直接下载官方 building.txtRequirements:* Windows System* JDK 1.7+                只能是jdk1.7, require ( 1.7.0~1.7.10000),安装路径不含空格!* Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs)  path +=D:...
hadoop-2.3.0-cdh5.1.0 windows 8.1 下的编译
无限天空
08-03 2490
和hadoop 2.2 有些差别 1. 只能使用jdk 1.7 （jdk1.8 编译提示错误） 2. 先执行 hadoop-2.3.0-cdh5.1.0\cloudera\apply-patches ../src ./patches 将cloudera的修改合入hadoop 2.3的代码 3. 修改 hadoop-2.3.0-cdh5.1.0\src\hadoop-common-projec
IDEA构建支持cdh版本和scala的maven项目注意事项
weixin_30401605的博客
06-08 225
工具和环境 idea2018.1 ， scala2.11.8， scala的idea支持包，下载地址 maven3.3.9 win10系统 1.maven环境配置 下载解压maven包,(也可以使用idea自带的，其目录：\IntelliJ IDEA 2018.1\plugins\maven\lib\maven3) 配置环境变量 新建repository目录作为本...
《Windows下Hadoop-MR代码开发环境准备以及具体案例》教程结果对照数据.zip
最新发布
12-03
在《Windows下Hadoop-MR代码开发环境准备以及具体案例》教程中，会有详细的指导来帮助开发者逐步完成环境搭建，并通过具体的案例来讲解如何编写MapReduce程序，并进行结果对照和分析。 通过这些练习，开发者可以对...
hadoop-2.6.0-cdh5.14.4 for windows
07-04
【Hadoop-2.6.0-cdh5.14.4 for Windows】是一个专为Windows操作系统编译的Hadoop发行版，适用于测试和开发环境。这个版本是基于Cloudera Distribution Including Apache Hadoop（简称CDH）的5.14.4版本，集成了多个...
Hadoop 2.6.0 CDH版本在Windows环境搭建指南
压缩包子文件名称“CDH版本Hadoop2.6.0在Winodws下环境搭建”虽存在拼写错误（应为Windows），但仍清晰传达出文档主题。该文件很可能包含详细的图文教程、配置脚本（如hadoop-env.cmd、core-site.xml、hdfs-site.xml...
Windows环境下编译Hadoop-2.6.0-CDH5.16.2指南
总的来说，标题和描述所涵盖的知识点涉及Hadoop的基本概念、版本号、Windows环境下的适配，以及Cloudera公司提供的CDH产品的特点。文件列表则进一步揭示了这个版本可能包含的关键目录和文件，对于开发者来说，了解...
使用IDEA工具连接CDH集群里面的hive组件
12-19
IDEA工具 连接CDH集群里面的hive组件 亲自测试通过 可以连接使用
hadoop-2.6.0-cdh5.14.0编译的bin文件 hadoop.dll winutils.exe
04-23
耗时两天周末,win7 X64环境自己编译的bin目录 hadoop.dll winutils.exe hadoop hadoop.cmd hadoop.exp hadoop.lib hadoop.pdb hdfs hdfs.cmd hdfs.dll hdfs.lib hdfs.pdb libwinutils.lib mapred mapred.cmd rcc winutils.pdb yarn yarn.cmd
hadoop各版本--hadoop.dll,以及winutils.exe，亲测
10-29
缺少winutils.exe回报如下错误： Could not locate executable null \bin\winutils.exe in the hadoop binaries 缺少hadoop.dll 错误如下： Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 解压文件，winutils.exe ，hadoop.dll两个文件都要copy放在hadoop/bin/目录下即可
hadoop-2.6.0-cdh5 编译的bin文件 hadoop.dll winutils.exe
08-07
bin目录 hadoop.dll winutils.exe hadoop hadoop.cmd hadoop.exp hadoop.lib hadoop.pdb hdfs hdfs.cmd hdfs.dll hdfs.lib hdfs.pdb libwinutils.lib mapred mapred.cmd rcc winutils.pdb yarn yarn.cmd 亲测可用，放心下载
windows服务器搭建CDH集群：配置nginx反向代理虚拟机
eyeofeagle的博客
01-08 1454
1，块丢失 && namenode高可用失效=>两个nn都是active _1073755565 /hbase/data/default/V_ESBH
CDH集群搭建（一）——使用VM15创建虚拟机
qq_42490075的博客
09-02 1961
VM版本：15.5.6 build-16341506 创建虚拟机的步骤说来话长，我们长话短说，直接上图： 选择下载好的CentOS-7 ISO文件 给虚拟机设置名称，虚拟机在本机上存放的位置 根据情况来设置，若电脑只安装了1个CPU处理器，那么在虚拟机中选择2个处理器数量，也是只运用一个处理器的，因为电脑硬件本身只有1个处理器。 不追求性能的话，内存设置小一点没问题。根据自己电脑内存来，给太大电脑会卡死的。 都可以，看自己熟悉那种配置，我一般选择NET模式 最大磁盘也是根据自己磁盘容量
CDH 6.3.2安装部署（超详细）
2201_75470972的博客
05-23 5773
超级详细的cdh6.3.2安装部署教程
史上最全cdh安装详细教程
热门推荐
一亩三分地
01-27 3万+
此篇文章主要介绍了CDH在centos 6.x下的安装,在centos 7 版本中的安装以后会推出. 这篇文档将着重介绍Cloudera管理器域CDH的安装,并基于以下假设: >>操作系统版本: centos 6.8 >>MySQL数据库版本: 5.6.24 >>CM版本: CM  5.12.1 >>CDH版本: CDH 5.12.1 &...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值