Windows搭建hadoop源码阅读环境过程中踩坑

最新推荐文章于 2024-09-21 19:07:26 发布
最新推荐文章于 2024-09-21 19:07:26 发布
阅读量732 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sinat_25551085/article/details/80032186
本文分享了使用Maven搭建Hadoop开发环境的经验，包括配置阿里云仓库、解决protoc版本冲突问题及常见错误处理方法。

1. 我的maven用的阿里云仓库地址，国外的慢…

这里写图片描述

2 环境

  • jdk1.8
  • maven 3.5
  • hadoop-3.0.1-src.tar.gz
  • protoc-2.5.0-windows-x86_64.exe(一开始我用的是最新的，发现不行)

3. 踩的坑

  • 在执行mvn install的过程中，发现日志中提示“期望的是protoc.2.5，而碰到得到是3.1”，因为我安装的protoc不是2.5，而是最新的，所以我又从官网下载的2.5.exe替换了原来的exe
  • 在执行mvn install，终于Build Success

4. 执行：mvn eclipse:eclipse -DskipTests

  • 这个命令执行的时候，如果下载失败的话，要多次执行并查看日志，看到底是哪里出了问题，一般多次执行之后，是可以Build SUCCESS的

这里写图片描述

windows搭建hadoop源码阅读(debug)环境
a6822342的博客
09-28 1458
之前自己有搭过一次，不过是在ubuntu上弄的，然后这次想在windows上弄一个源码阅读环境，说干就干，网上找了一些资料，然后结合自己的情况弄了一套，下面是步骤： 一.下载hadoop的安装包，将其解压缩，然后下载winutils.exe和hadoop.dll将其放在hadoop的bin目录下。 下载地址如下： 链接：https://pan.baidu.com/s/1TnwIbXdVzGW...
Ubuntu 搭建Hadoop源码阅读环境
大T的专栏
11-08 4847
JDK,Eclipse的安装请参考：Ubuntu 安装 搭建 J2EE 开发环境 Ant安装：     下载ant:http://ant.apache.org/bindownload.cgi     解压Ant:     tar -xvzf apache-ant-1.9.2-bin.tar.gz      移动重命名： mv apache-ant-1.9.2/ ~/opt/
Hadoop源码阅读环境搭建
Jack Zhu
11-19 5318
Hadoop源码阅读环境搭建 一、说明 作为一个学习hadoop的同学，必须在本机上搭建hadoop源码阅读环境，这样，在方便阅读源码的同时也方便进行调试和源码修改。好了，下面开始搭建环境。 1.环境说明：hadoop 版本：1.2.1、 IDE：eclipse、操作系统：centos  2.网上有人是通过eclipse的新建项目指定目录的方式将hadoop目录转换成Eclip
在Windows8.1下配置Hadoop2.7.0的源代码阅读环境
chinamcafee的专栏
08-22 819
以图文方式手把手教你配置Hadoop2.7.0的源代码阅读环境
Hadoop源代码阅读环境搭建
adr5970的博客
05-27 307
Hadoop源代码阅读环境搭建 一、说明 作为一个学习hadoop的同学。必须在本机上搭建hadoop源代码阅读环境，这样，在方便阅读源代码的同一时候也方便进行调试和源代码改动。好了。以下開始搭建好开发环境。 1.环境说明：hadoop 版本号：1.2.1、 IDE：eclipse、操作系统：centos 2.网上有人是通过eclipse的新建项目指定文...
银河麒麟—利用docker搭建hadoop集群（完全分布式）
Spider_man918的博客
04-10 978
$ docker pull ubuntu:16.04 $ docker run -it ubuntu:16.04 #在容器内安装jdk和hadoop $ ls hadoop-2.7.7.tar.gz jdk-8u241-linux-x64.tar.gz $ docker exec -it 05272c80eb5b /bin/bash root@05272c80eb5b:/opt# mkdir /...
读Hadoop3.2源码，深入了解java调用HDFS的常用操作和HDFS原理
码大叔
03-31 475
本文将通过一个演示工程来快速上手java调用HDFS的常见操作。接下来以创建文件为例，通过阅读HDFS的源码，一步步展开HDFS相关原理、理论知识的说明。 说明：本文档基于最新版本Hadoop3.2.1 目录 一、java调用HDFS的常见操作 1.1、演示环境搭建 1.2、操作HDFS 1.3、java文件操作常用方法 二、深入了解HDFS写文件的流程和HDFS原理 2.1、Hadoop3....
spark02： 围绕Spark3.0.1为主Hadoop3.2、Mysql、Hbase2.3.3、Hive3.1.2、ZooKeeper3.5.5、Flume、Kafka、Redis搭建
Big_data_implicit_
11-26 1267
非生产环境，就使用一个新一点的版本，提前先踩踩坑，版本的选型真是一个头疼的问题，先看一下apache的官网的测试图： 先选好Spark：3.0.1 对应的Hadoop:3.2和2.7中选一个，综合上面的图，2.7无法使用HBase，只能选3.2了 #hadoop软件： http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1-src.tar.gz ＃spark软件： http://archive.apac
华为云centos7.9按装ambari 2.7.5 hostname 踩坑记录
最新发布
SoberChina的博客
09-21 1663
Centos 7.9 下Ambari2.75安装及HDP3.1.5集群搭建 linux hostname 获取失败案例分享。云上机器 hosts配置hostname走回环 ambari socket.getfqdn() 获取 localhost.localdomain 问题排查。以及 领先云 嗯 解决问题的方式
Azkaban-two-server环境搭建
广彐水厂
04-21 604
two server mode（双进程服务模式 ）：存放元数据的数据库为 MySQL，MySQL 应采用主从模式进行备份和容错。这种模式下 webServer 和 executorServer 在不同进程中运行（ 同一服务器 ）。该模式适合生产环境，更新和升级时对用户的影响较小。 一、前置准备 需要用到 Azkaban 编译后的 gz包（ azkaban-web-server-0.1.0-SNAP...
Understand.5.1.993（windows x86&x64;）阅读代码的神器（2019.7月发布的最新和谐版本）
07-08
Understand.5.1.993（windows x86&x64;）阅读代码的神器（2019.7月发布的最新和谐版本）
win10系统编译好的hadoop源码
10-25
编译好的win10系统hadoop源码，下载后替换原先的即可。
[hadoop2.7.2]搭建eclipse源码阅读环境
海兰
03-03 285
有的小伙伴在问我如何在windows下搭建一个eclipse的hadoop源码阅读环境，今天就以hadoop2.7.2为例，简单介绍下如何搭建。 环境及工具如下： 1、系统：windows7 2、eclipse版本：eclipse-jee-mars-1-win32 3、jdk版本：1.7 4、maven版本：3.3.3 5、protoc版本：2.5.0 6、hadoop：2....
【Hadoop】Hadoop源码阅读环境搭建及相关问题解决（1）
小哲的博客
09-12 693
Hadoop源码阅读环境搭建及相关问题解决 基于IDEA搭建Hadoop源码阅读环境 到官网下载Hadoop源码包，例如hadoop-2.6.5-src.tar.gz. https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.1/hadoop-3.2.1-src.tar.gz 将下载的源码包解压到某个目录下，记住这个目录，后...
Hadoop 2.0源码阅读环境配置--win7+Eclipse+Hadoop2.2.0
Amber_amber的专栏
08-18 2342
hadoop 2.0发布时间不长，目前也还没有puji
Idea Mark Directory as 下的文件夹分别代表的含义
热门推荐
XGBYL的博客
07-25 1万+
可以将内容根目录中的文件夹分配给以下类别：     1. Source roots (或者 source folders; 显示为 )。     通过为此类别分配文件夹，您可以告诉IntelliJ IDEA此文件夹及其子文件夹包含应作为构建过程的一部分进行编译的源代码。     在Java模块中，源根目录中的子文件夹代表Java包结构。     您可以将包前缀分配给源根（例如，my.mycompa...
基于idea搭建Hadoop源码阅读环境
twj0823的博客
11-27 5108
Hadoop源码是这么做，其他源码环境也类似。 1、到官网下载Hadoop源码包，例如hadoop-2.6.5-src.tar.gz. https://www-eu.apache.org/dist/hadoop/common/hadoop-2.6.5/ 2、将下载的源码包解压到某个目录下，记住这个目录，后面导入Idea时需要这个目录。 3、打开Idea，点击Import Project选项...
Hadoop源码阅读环境搭建（Windows和Linux）
L
01-21 1457
        就为了瞅瞅hadoop源码长啥样，坑是踩了一个又一个，最后将成功的搭建方法记录下来仅供参考。每个人的系统环境不同，出现的问题也会不一样，如果有新坑，欢迎粘贴到底部评论区，回头踩踩。 Windows源码环境搭建 软件下载 Windows：版本8.1； eclipse：版本eclipse-inst-win64.exe，官方下载地址：eclipse-inst-win64.exe；...
Windows环境Hadoop搭建与常见问题解答教程
在搭建Hadoop环境的过程中，Windows用户可能会遇到一系列的挑战，但通过本教程的详尽说明，将能够逐步解决这些挑战。Hadoop是一个由Apache基金会开发的开源框架，它允许用户存储、处理和分析大规模数据集。它使用...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值