Ubuntu18.04 搭建Hadoop完全分布式环境--踩坑局

最新推荐文章于 2022-11-20 17:20:11 发布

原创最新推荐文章于 2022-11-20 17:20:11 发布 · 413 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

大数据之路专栏收录该内容

5 篇文章

订阅专栏

本文分享了Ubuntu18.04的安装经验，包括解决root用户切换失败、vim编辑器权限不足、IP配置及ssh连接问题的方法。通过详细步骤，帮助读者避免和解决安装过程中可能遇到的常见坑。

安装Ubuntu18.04 暂时无坑 -跟着优快云教程；

坑一 su root 无法切换root用户 (提示 Authentication failure)

填坑 sudo psswrd 然后当前用户密码然后输入 root密码确认 root 密码然后重新就 OK了

我是因为忘记root密码所以这样。

坑二 vim 出现权限不足： :wq! :w! 都不好使怎么样直接前面加 sudo OK 搞定

坑三配置IP ping不通（有预感）

查看自己虚拟机IP进行

坑四错误如下

ssh: connect to host 192.168.0.129 port 22: Connection refused
lost connection

安装openssh-server

ssh。。明天继续晚安

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

BreaK1221

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Ubuntu18.04下配置hadoop完全分布式集群

qq_52135683的博客

07-22

2552

ubuntu18.04下配置hadoop完全分布式配置

mysql-server_5.7.30-1ubuntu18.04_amd64.deb-bundle

10-07

总结一下，"mysql-server_5.7.30-1ubuntu18.04_amd64.deb-bundle"为Ubuntu 18.04用户提供了高效、安全、可扩展的MySQL服务器环境。它的功能包括InnoDB存储引擎的优化、增强的查询性能、JSON支持、安全增强以及高可用...

参与评论您还未登录，请先登录后发表或查看评论

ubuntu18.04搭建完全分布式hadoop

04-02

使用vmware复制了三个ubuntu18.04虚拟机系统，模拟多台服务器，安装配置完全分布式hadoop。想修改成免费的，不会修改。有问题可以留言一起交流

Ubuntu18.04 搭建Hadoop完全分布式环境--挖坑局

BreaK1221的博客

06-10

448

SCP CP sudo mv ./old_name ./new_name 修改文件名当遇到远程错误的时候记得看一下虚拟机是否有网络！没有网络 sudo service network-manager restart ----记得更新 ssh: connect to host 192.168.0.XXX port 22: Connection refused lost connection 当出现上面错误的时候兄弟们直接在目标机器上安装sudo apt-get install op...

ubuntu-18.04.4 Hadoop完全分布式环境安装

独醉的博客

04-28

1388

我一共使用了三台ubuntu虚拟机，网络使用的是Nat模式，因为配置中涉及到IP，所以建议使用Nat模式固定的IP。 ubuntu-18.04.4 Hadoop完全分布式环境安装系统配置IP分配主机名设置配置hosts重启网络检查网络创建hadoop账户SSH免密登录安装Hdoop启动Hadoop用自带的样例测试hadoop集群通过eclipse编写Hadoop代码系统配置 IP分配主节点：1...

Ubuntu18.04 搭建Hadoop完全分布式环境--完结局

BreaK1221的博客

06-12

467

chmod -R 777 * 意思就是将当前目录下所有文件都给予777权限 mv 移动+改名问题1 Linux开启hadoop没有开启9000等端口，查看端口开放情况也没有解决： hdfs namenode-format 开启 DEBUG方式查找错误原因$exportHADOOP_ROOT_LOGGER=DEBUG,console hadoop报错： WARN util.NativeCodeLoader: Unable to load native-hadoop libr...

Ubuntu18.04安装配置伪分布式Hadoop

weixin_43977129的博客

05-24

2708

全过程走完，一般需要用时两小时左右目录写在前面1 准备阶段1.1 创建hadoop用户1.2 安装SSH，设置SSH无密码登陆1.3 安装jdk，配置环境变量2 安装hadoop2.1 下载2.2 安装2.3 配置环境变量3 配置伪分布式3.1 修改hadoop配置hadoop-env.sh（JAVA_HOME）*运行出现警告再加配置core-site.xml（文件存储位置、查看node网址）hdfs-site.xml（node存储位置、数据副本数）*yarn-env.sh（JAVA_HOME）*map

ubuntu-18.04.4-desktop-amd64.iso

04-16

ubuntu-18.04.4-desktop-amd64.iso

mysql-server-8.0.31-1ubuntu18.04-amd64.deb-bundle.tar

10-14

Ubuntu Linux 18.04 (x86, 64-bit), DEB Bundle 8.0.31 (mysql-server_8.0.31-1ubuntu18.04_amd64.deb-bundle.tar)

阿里云轻量级服务器ubuntu18.04配置Java1.8伪分布式安装Hadoop2.7.x

qq_44880708的博客

11-05

952

阿里云轻量型服务器ubuntu18.0.4配置Java1.8伪分布式安装Hadoop2.7.3前言第一部分：更改主机名和添加新用户第二部分：Java1.8的下载和安装功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaT...

搭建Hadoop出现的问题，无法ping通，连接不上xshell

m0_62991414的博客

11-17

1285

连接不上xshell,虚拟机内无法ping通也无法ping通外网

ubuntu 18.04下安装配置Hue问题记录

weixin_30553065的博客

11-07

254

前段时间将Hadoop 在ubuntu环境下装好，接下来尝试安装Hue来管理Hadoop，参照的资料有： 1、高可用Hadoop平台－Hue In Hadoop 2、ubuntu16.04 安装单机Hadoop&HIVE&HUE 3、安装Hue后的一些功能的问题解决干货总结现将过程中的一些问题记录下来，供碰到类似问题的同学参考 Hue Web无法访问HDFS的文件，...

Ubuntu环境下，hadoop全分布式配置的一些小技巧和坑

leokingszx的博客

01-24

245

主要参考了 http://blog.csdn.net/xiaoxiangzi222/article/details/52757168/ 为了让虚拟机也能上网，使用了NAT模式。同时为了虚拟机间通信方便，应设置静态IP。 1、在右上角点连接，可以直接了当的设置虚拟机的静态IP地址。 2、同样在右上角，点设置，可以直接修改hostname。当然，想修改host，还是要使用文本编辑器编辑。使用 s...

ubuntu分布式集群修改主机名

Neo_L的博客

07-24

504

无论是master节点还是slave节点都一样 1.首先进入管理员模式：sudo su 2.执行命令：vim /etc/hostname 修改为想要的主机名 3.执行命令：vim /etc/hosts 添加ip+主机名（这个是为了添加ip与主机名的映射） ...

hadoop实战(二)ubuntu18.04搭建hadoop集群

Arkham的专栏

11-05

1453

一、安装JDK 官网下载jdk压缩包并解压， vim /etc/proflie 或者修改vi ~/.bashrc 加上如下： export JAVA_HOME=/home/hadoop/jdk1.8.0_161 export HADOOP_HOME=/home/hadoop/hadoop-2.9.1 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_H...

Ubuntu18.04+Docker+Hadoop+Spark分布式集群搭建

蒟蒻菜鸡的博客

10-28

1905

Docker是一个开源的应用容器，它可以让开发者将应用及其所需的依赖包打包到一个可移植的镜像中，可实现虚拟化。Hadoop是一开源的分布式系统基础架构，用于分布式计算，它可以给用户提供集群的高速运算和存储。本文简要介绍了Docker和Hadoop的发展史，Docker的架构，Hadoop的模块组件。并最终一步步搭建了Docker和Hadoop集群，并进行了测试。

ssh 连接错误 Too many authentication failures 解决方法

技术宅，专注云原生、Go、Linux、Java等技术分享，原创文章、效率工具、实战解决方案！关注我，了解互联网动态，学 IT 不迷路

11-20

1万+

ssh 连接错误 Too many authentication failures 解决方法转载自作者：陆崖 2 原文：https://www.jianshu.com/u/bf00c425770a 背景有时候使用 ssh 登录或者 git ssh 方式连接时会遇到：Too many authentication failures 这个错误的原因是客户端尝试连接次数大于服务端限制的次数。默认情况下： ssh 客户端会按照认证顺序： 1. 依次尝试 ssh-agent 中的秘钥和配对～/.ssh

ubuntu18.04 搭建hadoop完全分布式集群（Master、slave1、slave2）共三个节点

热门推荐

sxj的专栏

12-25

2万+

一、硬件配置以及操作系统：所需要的机器以及操作系统：一台mac os笔记本、一台window笔记本（CPU双核四线程，内存8G），其中mac os用于远程操作，window笔记本装有虚拟机，虚拟出3个ubuntu18.04系统（配置CPU1个线程2个，内存1.5G，硬盘分配每个70G），对于mac os（可以用window机或者linux机）的配置没有要求使用vm创建3个ubuntu18....

详细Ubuntu系统下搭建Hadoop完全分布式

sinat_36556658的博客

03-03

1万+

1.Hadoop的运行环境介绍hadoop主要有三种运行模式：单机模式、伪分布模式、完全分布模式。其中在单机模式下所有3个XML文件均为空，当配置文件为空时，Hadoop会完全运行在本地，因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。在伪分布式模式下是指在“单节点集群”上运行Hadoop，其中所有的守...

ubuntu18.04搭建伪分布式Hadoop环境

06-07

好的，下面是搭建伪分布式Hadoop环境的步骤： 1. 安装Java Hadoop需要Java环境，所以需要先安装Java。 ``` sudo apt-get update sudo apt-get install default-jdk ``` 2. 安装Hadoop 下载Hadoop安装包并解压： ``` wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz tar -xzvf hadoop-2.10.1.tar.gz sudo mv hadoop-2.10.1 /usr/local/hadoop ``` 3. 配置Hadoop环境变量打开hadoop-env.sh文件进行编辑： ``` sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh ``` 将以下内容添加到文件的末尾： ``` export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64 export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 保存并退出。 4. 配置Hadoop 打开core-site.xml文件进行编辑： ``` sudo nano /usr/local/hadoop/etc/hadoop/core-site.xml ``` 将以下内容添加到文件的末尾： ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 保存并退出。打开hdfs-site.xml文件进行编辑： ``` sudo nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml ``` 将以下内容添加到文件的末尾： ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value> </property> </configuration> ``` 保存并退出。 5. 格式化Hadoop文件系统运行以下命令来格式化Hadoop文件系统： ``` hdfs namenode -format ``` 6. 启动Hadoop 运行以下命令来启动Hadoop： ``` start-all.sh ``` 7. 检查Hadoop状态运行以下命令来检查Hadoop状态： ``` jps ``` 如果一切正常，你应该看到以下进程： ``` NameNode SecondaryNameNode DataNode ResourceManager NodeManager ``` 这样，伪分布式Hadoop环境就搭建完成了。