Linux.配置Hadoop环境的一些问题解决

Ubuntu下伪分布式安装Hadoop详细教程 目录 前言 一、修改配置文件 1. 配置 .bashrc 文件 2. 配置伪分布式 二、初始化文件系统 三、验证安装 1. 启动HDFS 2. 部分报错 总结 前言 Hadoop 的伪分布式安装需要建立在 Hadoop 的单机安装之上,关于 Hadoop 的单机安装可以参考作者的另一篇博客:Ubuntu下单机安装Hadoop详细教程(附所需安装包下载) 本文安装的 Hadoop 及 Java 环境基于林子雨老师的《大数据技术原理与应用(第3版)》中... 阅读详情
  • 弄了很久

几篇教程


问题与解决

问:伪分布环境配置的时候,启动Hadoop时提示输入root的密码,但是无论如何也无法输入正确。(本人参考很良心的中文版教程进行的配置)

$ sudo /usr/local/hadoop/sbin/start-dfs.sh
Starting namenodes on [localhost]
root@localhost's password: 
root@localhost's password: localhost: Permission denied, please try again.

答:首先发现我用了sudo,所以提示需要输入的密码是root的
1.Ubuntu默认的root密码似乎是随机的,如果没有更改过那么无论你怎么输入也不对。故需要修改root密码。

$sudo passwd root

2.但是改了之后,原本无法su root成功,修改后可以成功su root,证明我的root密码已经的确修改成我设置的密码了,但是对于root@localhost’s password:还是没办法怎么办:修改ssh的配置文件

$sudo gedit /etc/ssh/sshd_config

1) PasswordAuthentication yes
2) PermitRootLogin yes
3) RSAAuthentication yes
4) PubkeyAuthentication yes
5) AuthorizedKeysFile %h/.ssh/authorized_keys

  • 尤其是(2)的PermitRootLogin,在我找遍了谷歌百度也无解的时候,我确信问题出在ssh身上,于是查看了ssh的日志记录
$ cat /var/log/auth.log | grep ssh
  • 注意,文件名不一定是auth.log,路径也不一定百分百匹配,因为我看一篇文章上是ta的日志在别处叫别的名字,总之实在/var/log这里面,找一找就能找到
Feb 23 23:07:33 niugenen sshd[6429]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=127.0.0.1  user=root
Feb 23 23:07:40 niugenen sshd[6429]: Failed password for root from 127.0.0.1 port 43132 ssh2
Feb 23 23:07:45 niugenen ssh
Hadoop 单节点部署 Setup passphraseless ssh Now check that you can ssh to the localhost without a passphrase: $ ssh localhost If you cannot ssh to localhost without a passphrase, execute the following commands: $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ cat ~/.ssh/i 阅读详情

相关推荐

Hadoop3.1.1单机搭建问题总结

启动start-dfs.sh时出错 // HDFS格式化后启动dfs出现以下错误: [root@localhost hadoop]# ./sbin/start-dfs.sh Starting namenodes on [localhost] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Startin

weixin_44077750的博客 970

搭建hadoop集群,从安装虚拟机开始直到hadoop成功搭建

搭建Hadoop集群一、实验目的与要求学习和掌握Hadoop的相关应用,首先必须得学会搭建Hadoop集群。本次实验将针对Hadoop集群的搭建内容进行演练。学会虚拟机的安装和克隆,Linux系统的网络配置和SSH配置,Hadoop集群的搭建和配置,Hadoop集群测试,熟悉Hadoop集群基本的操作。要求:1、认真理解集群搭建过程,通过实践成功搭建Hadoop集群。2、结合实践内容和教材的相关章节完成实验报告。二、实验内容1、虚拟机安装2、虚拟机克隆3、Linux系统网络配置4、SSH服务配置5、JDK安

sgsgsgwe的博客 3883

linux安装pyspark_Linux下搭建PySpark环境

安装spark:tar -zxvf ./spark-2.4.3-bin-hadoop2.7.tgz -C ./sparkexport SPARK_HOME=/home/service/spark-2.4.5-bin-hadoop2.7export PATH=$SPARK_HOME/bin:$PATH安装hadoop:tar -zxvf ./hadoop-2.6.0-cdh5.8.5.tar.gz ...

weixin_39575212的博客 642

使用eclipse配置windows本地hadoop环境

使用eclipse配置windows本地hadoop环境,使用的是hadoop-2.8.5第1步:解压hadoo压缩在windows下解压缩hadoop压缩包(和Linux下的hadoop版本相同)第2步:配置eclipse将hadoop-eclipse-plugin-2.8.5.jar放入eclipse删除platform.xml文件设置本地hadoop路径增加Map/Reduceg功能区第3步:建立远程连接先在Linux下打开hadoop进程创建并填入连接信息查看是否连接成功配置成功了!!! 第1步:解

李子翔 1245

基于CANoe的Basic Diagnostics ECU (UDS)

基于CANoe的Basic Diagnostics ECU (UDS)

farmer00的博客 9153

Python实战:从中国气象局天擎平台自动化获取与处理雷达基数据

本文详细介绍了如何利用Python脚本实现从中国气象局天擎平台自动化获取与处理雷达基数据。通过环境搭建、安全认证、核心代码编写及工程化优化,构建了一个包含自动查询、批量下载、错误重试和格式转换的完整数据管道,旨在帮助气象水文领域的研究者与数据分析师从繁琐的手动操作中解放出来,高效管理海量数据。

ipfs8storage的博客 919

通俗解析:霍尔编码器、光电编码器、电位计、磁编码器和旋转变压器的实战选型指南

本文深入解析了霍尔编码器、光电编码器、电位计、磁编码器和旋转变压器五大主流编码器的工作原理与核心特性。通过对比精度、环境耐受性、成本及寿命等关键维度,并结合消费电子、工业自动化、汽车电子及极端环境等典型应用场景,提供了一份清晰的实战选型指南,旨在帮助工程师根据具体需求,在性能、可靠性与成本间做出最优决策。

weixin_29216353的博客 253

ENVI哨兵一号数据处理

使用ENVI+SarScape处理哨兵数据

Rjjjjj11的博客 2万+

从原理到代码:拆解UniFormer中动态位置嵌入(DPE)的3D卷积实现

本文深入解析了UniFormer模型中动态位置嵌入(DPE)模块的3D卷积实现原理与代码。DPE通过一个轻量的3D深度可分离卷积,替代传统静态位置编码,使模型能自动学习视频数据的时空位置关系。文章对比了其与Swin Transformer相对位置偏置的优劣,并提供了PyTorch实现代码与高级定制方案,为视频理解任务提供了高效灵活的动态位置编码解决方案。

weixin_29207149的博客 309

华为od 面试八股文_测试/测试开发_02_含答案

华为od 面试八股文_测试/测试开发_02_含答案

MISAYAONE的博客 2159

YOLOv11改进 - C3k2融合 | C3k2融合细节增强卷积DEConv(Detail-Enhanced Convolution)提升细微特征提取能力

本文介绍了细节增强卷积(DEConv)技术在YOLOv11中的结合应用。DEConv由标准卷积层和多种差异卷积层并行组成,通过计算像素差异和卷积操作增强特征提取能力,还采用重参数化技术简化模型结构。其优势在于能更好捕捉高频信息、保持参数数量不变且降低推理计算成本。我们将DEConv集成进YOLOv11,替换部分模块。

魔改工程师的博客 862

《UDS协议从入门到精通》系列——图解0x14:清除诊断信息

图解0x14:清除诊断信息,简洁易懂,迅速上手!

车载系统攻城狮 4824

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

上一篇: Java.给Linux安装JDK和Eclipse
下一篇: java.使用RMI实现上传和下载
木艮氵
博客等级 码龄11年 136粉丝 51原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值