Hadoop集群搭建之jdk和ssh无密码配置

一、操作系统

CentOS6.2

二、jdk安装配置

(1)安装jdk

1)创建安装目录,在/usr/java

(如果没有java目录,先进入usr目录下建立java目录)下建立安装路径

#mkdir /usr/java

 并将文件拷到该路径下:

进入/usr/java目录

将jdk*****.bin文件拷贝至该目录中

jdk-6u11-linux-i586.bin 这个是自解压的文件,在linux上安装如下:
1)先分配执行权限
chmod 755 jdk****.bin  或者 chmod +x jdk****.bin
2)执行以下安装命令
#sh jdk****.bin (注意,这个步骤一定要在jdk****.bin所在目录下)

3)根据提示按enter键完成安装。

(二)配置环境变量

1)编辑系统文件:

#vi /etc/profile

在文件的末尾加上(这里的JAVA_HOME 根据实际的JDK目录而定)

JAVA_HOME=/usr/java/jdk1.6.0_38

PATH=$PATH:$JAVA_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

export JAVA_HOME PATH CLASSPATH

2)重启脚本

#source /etc/profile

3)测试是否配置成功

#java -version (这点很重要)

三、ssh无密码配置

在linux系统中,ssh是远程登录的默认工具,因为该工具的协议使用了RSA/DSA的加密算法.该工具做linux系统的远程管理是非常安全的。

原理:首先在客户端上创建一对公私钥 (公钥文件:~/.ssh/id_rsa.pub; 私钥文件:~/.ssh/id_rsa)。然后把公钥放到服务器上(~/.ssh/authorized_keys), 自己保留好私钥.在使用ssh登录时,ssh程序会发送私钥去和服务器上的公钥做匹配.如果匹配成功就可以登录了~

1)安装openssh

#yum install openssh

2)在linux上添加一个普通用户

#useradd hadoop

3)进入普通用户生成ssh-key

#su - hadoop

$ssh-keygen -t rsa -P ""


 注意:看清楚此时你将key放在哪个目录下,然后决定第四步进哪个目录追加授权文件

4)进入/home/hadoop/.ssh目录下,将id_rsa.pub追加到authorized_keys授权文件中

$cd /home/hadoop/.ssh

$cat id_rsa.pub >> authorized_keys

5)返回root用户修改sshd的配置文件

$exit

#vi /etc/ssh/sshd_config

找到以下内容,去掉#

 

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile .ssh/authorized_keys

 

6)给authorized_keys文件赋权

#chmod 600 /home/hadoop/.ssh authorized_keys

7)重启sshd服务

#service sshd restart

8)测试连接本机

#su - hadoop

$ssh localhost

根据提示输入yes即可

退出返回则是输入exit!

Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~) 历时一周多,终于搭建好最新版本hadoop2.2集群,期间遇到各种问题,作为菜鸟真心被各种折磨,不过当wordcount给出结果的那一刻,兴奋的不得了~~(文当中若有错误之处或疑问欢迎指正,互相学习) 第一部分 Hadoop 2.2 下载           Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件,所以如果需 阅读详情

相关推荐

Ubuntu 16.04下JDK+Hadoop+Spark环境搭建

Ubuntu 16.04下JDK+Hadoop+Spark环境搭建 Ubuntu 16.04下JDK+Hadoop+Spark环境搭建

必成功的Hadoop环境搭建jdk环境搭建-超详细操作

Hadoop的文件可以在这里下载:Apache Hadoopb 本次配置的Hadoop环境为hadoop-2.7.7 | jdk配置的环境为jdk-1.8.0_141 一、jdk环境搭配 1.搭配Hadoop环境要先搭配jdk环境,否则无法运行和查看,在/root/wenjian中rz上传jdk文件 [root@master wenjian]# rz 2.将jdk文件解压到/root目录下 [root@master wenjian]# tar -zxvf jdk-8u141-linux.

weixin_56617616的博客 2772

hadoop集群搭建——JDK的安装

在VMware上部署hadoop集群,首先需要安装jdk。 掌握在完全分布的整合平台中快捷的进行JDK的安装 (1)完全分布模式中JDK的安装和验证; (2)在集群中所有主机上完成JDK的安装; 所有主机上JDK相关命令能够正常使用

Hadoop集群搭建-- 安装jdk、hadoop

1. 通过Xftp将本机JDK上传至服务器目录:2. 查看是否上传成功:3. 解压jdktar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/4. 配置环境变量sudo vim /etc/profile.d/my_env.sh #JAVA_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0_212export PATH=$PATH:$JAVA_HOME/bin保存后退出 :wq5. 使环境变量生效sou...

程志伟的博客 1767

即梦文生视频逆向接口部署使用

有的小伙伴不知道这个地址如何填写,你可以理解是步骤3上提供的 服务器或者本地电脑IP 地址(不要写 http://127.0.0.1 或者http://localhsot ) 是 (192.168.XXX.XXX 参考)

weixin_44245188的博客 3189

PyMiMi实战指南:midas_api配置与连接测试详解

本文详细介绍了PyMiMi库中midas_api的配置与连接测试全流程。从环境准备、API密钥获取,到核心的url_cfg配置函数使用,再到通过test_url进行连接验证,提供了清晰的步骤和代码示例。文章重点解析了配置原理、常见错误排查方法(如401错误、连接超时),并强调了API密钥的安全性管理,帮助用户稳固建立Python与Midas Civil NX之间的自动化通信桥梁。

weixin_29044713的博客 707

Ubuntu安装openssh安装ssh、 免密登录、 创建新用户并免密登录

一、安装openssh      sudo apt-get install openssh-server ssh localhost     二、免密登录      cd ~/.ssh ssh-keygen -t rsa     一直 enter    在 ~/.ssh目录下创建authorized_keys文件  ...

bushuwei的博客 1054

OCEAN 电路仿真

介绍利用 Cadence OCEAN 进行电路脚本仿真的方法

weixin_43249158的博客 4405

CentOS系统下的Hadoop集群(第5期副刊)_JDK和SSH无密码配置

Hadoop集群(第5期副刊)_JDK和SSH无密码配置   1、Linux配置java环境变量   1.1 原文出处     地址:http://blog.youkuaiyun.com/jiedushi/article/details/6672894   1.2 解压安装jdk   在shell终端下进入jdk-6u14-linux-i586.bin文

wang_zhenwei的博客 633

传感器采集信息的频率(采样频率)

较高的采集频率通常能提供更详细的信息,但也会增加数据处理和存储的负担。在某些应用中,较高的采样频率可能是必要的,而在其他情况下,则可能会选择适当的低采样频率以降低功耗和数据处理压力。传感器采集信息的频率(采样频率)是指传感器在一定时间内对输入信号进行采样的次数。对于一些需要快速检测和响应的应用,如运动传感器、声音传感器等,高采样频率是至关重要的。高采样频率通常需要更多的功耗和更大的存储容量,因为产生的数据量更大。例如,对于快速运动的对象,较低的采样频率可能无法捕捉到运动的真实轨迹。

chen的博客 5347

泰凌微8258入门教程 环境篇④——开发板+烧录器 8258mesh新手套件购买

工欲善其事,必先利其器。 淘宝链接:https://item.taobao.com/item.htm?

4130

Hadoop集群(第5期副刊)_JDK和SSH无密码配置

Hadoop集群(第5期副刊)_JDK和SSH无密码配置   1、Linux配置java环境变量   1.1 原文出处     地址:http://blog.youkuaiyun.com/jiedushi/article/details/6672894   1.2 解压安装jdk   在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录,执行命令 .

xiaoqixiaodong的专栏 410

Android RIL(Radio Interface Layer)全面概述和知识要点(3万字长文)

在 Android 系统这个庞大而复杂的体系里,RIL(Radio Interface Layer,无线接口层)绝对是个关键角色。简单来讲,它就像一座桥梁,一头连着手机基带,另一头接着上层应用 ,在应用程序和调制解调器(Modem)之间搭建起了信息交流的通道。想象一下,咱们在手机上点击拨号按钮,或者编辑一条短信发送出去,这些操作产生的请求并不会直接到达手机的基带处理器。而是先由 RIL 接手,它把这些来自上层应用程序的请求,像拨号、发送短信这类,巧妙地转换成能够和基带处理器顺畅交互的命令。

大模型大数据攻城狮的专栏 1600

Hadoop集群(第6期)JDK和SSH无密码配置

1、Linux配置java环境变量 1.1 解压安装jdk   在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录,执行命令 ./jdk-6u14-linux-i586.bin 这时会出现一段协议,连继敲回车,当询问是否同意的时候,输入yes,回车。之后会在当前目录下生成一个jdk1.6.0_14目录,你可以将它复制到 任何一个目录下。 1.2 ...

anaijiao0225的博客 159

半导体晶圆调平系统:基于最小二乘法的实现方案

基于最小二乘法的晶圆调平技术通过数学建模与工程实现的结合,解决了半导体量测中高精度平面对准的核心问题。实际应用中,需根据设备特性优化采样策略、校准传感器误差,并通过实时性优化满足高产能场景需求。该方案的模块化设计(如分离数据采集、拟合计算、补偿输出)也为后续功能扩展(如引入机器学习优化拟合模型)提供了灵活性。

品质生活,极致编程。 1182

H3LIS200DL三轴加速度传感器原理图设计,已量产(加速度传感器)

在最近的工业振动监测项目里,我们选了 ST 的 H3LIS200DL 做核心传感器 —— 这颗料的特点太契合场景了:±100g/200g 的大量程刚好覆盖设备冲击与振动的测量需求,10μA 的超低功耗能适配电池供电的边缘节点,0.5Hz 到 1kHz 的输出速率也足够抓准动态信号。下面结合实际画的原理图,拆解下这个硬件电路的设计思路。

不脱发的程序猿 338

Hadoop完全分布式集群——Hadoop 配置

前面已完成VMware虚拟机安装与配置(参考前一篇Hadoop完全分布式集群——VMware虚拟机安装与配置_夏雨和阳阳的博客-优快云博客),下面将进行Hadoop 配置。 一、slave1、slave2节点配置修改 slave1、slave2节点都需要进行以下操作: 1.开启虚拟机,输入命令: [root@slave1 ~]#ip addr [root@slave2 ~]#ip addr 2.修改slave1、slave2虚拟机的IP [root@slave1 ~]#vi /etc/s

weixin_42264536的博客 9071

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

搭建 Hadoop 集群详细教程

## 1. 准备工作 ### 1.1 环境 - Centos 7 - JDK 1.8 - Hadoop 2.10.0

深刻的博客 7448

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Hadoop 安装与搭建全流程教学【全网最全超详细保姆级教学】

本文是面向零基础读者的 Hadoop 3 节点集群保姆级安装教程,详细讲解基于 CentOS 7 系统从虚拟机创建、静态 IP 配置、JDK 与 Hadoop 安装,到 SSH 互信搭建、集群配置文件编写、数据目录创建及集群启动验证的全流程,强调创建 hadoop 专用账户的安全实践,涵盖防火墙设置、常见问题排查等细节,助力读者快速掌握 Hadoop 集群搭建,为大数据开发奠定基础。

m0_64440031的博客 3万+

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

超详细的Hadoop集群部署

本文建立在已经把虚拟机ip环境等已经下载好情况下。 那么,直接开始今天的正题: 搭建集群 环境准备 这里提供两种思路:一种是将一台直接搭建好,后面的克隆或者copy虚拟机 一种是3台并进,多次进行虚拟机之间文件互传,各有利弊,第一种方式容易漏改ip等问题,第二种方式简单明了,一遍过手,就是步骤稍微多一点,这里采用第二种方式:1、配置服务器(我这里是以3台为例) 1个主节点:hadoop1(...

Alex的博客 3万+

Hadoop的安装与配置——搭建完全分布式集群

一、搭建集群 1、准备服务器(这里以我的3台Centos7为例) 1个主节点:Carlota1(192.168.33.21), 2个子节点:Carlota2(192.168.33.22),Carlota3(192.168.33.23) 2、配置主节点名 在主节点命令行输入: vi /etc/sysconfig/network 添加内容: NETWORKING=yes HOSTNAME=Carlota1 3、配置两台子节点名 分别在子节4、点命令行输入: vi /etc/sysconfig/networ

栗筝i的博客 3796

Hadoop分布式环境搭建(简单高效~)

这篇博文,博主分享的是大数据集群的安装部署,简单实用,希望这篇文章能够帮助大家,在正式部署之前,我们需要提前做好准备工作。 准备好三台虚拟机,ip分别为192.168.2.112,192.168.2.113,192.168.2.114。 对应的主机名为hadoop002,hadoop003,hadoop004 部署规划: 三台机器准备工作: 1.关闭防火墙 service iptab...

不温卜火 5737

Hadoop配置自动化之一ssh自动化

此篇博客参考:SSH无密码登录-多节点自动化部署SHELL篇。 测试环境:ubuntu12.04.2 server 64bit 、expect version 5.45、GNU bash, version 4.2.24(1)-release (x86_64-pc-linux-gnu) 说明:hadoop自动化配置出来的结果是:整个集群一个namenode、一个secondary、一个JobTr

fansy1990的专栏 3081

centos7搭建hadoop集群

hadoop搭建和案例执行

井桂印 5475
上一篇: 哈希表分析
下一篇: Hadoop集群搭建之Hadoop安装(centos,伪分布)
rootke
博客等级 码龄12年 1粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值