大数据环境搭建(5)——Ubuntu安装SSH

本文详细介绍了在Ubuntu系统中安装SSH,并配置本地和异地用户免密登陆的步骤,包括修改主机名、安装SSH服务、创建授权密钥以及调整SSH配置以允许root用户SSH登陆。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前面博文已经安装了Ubuntu系统,启用了root用户,拿到了系统的管理员权限,基本的环境就算搭建好了。下面开始尝试配置SSH实现免密登陆。

1. 主机名的查询和修改

2.安装ssh+宿主机远程连接

3. 本地用户免密登陆

4. 异地用户免密登陆

一、主机名的查询和修改

配置ssh远程连接之前,至少知道服务器主机名和用户吧。

输入 hostname 命令查看主机名

修改 /etc/hostname文件永久修改主机名(重启后生效!!!)

输入 sudo -s 指令进入root用户下

输入 gedit /etc/hostname 指令打开hostname文件的图形页面,修改主机名称

文件hostname的内容已经修改好了,但是hostname指令看到的主机名还没变,需要重新启动主机。

二、安装ssh+宿主机远程连接

2.1 安装ssh

sudo apt-get update

sudo apt-get install openssh-server  (注意交互时输入大写的Y)

sudo apt-get install openssh-client

### 构建基于Ubuntu大数据处理平台 #### 准备工作 为了确保系统的稳定性和兼容性,在开始之前应确认已安装并配置好VMware或VirtualBox虚拟化环境以及Ubuntu操作系统[^3]。 #### 更新系统包管理器 使用`hadoop`用户登录后,需先更新apt仓库以获取最新的软件版本列表。打开终端窗口并通过以下命令完成更新: ```bash sudo apt-get update ``` 这一步骤对于后续依赖项的顺利安装至关重要[^2]。 #### 安装Java开发套件(JDK) Hadoop及其生态系统组件均运行于JVM之上,因此需要预先安装Java Development Kit (JDK),推荐采用官方提供的最新长期支持版(LTS)[^1]。 ```bash sudo apt install openjdk-11-jdk java -version ``` 验证安装成功与否可通过查看Java版本号来实现。 #### 配置Hadoop单节点模式 在正式进入集群设置前,建议先行测试单一实例下的基本功能是否正常运作。编辑`.bashrc`文件加入必要的环境变量定义,并通过source指令使之生效;随后参照官方文档指引启动相应服务进程。 ```bash export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64/ export HADOOP_INSTALL=/path/to/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin source ~/.bashrc ``` #### 组织多台机器形成Hadoop集群 当单机调试无误之后,则可以着手规划跨主机间的协作机制——即所谓的“分布式计算”。此时除了继续沿用前述个人电脑上的准备工作外,还需额外关注网络连通性、SSH免密登陆授权等方面的要求。 #### 添加Hive作为SQL接口层 为了让关系型查询更加便捷高效,可以在现有基础上集成Apache Hive项目。它允许使用者借助类似于传统数据库的操作方式访问存储于HDFS中的海量非结构化资料集。按照惯例同样要经历解压分发、调整参数等一系列前期筹备活动[^4]。 ```sql hive> CREATE TABLE pokes(foo INT, bar STRING); hive> LOAD DATA LOCAL INPATH './examples/files/kv1.txt' INTO TABLE pokes; ``` 上述语句展示了怎样快速建立一张简单的表对象并将本地文件导入其中供进一步分析利用。 #### 整合Spark加速数据分析流程 最后引入高性能流式引擎——Apache Spark用于提升整体性能表现特别是在迭代算法场景下优势明显。鉴于其高度抽象化的API设计使得编程模型变得异常简洁直观易于掌握。 ```scala val textFile = spark.read.textFile("README.md") textFile.filter(line => line.contains("spark")).count() ``` 这段Scala代码片段体现了读取文本资源并对特定关键词计数的过程。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值