在阿里云上搭建hadoop

阿里云环境下搭建HadoopHA集群 阿里云环境下搭建HadoopHA集群 1. HadoopHA介绍 1.1 hadoop高可用集群的简介 ​ hadoop是一个海量数据存储和计算的平台,能够存储PB级以上的数据,并且利用MapReduce可以对这些数据进行并发式计算;hadoop平台采用的是主从式架构(master/slave)即一个master和若干个slave,这个master就是namenode节点,该节点负责存储和管理元数据、配置副本策略、管理数据块的映射信息以及处理客服端的读写请求,由此可见namenode节点的压力还是比较大; 阅读详情

租了四台阿里云服务器,操作系统是ubuntu 14.04 64位,把它改造成hadoop系统。

1. 修改bash提示符,显示当前设备身份

阿里云的主机名难记,修改.bashrc,修改命令提示符,增加属性显示。

PS1='${debian_chroot:+($debian_chroot)}\u@\h:\w-master\$ ‘


2.阿里云的虚拟机自带ssh,免去装ssh的烦恼。


3.添加用户 hadoop

   添加用户组  hadoop  

           输入命令sudo addgroup hadoop

   添加用户 hadoop 

          输入命令sudo adduser -ingroup hadoop hadoop 

   给hadoop用户添加权限

          按回车键后就会打开/etc/sudoers文件了,

          在root   ALL=(ALL:ALL)   ALL下添加hadoop   ALL=(ALL:ALL)  ALL

          给hadoop用户赋予root用户同样的权限


4.通过ssh key互相免密码授权

       a. 创建ssh rsa key 

           输入命令ssh-keygen -t rsa -P "" 生成密钥对,公钥id_rsa.pub、私钥id_rsa对,每台机器都执行一次

       b.公钥给对方保存,私钥自己保存 

           使用scp命令拷贝  scp 用户名@网址:在远端设备上路径 本地地址 

           输入命令

在阿里云上搭建Hadoop集群 在阿里云上搭建Hadoop集群并实现外网访问 阿里云机器配置 本测试集群采用的机器为阿里云 单核4G 40G云盘 的共享型机器,搭载的系统镜像为Centos7.5,通过内网IP连接,并使用外网来访问集群的Web页面。 JDK为:jdk-8u212-linux-x64.tar.gz Hadoop为:hadoop-3.1.3.tar.gz 集群规划 使用三台机器进行Hadoop集群的搭建 主要为HDFS中NameNode,SecondaryNameNode,Yarn 阅读详情

相关推荐

阿里云服务器搭建Hadoop集群

这里写目录标题一、环境介绍二、修改hosts、hostname文件三、ssh互信四、安装java(只需在master操作,配置后再发送到slave机器)五、安装并配置Hadoop六、阿里云踩过的坑 一、环境介绍 服务器:一台阿里云服务器master,一台腾讯云服务器slave 操作系统:centOS7 Hadoop:hadoop-2.7.7.tar.gz Java:jdk-8u172-linux-...

Alanyungz的博客 1676

在阿里云服务器上搭建hadoop环境

文章目录1. 登入云端服务器2. 安装JDK5. 配置SSH免密登录6. 启动Hadoop   购买了阿里云服务器,这里搭建hadoop环境的过程都是按照官网的提供的步骤。这里对我自己按照这个步骤的一个安装过程做一个记录。 1. 登入云端服务器 要找到服务器的公网ip,然后用ssh登入就可以了。我这里遇到了一个问题就是,在windows下,用secureCRT登入的时候,总是报“密钥交换”相关的错误,仔细看了一下,是secureCRT没有服务器所支持的密钥交换的算法。 我重新安装了一个secureCRT之后

catinlbb的博客 4875

使用Idea连接阿里云搭建的Hadoop集群

通过阿里云内网搭建Hadoop集群后,使用Idea无法进行上传下载操作,在安全组中开放相应端口仍然无法解决,因此更改hosts映射,换为外网搭建集群,使用Idea正常访问

qq_44927477的博客 717

java实现自动发送微信QQ消息(可发图片)

自动发送微信/QQ/微博等消息 一:功能:实现发送QQ/微信/微博消息,程序控制。 效果演示(实现自动发生QQ微信消息给女友,发微博信息也可以就不演示了) 二:原理讲解:将剪贴板的内容给发送到QQ微信中去,复制粘贴发送。 模拟真实操作进行发送信息。 三:前期准备,软件安装,及初步测试。...

XURUNFA950827的博客 1万+

STM32G030C8T6 ADC+DMA实战:同时采集外部电压和芯片温度的完整代码流程

本文详细介绍了STM32G030C8T6芯片通过ADC+DMA实现外部电压和芯片内部温度采集的完整流程。从硬件设计到CubeMX配置,再到驱动模块化实现与系统优化,提供了高精度多通道采集系统的实战指南,特别适合嵌入式开发者在工业控制和环境监测项目中应用。

weixin_42653691的博客 467

CXL3.0 CDAT(Coherent Device Attributes Table)

在说明CDAT之前,先讲一下CXL中的DOE类型:CXL协议里定义了两种DOE的类型,一种是Compliance就是合规性测试的内容,还有一种就是CDAT(一致性属性表)Memory_Info_Valid是CXL设备的内存配置完成标志,位于DVSEC(Designated Vendor-Specific Extended Capability)的CXL Range X Size Low寄存器中(X为1或2)。

Summer的博客 1437

SAP 财务快速记账之--科目分配模型(Account assignment model )

SAP FICO 运维解决方案

lijinbao171022的博客 1768

osgEarth添加线特征

部分关键代码: osgEarth::Annotation::FeatureNode* pathNode = 0; osgEarth::Symbology::Geometry* path = new osgEarth::Symbology::LineString(); Track*track = dynamic_cast<Track*>(entity->getProperty(PS_TRACK)); if (track == nullptr) { return; } st.

wb175208的专栏 2968

NeRF-Pytorch(训练自己的数据集过程全记录+环境配置+COLMAP+问题解决)

写于2025/1/26,在用NeRF训练自己的数据集过程中该踩的坑都踩过了,发现网上并没有详细完整写这些问题解决过程的帖子,遂自己进行一个全记录和复盘。 整篇文章包括:NeRF训练环境配置;COLMAP三维重建过程(直接给出代码,规避一些bug);在训练时候出现的问题。 本篇文章仅针对llff格式数据集。

m0_62577716的博客 1774

基于STM32的智慧农业大棚监测与控制系统设计与实现

摘要:本文设计了一种基于STM32F103C8T6单片机的智慧农业大棚监测与控制系统,集成多参数环境监测、智能控制和远程管理功能。系统可实时采集光照、CO2、温湿度和土壤湿度等参数,通过OLED显示并采用双模式控制机制:自动模式下根据阈值调节设备,手动模式下支持APP或按键控制。通过ESP8266模块接入机智云平台实现数据云存储和远程控制。测试表明系统具有高精度(温度±0.5℃、CO2±50ppm)、快速响应(<2s)和稳定运行(30天无故障)等特点,有效解决了传统大棚调控不及时等问题。创新点包括多参

3254968421的博客 485

lammps教程:官方自带eam_database程序拟合EAM势方法介绍

使用lammps模拟金属体系,最常用的势函数为eam、meam势。 对于大多数金属或者合金来说,可以从网上下载相对应的eam或meam势力场文件。 而对于一些新的合金材料,可能就找不到相对应的力场文件。 解决的方法有两种,一是采用混合势(pair_style hybrid),第二种方法是自己拟合势函数文件。 混合势的写法在前面文章中已经介绍过,本文介绍一种拟合EAM势的方法。 该方法是运行Xiaowang Zhou编写的一个拟合程序,该程序可自动生成所需要的合金势。 这个程序能够拟合的合金元素有: Cu,

lammps_jiayou的博客 4616

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

上一篇: Android LayoutInflater inflate 告警的来龙去脉
feverwindlong
博客等级 码龄16年 1粉丝 3原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值