Hadoop--Linux环境搭建

在Linux中进行hadoop集群搭建 在公网IP为x.x.x.x、y.y.y.y和z.z.z.z并装有Centos8的服务器上进行hadoop集群搭建,都安装hadoop-3.1.3和server-jre-8u202-linux-x64。 阅读详情

Hadoop学习

1 环境搭建

1.1 Linux环境的搭建

    使用VMware Workstation 12作为硬件生产环境,选择Cent  OS 6.7 64位作为系统生产环境。

    使用VMware Workstation装Cent OS的过程可以百度,在这儿就不叙述了,我先装了一个H01的机器,这儿主要写下装完Linux后的环境配置。

1.1.1 配置虚拟机网络

    1.设置VMware的H01机器网络为NAT模式 。

    2.设置IP等信息

    ip设置与vmnet8同网段,gateway,netmask,broadcast设置与vmnet8相同,dns设置与主机相同。




    wmnet8的子网ip是:192.168.80.0,netmask是255.255.255.0,gateway是192.168.80.0,主机的DNS设置为8.8.8.8和8.8.4.4。

    进入Cent OS,找到设置网路的界面,将信息设置成上面的值。

    或者进入切换到root用户后,使用vim  /etc/sysconfig/network-scripts/ifcfg-Auto_eth0编辑,将BOOTPROTO值改为static,IPADDER的值改为192.168.80.101,NETMASK值改为255.255.255.0,DNS设置为8.8.8.8和8.8.4.4。

    注意:Cent  os下右键添加终端的方式:root身份下,yum -y install nautilus-open-terminal

1.1.2  修改主机名

    root身份下vim  /etc/sysconfig/network,修改HOSTNAME的值为H01。重启生效。



1.1.3 修改主机名和IP的映射关系

    root身份下vim  /etc/hosts,添加192.168.80.101和H01的映射关系。


1.1.4 关闭防火墙

    关闭windows防火墙,否则在linux下无法ping通windows

    关闭Cent OS防火墙,root身份下,输入service iptables status来查看防火墙状态。

     输入service iptables stop来关闭防火墙,再次输入service iptables status来查看防火墙状态,最后关闭防火墙开机启动。


1.1.5  关闭SElinux

    root身份下vim  /etc/selinux/config,将SELINUX的值改为disabled

1.1.6 SSH的安装与配置

    root身份下输入rpm -qa|grep ssh来查看ssh的安装情况


    上图表示已安装,通过service sshd status来查看SSH服务的当前状态。


       启动SSH服务,并设置SSH服务开启自启。

1.1.7 检查虚拟机和主机是否能互相ping通

    查看虚拟机和主机的ip地址:

     虚拟机ping主机

    主机ping虚拟机

1.1.8  使用远程工具连接虚拟机

    使用Xshell连接虚拟机:

    使用filezilla来连接虚拟机:


从零开始在 Linux 上搭建 Hadoop 平台:一个详细的教程和必备配置文件 在本文中,我们讨论了从头开始在 Linux 上搭建 Hadoop 平台所需的步骤。我们讨论了如何选择适当的 Linux 发行版,如何安装和配置 Java 环境,以及如何下载和配置 Hadoop。此外,我们还讨论了 Hadoop 的必要配置文件的内容,并展示了如何启动 Hadoop 和测试它是否正常运行。此外,为了更详细地了解如何配置和管理 Hadoop,请参阅 Apache Hadoop 的官方文档。 阅读详情

相关推荐

灰度重心法实战:从原理到MATLAB代码实现激光条纹中心线提取

本文详细介绍了激光条纹中心线提取的核心方法——灰度重心法。通过物理类比阐释其原理,并提供从图像预处理到MATLAB代码实现的完整实战教程。文章重点解析了算法流程、关键参数调整及常见问题避坑指南,帮助读者快速掌握这一机器视觉与三维测量中的基础且高效的技术。

cake8的博客 459

超详细Linux搭建Hadoop集群

总纲:1、准备3台客户机(关闭防火墙、静态IP、主机名称都设置好)2、3、配置环境变量4、安装Hadoop5、配置hadoop的环境变量6、配置集群7、群起测试。

Sumuxi9797926的博客 2174

【PVE9.1使用教程】

弹窗代码在 /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js 中,通过 void({…}) 可以让弹窗部分代码不执行,实现删除弹窗的效果。安装过程这里不再赘述,记得不要使用网络版本进行安装,安装的时候不要使用镜像,否则安装过程会很卡。把下面的配置添加进去,允许同一个网段下的所以主机访问/mnt/pve_share文件夹。可以自己搭建也可以去咸鱼购买,本人在咸鱼上面购买的,暂时可用。也可以使用下面的命令,版本号需要自己查看最新的版本号。

weixin_42950821的博客 960

【详细版】Linux系统中搭建Hadoop

修改core-site.xml文件,分别指定hdfs 协议文件系统的通信地址及hadoop 存储临时文件的目录。进入/opt/server/hadoop-3.3.4/etc/hadoop 目录下,修改以下配置。进入 ~/.ssh 目录下,查看生成的公匙和私匙,并将公匙写入到授权文件。Hadoop 3中不允许使用root用户来一键启动集群,需要配置启动用户。进入 ${HADOOP_HOME}/sbin/ 目录下,启动 YARN。切换/opt/tools目录下,rz上传Hadoop安装包。

weixin_55928290的博客 5282

Figma汉化教程

Figma汉化教程

cc蒲公英的博客 1万+

Allegro快速编辑丝印文字操作指导

选择setup-Application Mode-placement edit。Allegro支持丝印文字的编辑,下面介绍快速编辑丝印文字的两种方法如下。这个功能还支持拷贝粘贴,可以从其它地方拷贝过来,免去了书写的麻烦。出现text edit窗口,输入自己需要的文字,点击ok。鼠标移动到丝印文字位置,文字会被高亮起来。Allegro快速编辑丝印文字操作指导。点击丝印文字,丝印会被高亮起来。选择Text edit 命令。输入需要更改后的文字,如下。右击选择text edit。以编辑下方丝印文字为例。

weixin_54787054的博客 4192

Linux搭建Hadoop集群(详细步骤)

Hadoop集群搭建

沃和莱特的博客 3674

中科大大数据学院2023年保研夏令营机试题目【无offer,直接放题了~】(2023.07.22下午14:35-17:35考试)

给定一串数字,最后一个数是0表示结尾,表示数字串的终止,为无效数字。将该数字串存储在双向链表中,判断是否为回文串,若是,则输出Yes,否则输出No.

m0_51339444的博客 1921

linux搭建hadoop环境

一、搭建思路 1. 拥有配置好的Linux操作系统 2. 将hadoop2.7.2.tar.gz 和jdk1.8.0_144.tar.gz 3. 配置jdk和hadoop的环境变量 4. 配置hadoop的相关配置 5. 启动并且访问web页面 二、环境说明 1. 物理机win10系统 2. 虚拟机LinuxCentOS6.10 3. Hadoop版本 hadoop2.7.2 4.jdk版本 j...

北暖的博客 1224

从入门到精通|Yalmip+Cplex在电力系统中的应用(Matlab代码实现)

​ 火电成本包括运行成本、碳捕集成本,其中火电运行成本由运行维护成 本和发电煤耗成本构成,发电煤耗与其出力关系: ,F 为机组煤耗量(kg/h),P 为机组出力/MW;运行维护成本按照 0.5 倍煤耗成本考虑,碳捕集成本取决于碳排放量及碳捕集单价,火电机组相关参数如附表 1 所示,电煤价格为 700 元/t ​

weixin_46039719的博客 1552

R语言实战应用精讲50篇(二)-多重线性回归系列之稳健回归

前言 线性回归的参数估计主要采用的是最小二乘法(又称最小平方法),该法是将使观测值与模型预测值之差的平方达到最小的值作为参数估计值。如果数据存在异常点或者异方差,最小二乘法估计会存在偏差,常用的处理策略就是改用稳健回归(Robust Regression)。 稳健回归就是采用更为稳健的参数估计方法来拟合模型,所谓稳健就是数据的波动对参数估计影响不大,比如不受异常值影响,或删除某一观测后对结果影响不大。稳健估计的方法有很多,主要有这么几类:最小绝对值回归(也称最小一乘法回归,lAV),最小中位数二乘法(L

wenyusuran的专栏 3160

hadoop linux环境搭建

1. 下载jdk包 wget http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 到/usr/local/jdk并解压 2. 配置jdk vi/etc...

chuangyi2745的博客 148

Gazebo手册:【1】gazebo基本操作案例

欢迎来到初学者模块!本模块将引导您了解 Gazebo 的最基本功能。我们将构建一个简单的车辆来演示这些功能。这些教程适用于 Gazebo 新手和/或没有编程或 Linux 经验的人。 每个教程都建立在上一个教程的基础上,因此我们建议您按顺序学习这些教程。 一、何为Gazebo? Gazebo 是一款 3D 动态模拟器,能够准确有效地模拟复杂室内和室外环境中的机器人种群。虽然类似于游戏引擎,但 Gazebo 提供了更高保真度的物理模拟、一套传感器以及用于用户和程序的接口。 1............

gongdiwudu的专栏 2万+

linux下搭建hadoop环境步骤分享

linux下搭建hadoop环境步骤,需要的朋友可以参考下 1、下载hadoop包 wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz 2、tar xvzf hadoop-0.20.2.tar.gz 3、安装JDK,从oracle网站上直接下载JDK,地址:http://www.oracle.com/tec...

sakura379的博客 442

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

在linux中搭建hadoop开发环境

在linux中搭建hadoop开发环境     一、在windows上安装linux双系统   hadoop是运行在linux下的并行计算框架,在windows上搭建也是通过cygwin模拟linux的环境来运行,所以个人觉得直接在windows下搭建hadoop几乎没有任何好处,还不如在windows上安装linux的虚拟机,通过虚拟机中的linux系统来运行hadoop。所以安装li...

何秋森的博客 6811

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Linux搭建Hadoop开发环境

Linux搭建Hadoop开发环境 2.Hadoop环境搭建安装配置: [1].官网下载Hadoop-2.7.5安装包: hadoop-2.7.5.tar.gz [2].把Hadoop-2.7.5安装包利用Xftp5工具上传到:/usr/local/hadoop [3].登录Liunx服务器,利用Xhell5进入:cd /usr/local/hadoop: [root@mar

MarkLin编程部落格 1708

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

超详细Hadoop环境搭建(一)——Linux的安装

在安装之前,我们需要准备:Linux镜像文件、VMWARE虚拟机 下面以CentOS 6.5为例进行安装 一、 创建虚拟机 1. 以管理员身份打开VMWARE软件 2. 选择创建新的虚拟机

han的博客 4962

Linux下搭建Hadoop环境

Linux下搭建Hadoop环境 1.环境准备 安装Linux 配置好Java Jdk 配置主机名及免密码登录 2.Hadoop本地模式搭建 配置hadoop 3.Hadoop伪分布式模式搭建

Test_508337940的博客 189

集群搭建(二) 环境搭建Linux配置JDK Hadoop

Java Downloads | Oracle 官网:下载hadoop-2.7.3.tar.gzApache Hadoop 官网:下载hadoop-2.7.3.tar.gz下到本地后用Xftp 6或者其它方法上传到服务器,我上传到了,用XShell和notepad++(或vscode或直接vi编辑器)连接服务器连接XShell后,执行停止防火墙 ,禁止firewall开机启动 ,查看 显示连上服务器先切到压缩包路径下,,执行解压缩,解压到(必须是这个路径,不要自定义) 配置JDK环境 在notepad++中

张时贰的博客 671

【大数据】Hadoop环境搭建图文教程(VM安装教程+Linux环境下配置+搭建三节点的Hadoop集群)

大数据Hadoop环境搭建 一、基本配置 准备一台内存最少8G(建议16G)、cpu i7 4核的电脑 二、即将完成的任务 安装虚拟化软件VMware 准备3台linux虚拟机 搭建3节点的hadoop集群 按《虚拟化与云计算(第3版)》课本描述,实际上可以只搭一主一从两台虚拟机即可 笔者是因为大数据学习需求,会相对详尽 三、实验背景 笔者自己大数据学习需要搭建 虚拟化与云计算这门课程也有实验要求 四、知识要点 文档说明: 在学习大数据课程的全程中,要求大家统一保持跟老师一样的

学无止境,勤则可达;志存高远,恒亦能成! 8515

Linux环境下Hadoop集群搭建

Linux环境下Hadoop集群搭建 前言: 最近来到了武汉大学,在这里开始了我的研究生生涯。昨天通过学长们的耐心培训,了解了Hadoop,Hdfs,Hive,Hbase,MangoDB等等相关的知识。虽然只是简单的介绍了相关的概念,但对于我来说像是打开了一个新的大门。当然,巧妇难为无米之炊,要想能够使用这些技术,首先要能够把相应的环境搭建起来。因此,在这里我将自己搭建Hadoop集...

aaxx123546的博客 336

Linux搭建Hadoop环境

文章目录准备工作开始安装配置hadoop配置etc/hadoop目录下文件hadoop环境变量配置格式化HDFS启动Hadoop 准备工作 搭建好jdk环境的linux虚拟机:Linux安装jdk hadoop安装包:hadoop-2.6.0-cdh5.14.2.tar.gz 提取码:20n8 开始安装 把hadoop安装包导入虚拟机 解压文件到/opt目录下,修改文件名为hadoop 修改主机名hostname和主机列表hosts 配置hadoop 配置etc/hadoop目录下文件 进入et

nj_hao的博客 238

Linux环境下配置和安装hadoop及hadoop集群搭建(VMware)

文章目录一、安装准备二、hadoop的配置1.首先配置hadoop-env.sh2.配置core-site.xml3.配置hdfs-site.xml4.配置mapred-site.xml5.配置yarn-site.xml6.配置slaves7.配置hadoop环境变量三、格式化HDFS四、启动hadoop五、集群搭建1.克隆虚拟机2.配置免密登录3.修改主机器的配置文件4.修改备用机器的配置文件5.启动hadoop 一、安装准备 在linux环境下安装hadoop需要准备的资料如下: 这里主要需要准备的就

qq_38497133的博客 906

linux下hadoop初始化环境搭建

使用root用户登录 一、开始设置静态Ip,          1. 在桌面右上角的图标上右键修改            2.重启网卡,执行命令service network restart           3.执行命令查看ip是否配置成功ifconfig, 二、主机名修改         1.修改当前会话主机名,执行命令hostname ****(hadoop)        

谭成 1760

Linux下配置Hadoop的伪分布环境的搭建

1.查看jps [root@master ~]# jps 7445 Jps 如果出现这个则可以继续下一步 2.导入Hadoop包,并放到/opt目录下 3.查看Hadoop包十分导入 [root@master ~]# cd /opt [root@master opt]# ll total 485452 -rw-r--r--. 1 root root 311585484 Jul 31 09:24 ...

Abigal 1070
上一篇: JavaSE--- 设计模式、JDK5.0新特性、JDK7.0新特性
下一篇: Hadoop--Hadoop的伪分布式环境搭建
Wang_AI
博客等级 码龄12年 988粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值