Hadoop学习笔记(安装--下篇)

《Hadoop系列》Docker安装Hadoop 1.安装docker 2.docker安装Hadoop 阅读详情

Hadoop启动及验证

完成前面两篇的所有安装和配置后,本篇将介绍如何启动以及验证Hadoop的安装效果~


1)格式化HDFS文件系统

在master节点所在主机(笔者的主机是:www.centos.vampire)上使用用户hadoop进行操作(下面的操作都以用户hadoop进行)

[hadoop@www~]$hadoop namenode -format
输入上述初始化命令后,得到如下结果图(笔者初始化的时候忘截图了尴尬,从这里找了张http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html)


(有警告没关系,网上有解决办法)

这里要注意下,格式化以后,在master中/usr/hadoop/tmp中生成如下文件夹:


在slave节点中/usr/hadoop/tmp中生成如下文件夹:


如果你发现,你master节点主机没有出现dfs这个文件夹,而slave中却出现了dfs、mapred这两个。这是有问题的,会影响后面的操作!解决方法:

①改正错误(我的错误是:/usr/hadoop/tmp这个文件夹的权限,我没改)

②删除slave节点主机上/usr/hadoop/tmp下的文件后,重新格式化HDFS文件系统


2)启动Hadoop

service iptables stop
为了避免麻烦,提前关闭集群内所有主机的防火墙。

启动命令和执行结果如下:


自己注意下启动顺序……


3)验证Hadoop

(1)验证方法一:

Master上用java自带的小工具jps查看进程。


Slave上



(1)验证方法二:

hadoop dfsadmin -report


4)网页查看集群

游览器输入192.168.1.211:50030(我master节点所在主机地址)


192.168.1.211:50070



下一篇:Hello World(Hadoop版)


hadoop学习笔记(一)——hadoop安装及测试 这几天乘着工作之余,学习了一下hadoop技术,跌跌撞撞的几天,终于完成了一个初步的hadoop的安装及测试,具体如下: 动力:工作中遇到的数据量太大,服务器已经很吃力,sql语句运行老半天,故想用大数据技术来改善一下 环境:centos5.11+jdk1.7+hadoop2.5.2 1.  伪分布安装步骤 关闭防火墙 修改ip 修改hostname 设置ssh自动登录 阅读详情

相关推荐

hadoop单机安装

重新格式化了 HDFS 集群:如果你重新格式化了 HDFS 集群或重新配置了 NameNode,但没有清理旧的 DataNode 数据目录,会导致 DataNode 试图连接到一个不同的集群 ID。跨集群迁移:如果你尝试将一个 DataNode 从一个集群迁移到另一个集群,且这两个集群的集群 ID 不同,也会导致类似的错误。请注意,格式化将删除所有当前存储的数据,这可能导致数据丢失。集群 ID 不一致:在同一集群内,多个 DataNode 的存储目录中保存的集群 ID 不一致时,也会导致初始化失败。

qq_24045275的博客 1388

使用VirtualBox虚拟机安装centos 7并基于docker搭建hadoop完全分布式

linux centos docker hadoop

weixin_54459948的博客 1644

Hadoop Yarn 安装

为了构建基于Yarn体系的Spark集群,先要安装Hadoop集群,为了以后查阅方便记录了我本次安装的具体步骤。

zlcd1988的专栏 4950

虚拟机本地搭建Hadoop集群教程

本地使用VirtualBox三台虚拟机搭建hadoop集群

Miaodawang的博客 2223

VirtualBox下安装hadoop

NULL 博文链接:https://demon3780.iteye.com/blog/1428047

机械臂标准DH建模及正运动学分析(以IRB4600型工业机械臂为例)

对于工业机械臂而言,运动学是不考虑力学特性的情况下对机械臂的几何参数与其位置、速度、加速度等运动特性的关系研究。DH建模是运动学的基础,全称为Denavit-Hartenberg建模方法,是一种广泛应用于机器人运动学中的建模技术。该方法通过在每个连杆上建立坐标系,并利用齐次坐标变换来实现连杆之间的坐标转换。通过依次变换,可以推导出末端执行器相对于基坐标系的位姿,从而建立机器人的运动学方程。以IRB4600型六自由度工业机械臂为例,选择标准DH建模方法,建立其正运动学模型。

chen_mp的博客 1万+

大数据在单机进行Hadoop的伪分布式安装(安装Linux~Ubuntu 的虚拟机~VirtualBox 和安装 Hadoop)

过程:官网:(1)下载:安装过程,很简单,就是安装路径想改就改一下,其他的next的next,yes的yes,就成功了,修改一下哈(新版本应该也行吧,不过课本用了最新的18,交作业的话,听课本安排也行~)过程:官网下载~~~~~~~~~~~至此可以看到如下结果~~~~~~~~~~~~~~~~~~~~~~~~可选操作------安装增强工具的目的主要有两个:实现虚拟机(Ubuntu)和主机(Windows)的文件共享。可以使用全屏模式~即启用 vbox 无缝模式,该过程需要安装增强功能~

Coder-coco的博客 411

cadence—virtuosoic617的使用技巧收集区

cadence使用

qq_33599939的博客 3万+

Hadoop集群环境搭建(VirtualBox-7.0.6、Xshell-7、连接集群)

输入:vi /etc/sysconfig/network-scripts/ifcfg-enp0s3,按 i 键进行插入,修改完后,按esc键退出插入模式,再shift键+冒号键,输入wq!输入ipconfig,查询本机IP网段,等会虚拟会用到,注意是以太网适配器 以太网,不是以太网适配器 以太网2.或3,如果你是无线网络适配器,也找没有数字后缀的。导入完成后,选择node01,点击设置,点击网络,进入网卡1,把连接方式改为桥接网卡,点击小箭头,把混杂模式改为全部允许,三台node都是如此。

weixin_43595573的博客 2123

【保姆级教程/代码】使用PRIDE PPP-AR软件解算ZTD、反演GNSS PWV,并评估精度

在本算例中,我下载了BJFS站2024年的IGS ZTD产品,用于评估PRIDE PPP-AR软件解算出ZTD结果的精度。

weixin_43910227的博客 2370

Halcon实战:基于图像清晰度自动筛选最佳对焦图片

本文详细介绍了如何使用Halcon实现基于图像清晰度的自动筛选最佳对焦图片技术。通过分析灰度值统计和标准差等核心指标,结合实战代码示例,帮助开发者高效处理工业检测中的对焦问题,提升自动化检测的准确性和效率。

weixin_27015733的博客 440

基于VirtualBox虚拟机部署完全分布式Hadoop环境

系统搭建 首先创建一个新用户hadoop并且分配权限,切换到hadoop用户下 成功切换 然后可以先克隆一下另一个虚拟机,为了之后的相互通信 直接点击虚拟机右键克隆即可但是这里有一个问题,就是在克隆之后两个主机的/etc/hosts里面的ip地址是相同的,待会在传输公钥的时候无法正确生效,所以可以先更改一下两台虚拟机的ip地址和映射, 这个是需要的ip地址 克隆虚拟机(salve01): 主虚拟机(master) 安装ssh 这里已经安装过ssh 公钥传输完毕 对另一个主机名也是一样的配置,复制完公钥后删除

2302_80729149的博客 1124

【STM32学习】(29)STM32实现595驱动三个数码管(标准库和HAL库实现)

我选用的单片机型号为:STM32F103系列 74LS595是一个串转并行输出的芯片,它能为单片机节省很多的IO口,应用场景广泛。 现要求三个数码管动态显示,常规设计都是并行实现,需要8个IO数据口,然后还需要3个IO片选数码管接口,这样大大占用了IO口,导致连接的外设变少。因此我们引入74LS595芯片。电路设计如下: 只需要三个共阴极数码管与三个595芯片级联即可完成,通过RCLK,SCK,SER三个IO即可完成对数码管的动态控制并显示。电路焊接的实物图如下: 要求完成功能:实现数.

XiaoCaiDaYong的博客 8265

[hadoop全分布部署]安装Hadoop、验证Hadoop①

一、配置hadoop格式化 二、查看 Java 进程 三、查看 HDFS 的报告

m0_57781407的博客 2万+

深度学习框架对比:AI开发如何选择

你是否遇到过这样的困惑:想做一个图像分类模型,朋友推荐PyTorch;公司要部署智能客服,同事说用TensorFlow;想快速验证想法,学长又提到Keras……深度学习框架种类繁多,功能重叠却各有侧重。本文将覆盖主流框架(PyTorch/TensorFlow/Keras/JAX/MXNet等),从开发者真实需求出发,总结选择框架的核心维度。本文将按照“认识框架→对比特性→实战选择”的逻辑展开:先通过生活比喻理解各框架特点,再用代码对比核心功能,最后结合真实场景给出选择建议。动态计算图。

AI 领航者的博客 1162

Qt基础之十九:进程与QProcess

进程就是一个程序的执行实例,也就是正在运行的程序。对操作系统来说,进程就是一个担当分配系统资源CPU时间、内存的实体。在Qt 中,我们使用QProcess来表示一个进程。这个类可以允许我们的应用程序启动一个新的外部程序,并且与这个程序进行通讯。当外部程序开始启动时,QProcess的状态为Starting;外部程序已经启动时,QProcess的状态为Running,并发送started()信号;当外部层序退出了,QProcess的状态为NotRunning(初始状态),并发送finished()信号。

草上爬的博客 1万+

[Hadoop全分布部署]安装JDK、Hadoop

JDK全称Java Development Kit 中文意思是Java 开发工具包 即java标准版开发包,是Oracle提供的一套用于开发java应用程序的开发包,它提供编译,运行java程序所需要的各种工具和资源,包括java编译器,java运行时环境,以及常用的java类库等。 JRE Java Runtime Environment(JRE) Java运行环境 Java运行环境,它的全称Java Runtime Envi

m0_57781407的博客 1万+

我的PCB设计经验总结及最容易犯错的100例之二B07

本文总结了PCB设计中的常见错误及解决方法。作者通过记录自身及他人的设计失误,系统归纳了高频、隐蔽且致命的问题,如电容中间穿线、高速信号跨分割、锐角布线等。重点提出从错误中提炼规律,建立分类案例库,并开发自动化检查工具的方法。案例涵盖高速信号处理、电源设计、EMC防护等关键领域,强调通过原理理解和实践验证提升设计质量。文章建议工程师建立个人错误数据库,从被动纠错升级为主动预防,最终形成系统化的设计方法论,提高PCB一次成功率。

启芯硬件的博客 85

VMware虚拟机搭建HADOOP环境(下篇)

目录 引言 1.搭建前准备 1.1所需软件 1.2HADOOP配置参数定义 1.3 主要工作 2.配置node01的系统环境 2.1设置node01的IP信息 2.2配置DNS 2.3 配置域名反向解析 2.3禁用操作系统安全配置 3.安装所需软件并配置 3.1配置VMware NAT模式 3.2 在node01中安装可视化传输工具lrzsz 3.3 使用xshell远...

刘洋_heaven的博客 7508

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Hadoop学习笔记

Hadoop学习简介前言:大数据的概念一、Hadoop入门1.概念1.1 Hadoop是什么?1.2 Hadoop发展历史1.3 Hadoop三大发行版本1.4Hadoop的优势1.5Hadoop的组成1.5.1 HDFS架构概述1.5.2 YARN架构概述1.5.3 MapReduce架构概述1.5.4 HDFS、YARN、MapRecduce三者间的关系1.6大数据技术生态体系1.7推荐系统案例2. 环境准备2.1模板虚拟机的准备2.2克隆2.3安装JDK以及Hadoop3.Hadoop生产集群搭建3.

NotLency的博客 3242

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

Hadoop学习笔记-Hadoop在Windows下安装

Hadoop学习笔记-Hadoop在Windows下安装 前言          Hadoop的生产环境是Linux或者是Unix,要在Windows下搭建Hadoop需要借助Cygwin来搭建模拟Linux环境。那么首要任务就是在Windows下安装Cygwin。本次安装只是搭建一个Hadoop的学习平台,并没有任何的实践的意义,由于本人也只是菜鸟,所以只提供和我一样新接触Had

JDream314的专栏 2734

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Mac下安装Hadoop

文章目录01 引言02 配置ssh环境02 安装与配置Hadoop03 启动Hadoop并验证3.1 启动Hadoop3.2 启动yarn服务 01 引言 如果想在Mac下安装Hadoop而且让Hadoop能正常运行,那安装之前需要先安装java,具体可以参考之前写的博客《Mac下安装JDK11(国内镜像)》。 好了,现在开始讲解如何在Mac环境下安装Hadoop。 02 配置ssh环境 在Mac下如果想使用Hadoop,必须要配置ssh环境, 如果不执行这一步,后面启动hadoop时会出现Connecti

阿甘兄 8013

Hadoop学习笔记(7)Hadoop解压安装以及配置

一、安装Hadoop之前说明 安装Hadoop需要在官网把Hadoop文件下载好,并且上传到Linux中。上传步骤请参考: Hadoop学习笔记(6)如何使用Xshell从Windows向Linux上传文件 二、解压安装Hadoop 输入命令查看文件存放 [admin@master ~]$ ls hadoop-3.1.4.tar.gz test usr 公共 模板 视频 图片 文档 下载 音乐 桌面 开始解压安装 [admin@master ~]$ tar -zxvf hadoop-3

boranyueshijie的博客 7675

[ 安装 ] Hadoop安装步骤!

Hadoop安装步骤一、准备工作二、具体步骤(一)解压(二)更改权限(三)Hadoop配置hadoop-env.shcore-site.xmlhdfs-site.xml(四)yarn配置1.配置mapred-site.xml2.配置yarn-site.xml3.启动yarn(五)环境变量配置(六)启动\关闭 服务(七)服务启动时输入密码优化(八)HDFS测试   前言:下文中的IP地址、文件路径、主机名等,请根据您自己的实际情况,进行修改和配置。 Hadoop260下载链接 提取码:byfa

且陶陶。 8734

Hadoop安装教程 Mac版

Hadoop安装教程 Mac版 一、JDK环境安装 1. 下载JDK1.8 Oracle官网下载JDK1.8版本 按照系统提示安装 2. 配置JDK环境变量 在terminal中输入 vi ~/.bash_profile ,按 i 进入编辑模式: JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_281.jdk/Contents/Home export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA

qq_42855570的博客 5296

Hadoop安装

Hadoop的安装方式有三种,分别是单机模式,伪分布式模式,分布式模式。

cingdy0124的博客 3013
上一篇: Hadoop学习笔记(安装--中篇)
下一篇: 面试(数据库相关)持续更新
天咫
博客等级 码龄15年 2粉丝 19原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值