HDFS伪分布式的搭建步骤

Hadoop伪分布式集群搭建学习总结 hadoop伪分布式集群搭建过程学习总结 阅读详情

HDFS伪分布式的搭建

1.配置免密登录

① ssh-keygen -t rsa (此处一路回车即可)
② ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

2.配置JDK

① export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151
② export PATH=$PATH: $JAVA_HOME/bin

注意:如果安装的Linux系统中本来有jdk的,需要先卸载掉以前的jdk之后再安装新版本。

3.修改hdfs-site.xml配置文件

<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>

<property>     
 <name>dfs.namenode.secondary.http-address</name>
     <value>主机名:50090</value>
</property>

4.修改core-site.xml配置文件

	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://主机名:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/abc/hadoop/local</value>
</property>
5. 修改slaves配置文件
 
	修改为你自己的主机名
6.格式化NameNode

 hdfs namenode -format
7.启动HDFS

在Hadoop的sbin目录下使用命令start-dfs.sh
操作
1.创建目录

hdfs dfs -mkdir -p /user/root

2.上传文件

hdfs dfs -D dfs.blocksize=1048576 -put

HDFS伪分布式环境搭建 非常巨大的分布式文件系统 运行在普通廉价的硬件上 易扩展、为用户提供性能不错的文件存储服务 [](()[HDFS官方文档地址](() [](()2 HDFS架构 ====================================================================== HDFS是主/从式的架构。一个HDFS集群会有一个NameNode(简称NN),也就是命名节点,该节点作为主服务器存在(master server). NameNode用于管理文件系统的命.. 阅读详情

相关推荐

大数据笔记(三):HDFS集群搭建-伪分布式模式

HDFS集群搭建-伪分布式模式

Lansonli(蓝深李)的博客 4183

hdfs伪分布式集群搭建和部署详解

    hadoop大致可分为三个部分:     1、分布式存储,HDFS(Hadoop Distributed File System);     2、分布式计算,MapReduce;     3、资源管理系统,Yarn。     下面直接进入正题:伪分布式集群的搭建。     环境:         ① Vmvare workStation、         ② Linux(CentOS,Ub...

小苦321的博客 4010

Android以太网开关流程分析

Android以太网开关流程分析 一、引言   在Android 以太网服务启动流程中我们启动了EthernetService(ES),NetworkManagementService(NMS)等服务,其中ES作为Binder的服务端,向客户端EthernetManger提供了调用接口的引用。因此,应用可以通过EthernetManger来访问以太网的相关接口。本篇文章将从APP调用以太网的使能和关闭的接口流程作为切入点来分析,以太网框架中,上层app是如何将指令传递到底层。图1-1所示为以太网使能和关闭

franc521的博客 6115

HDFS部分:伪分布式的搭建

伪分布式 1.安装JDK 2.设置免秘钥 3.配置Hadoop 一。安装JDK 上传,解压,安装 pwd得到路径: 去/etc/profile文件下配置环境变量 完成以后:source  /etc/profile   二。设置免秘钥: 设置免秘钥:去root目录下:   得到ssh文件     产生自己的密钥和公钥     将自己的密钥发送给自己 ...

wyqwilliam的博客 341

Ubuntu1804 关于ubuntu18.04下载软件仓库信息失败,请检查网络连接 的解决方案

今天电脑在更换软件源的时候遇到了这个问题。出现了如上图所示的错误信息。 尝试了各家优快云的博客之后,发现方法大同小异,均无法解决。 方法大多都是要求更换软件源,如下所示: 打开“Ubuntu软件中心”-->点击“编辑”-->点击“软件源”-->在Ubuntu软件界面,“下载自”默认是“中国的服务器”,改为“主服务器”试试 2.打开更新管理器-》设置-》选择站点-》...

weixin_43729409的博客 1万+

1、STVD和STVP的使用及串口烧写程序教程

文章目录一、前述二、STVD的使用三、STVP的使用1、STVP的作用:2、STVP的使用四、串口烧录程序 一、前述 STVD是意法半导体推出的,可以支持STM8和STM32 而IAR不尽如此,还支持51,MSP430等芯片 软件开发环境:编写程序,调试软件功能,下载固件到单片机中 硬件开发环境:连接外围电路,驱动功能外设,实现电气功能 最终构成一个以STM8系列单片机作为控制核心的应用系统。 MCS-51 一般的开发环境是 IAR 和 Keil STM8 一般的开发环境是 IAR 和 ST

Clichong 1万+

HDFS-伪分布搭建

文章目录伪分布安装步骤(1)开启sudo(2)修改主机名(3)配置静态IP(4)配置主机与IP的映射(5)修改配置文件(可参照官网)(6)设置免密登录(ssh)(7)初始化namenode 伪分布安装步骤 (1)开启sudo 方便起见,我们在使用linux系统配置伪分布前,可以先配置一下sudo。其作用为,为了单次使用root权限 切换到root用户 编辑/etc/sudoers 复制一次roo...

yc_hen的博客 490

Huber损失函数中的阈值δ是如何确定的?

Huber损失函数通过阈值δ将误差划分为两部分:当误差小于等于δ时,采用平方损失(MSE),以保持对小误差的敏感性;当误差大于δ时,采用线性损失(MAE),以降低异常值对模型的影响。

百态·数智思维 | 聚焦大数据、量化与未来AI 1932

集群搭建-----HDFS伪分布式搭建步骤(手把手教学)

## 配置免密登录 配置免密登录 node01->node01 ssh-keygen -t rsa ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01 1、上传文件 ftp 安装yum install lrzsz -y 使用命令rz 上传文件 jdk hadoop 2、解压 linux创建一个专门的安装包 mkdir /opt/*** 为了...

power_k的博客 406

高通平台 5G RF调试总结

目录: 1.QRCT4的使用 2.RFC配置 3.5G CA 配置概括 4.RFPD 运行及错误分析 5.CA吞吐率问题分析

嘿v小米的博客 9680

OpenCV视频防抖算法实现与优化指南

本文详细解析了如何使用OpenCV实现视频防抖算法。通过特征点检测与光流跟踪估算帧间运动,利用滑动平均平滑运动轨迹,并应用仿射变换重塑视频帧。文章提供了完整的代码实现、参数调优指南及黑边处理等优化技巧,帮助开发者高效处理手持拍摄等场景下的视频抖动问题。

weixin_29062823的博客 342

HDFS伪分布式搭建步骤和完全分布式配置

------配置免密登录 ① ssh-keygen -t rsa ② ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01 1、上传文件 ftp 使用命令rz----- 注:首先下载---yum install lrzsz -y 2、解压 tar -zxvf jdk1.8.0_121 3、配置环境变量 export JAVA_HOME...

YJYjhd的博客 341

【花雕学编程】Arduino FOC 之AS5048A磁编码器模块

您的硬件平台、使用场景和Arduino版本可能影响使用方法的选择。在Arduino平台上实现FOC可以提供平滑的运行和高度的扭矩、速度和位置控制,它通过精确控制电机的电流和电压来实现高效率、高精度和低噪声的操作。5、创新:Arduino可以让你用电子的方式来表达你的创意和想象,你可以用Arduino来制作各种有趣和有用的项目,如机器人、智能家居、艺术装置等。1、高性能电机控制:FOC是一种高级的电机控制算法,可以精准控制PMSM(永磁同步电机)和BLDC(无刷直流)电机,实现平滑的转速和扭矩输出。

雕爷学编程 1497

HDFS伪分布式和完全分布式搭建步骤

HDFS的三种搭建模式 1.伪分布式搭建 搭建步骤 配置免密登录 [root@localhost ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa [root@localhost ~]#ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01 配置jdk linux安装jdk配置 修改hdfs-site.xml,c...

thyyyyyyy的博客 442

基于STM32、HAL库的 CH9102X USB转UART收发器 驱动程序设计

/ 或 UART_HWCONTROL_RTS_CTS。// 其他函数实现类似,使用HAL_UART_Transmit_IT, HAL_UART_Receive_IT等。UART_TXD <---> USARTx_RX (STM32接收)UART_RXD <---> USARTx_TX (STM32发送)* @param huart: UART句柄指针。* @param huart: UART句柄指针。* @param huart: UART句柄指针。* @param huart: UART句柄指针。

corlin6688的博客 506

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

基于Hadoop搭建HDFS伪分布式环境的安装步骤

基于Hadoop搭建HDFS伪分布式环境的安装步骤 本次实验中,老师使用的是hadoop用户,我是直接使用root用户,所以没有sudo,环境变量也是/etc/profile,其他的基本一样。 JDK安装 查看已经上传的jdk文件,并安装 安装命令: yum localinstall -y jdk-8u171-linux-x64.rpm 添加到系统环境变量: ~/.bash_pr...

AlgoRain的博客 899

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

大数据之hadoop-hdfs伪分布式环境搭建(详细步骤真实可用)

目录 版本 1,基础设施 2,Hadoop的配置(应用的搭建过程) 3,启动 4,简单使用 5,上传自定义块的大小 版本 centos7 + jdk1.8 + hadoop2.6.5 1,基础设施 设置网络: vi /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE="Ethernet" PROXY_METHOD="none" BROWSER_ONLY="no" DEFROUTE="yes" IPV4_FAILURE_FATAL="no"

shw12357的专栏 415

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Hadoop-HDFS集群搭建全流程实战:伪分布式与HA模式深度指南

步骤具体方法/配置点逻辑说明多台服务器准备至少5台(2NN+3JN)NameNode高可用,JournalNode存editlog,ZooKeeper协调配置ZooKeeper管理NameNode主备切换配置JournalNode存储并同步editlog配置HA参数配置nameservice、namenode、journalnode启动服务启动ZK、JN、NN、DN各服务正常启动伪分布式适合本地开发、学习与功能验证。HA模式是生产环境的最佳实践,保障HDFS高可用与数据安全。

IT技术学习与工作笔记分享 872

hadoop伪分布式的搭建与测试

hadoop支持三种方式来搭建,分别是 1.单击模式,即Local (Standalone) Mode 2.伪分布式,即Pseudo-Distributed Mode 3.集群方式,即Fully-Distributed Mode 单击模式就不说了,没啥用。这次教程我们来看看如何一步步搭建伪分布式的hadoop,所谓伪分布式,也是运行在一台机器上的,hadoop也只需安装一个,知识启动各个服务的时候是不同的java进程罢了。 1.获取64位hadoop安装包并上传到机器上: ...

xiaozhuangyumaotao的博客 1430

Hadoop伪分布式安装搭建教程

2.1 在VMware上方菜单栏,文件--新建虚拟机 2.2 默认 2.3 选择稍后安装操作系统2.4 选择Linux(L),版本 Ubuntu 2.5 定义虚拟机的名称,选择虚拟机的位置,本人选择放在了D盘 2.6 处理器配置根据自己情况自己选择,这里选择了处理器数量2,内核数量2 2.7 虚拟机内存设为2048 MB 2.8 默认 2.9 默认 2.10 默认 2.11 选择创建新虚拟磁盘 2.12 磁盘容量设为40G 然后一直下一步 创建完成2.13 编辑虚拟机设置

weixin_50767513的博客 4954

HDFS伪分布式环境搭建-很不错

HDFS伪分布式环境搭建原创ZeroOne012018-03-24 19:51:20评论(0)655人阅读HDFS概述及设计目标什么是HDFS:是Hadoop实现的一个分布式文件系统(Hadoop Distributed File System),简称HDFS源自于Google的GFS论文论文发表于2003年,HDFS是GFS的克隆版HDFS的设计目标:非常巨大的分布式文件系统运行在普通廉价的硬件...

571

分布式计算框架实验(一) hadoop伪分布式搭建

实验任务: 任务1:安装linux虚拟机(至少5台,主机名=姓名首字母+学号+序号) 任务2:hadoop伪分布式搭建 任务3:熟悉hdfs的常用shell命令 任务4:hdfs编程实践 (1)配置IDEA编程环境 (2)编程实现创建目录、上传文件、显示文件块信息、读取文件部分内容等功能

小李独爱秋的博客 1350

educoder--HBase 伪分布式环境搭建 第1关:伪分布式环境搭建答案

第1关:伪分布式环境搭建 任务描述 相关知识 配置与启动伪分布式HBase 在HDFS中验证 编程要求 测试说明 任务描述 本关任务:安装伪分布式HBase。 相关知识 上次实训中我们已经完成了单机版HBase的安装,单机版意味着我们的HBase数据仍然是存放在本地,而没有存放在Hadoop集群中,本关我们来学习如何配置一个伪分布式的HBase环境,伪分布式意味着HBase仍然在单个主机上运行,但每个HBase的守护程序(HMaster、HRegionServer和Zookeeper)作为单独的进程运行;在

刘向阳的博客 2万+

Hadoop 伪分布式安装与 HDFS 基础指南

HDFS(Hadoop Distributed File System)是 Hadoop 生态系统的核心组件之一,专为解决海量数据存储问题而设计。作为分布式文件系统,它通过多台计算机联合存储数据,突破了单体服务器的存储瓶颈,适用于处理大规模数据集。

weixin_70847910的博客 769

大数据Hadoop集群搭建 1(伪分布式集群)

(2)另一种是Hadoop集群自定义配置时编辑的配置文件,包括hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和slaves共7个文件,可以根据需要在这些文件中对默认配置文件中的参数进行修改,Hadoop会优先选择这些配置文件中的参数。在完全分布式模式下,默认的块副本是3份。(1)bin:存放操作Hadoop相关服务(HDFS、YARN)的脚本,但是通常使用sbin目录下的脚本。

currify的博客 3616
上一篇: HDFS原理
下一篇: HDFS完全分布式的搭建步骤
PowerBlogger
博客等级 码龄8年 10粉丝 17原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值