Hadoop基础知识(二)

Hadoop基础知识入门 随着大数据时代的到来,企业和组织每天都在生成、采集和处理海量数据。传统的关系型数据库和单体式处理模型难以应对数据规模和复杂度的迅速增长。Apache Hadoop正是在此背景下应运而生,成为处理大规模数据的核心技术之一。Hadoop是由Apache基金会支持的开源大数据处理框架,其核心目标是实现对海量数据的分布式存储与处理。通过将数据分散到多台节点并行处理,Hadoop能够在计算资源上横向扩展,同时提供可靠性和容错能力。 阅读详情

Hadoop Shell介绍

bin目录下的Hadoop脚本是最基础的集群管理脚本,用户可以通过该脚本完成各种功能,如HDFS文件管理、MapReduce作业管理等。该脚本的使用方法为:
hadoop[–config confdir]COMMAND
其中,–config用于设置Hadoop配置文件目录,默认目录为
${HADOOP_HOME}/conf
而COMMAND是具体的某个命令。常用的有HDFS管理命令fs、作业管理命令job和作业提交命令jar等。

测试环境

1)HDFS测试
对HDFS文件系统进行查看文件,对文件或者文件的基本操作。(通过命令行的方式交互)

[hadoop1@H01 bin]$ pwd
/home/hadoop1/Hadoop/modules/hadoop-1.2.1/bin

[hadoop1@H01 bin]$ ./hadoop
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
  namenode -format     format the DFS filesystem
  secondarynamenode    run the DFS secondary namenode
  namenode             run the DFS namenode
  datanode             run a DFS datanode
  dfsadmin             run a DFS admin client
  mradmin              run a Map-Reduce admin client
  fsck                 run a DFS filesystem checking utility
  fs                   run a generic filesystem user client
  balancer             run a cluster balancing utility
  oiv                  apply the offline fsimage viewer to an fsimage
  fetchdt              fetch a delegation token from the NameNode
  jobtracker           run the MapReduce job Tracker node
  pipes                run a Pipes job
  tasktracker          run a MapReduce task Tracker node
  historyserver        run job history servers as a standalone daemon
  job                  manipulate MapReduce jobs
  queue                get information regarding JobQueues
  version              print the version
  jar <jar>            run a jar file
  distcp <srcurl> <desturl> copy file or directories recursively
  distcp2 <srcurl> <desturl> DistCp version 2
  archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
  classpath            prints the class path needed to get the
                       Hadoop jar and the required libraries
  daemonlog            get/set the log level for each daemon
 or
  CLASSNAME            run the class named CLASSNAME
Most commands print help when invoked w/o parameters.
[hadoop1@H01 conf]$ pwd
/home/hadoop1/Hadoop/modules/hadoop-1.2.1/conf
[hadoop1@H01 conf]$ hadoop --config /home/hadoop1/Hadoop/modules/hadoop-1.2.1/conf/ fs
Usage: java FsShell
           [-ls <path>]
           [-lsr <path>]
           [-du <path>]
           [-dus <path>]
           [-count[-q] <path>]
           [-mv <src> <dst>]
           [-cp <src> <dst>]
           [-rm [-skipTrash] <path>]
           [-rmr [-skipTrash] <path>]
           [-expunge]
           [-put <localsrc> ... <dst>]
           [-copyFromLocal <localsrc> ... <dst>]
           [-moveFromLocal <localsrc> ... <dst>]
           [-get [-ignoreCrc] [-crc] <src> <localdst>]
           [-getmerge <src> <localdst> [addnl]]
           [-cat <src>]
           [-text <src>]
           [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
           [-moveToLocal [-crc] <src> <localdst>]
           [-mkdir <path>]
           [-setrep [-R] [-w] <rep> <path/file>]
           [-touchz <path>]
           [-test -[ezd] <path>]
           [-stat [format] <path>]
           [-tail [-f] <file>]
           [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
           [-chown [-R] [OWNER][:[GROUP]] PATH...]
           [-chgrp [-R] GROUP PATH...]
           [-help [cmd]]

Generic options supported are
-conf <configuration file>     specify an application configuration file
-D <property=value>            use value for given property
-fs <local|namenode:port>      specify a namenode
-jt <local|jobtracker:port>    specify a job tracker
-files <comma separated list of files>    specify comma separated files to be copied to the map reduce cluster
-libjars <comma separated list of jars>    specify comma separated jar files to include in the classpath.
-archives <comma separated list of archives>    specify comma separated archives to be unarchived on the compute machines.

The general command line syntax is
bin/hadoop command [genericOptions] [commandOptions]

2)MapReduce程序的测试,单次频率统计 WordCount程序。
这里好麻烦没记笔记……

分析启动Shell脚本

1)查看start-all.sh 脚本

第一点:此Shell 脚本,仅仅在主节点上执行。

第二点:首先启动DFS文件系统的守护进程,在启动 MapReduce 框架的守护进程。

第三点:启动HDFS文件系统守护进程时,调用 start-dfs.sh Shell脚本。启动MapReduce守护进程时,调用start-mapred.sh Shell脚本。

2)查看start-dfs.sh 脚本

第一点:此脚本运行在DFS文件系统的主节点上。

第二点:如果先启动DataNode守护进程,在没有启动namenode守护进程之前Datanode日志文件中一直出现连接NameNode错误信息。

第三点:启动HDFS守护进程的顺序
这里写图片描述

第四点:namenode启动,调用的是 hadoop-daemon.sh 脚本
datanode和secondarynamenode启动调用的是hadoop-daemons.sh脚本

第五点:在启动secondarynamenode守护进程服务时,通过参数【–hosts masters】指定哪些机器上运行secondarynamenode服务。由此也验证了配置文件【masters】配置的IP地址为Secondnamenode
服务地址。

Eclipse导入Hadoop源码项目

在Ecilpse新建一个Java项目【hadoop1.2.1】

将Hadoop压缩包解压目录下src下core,hdfs,mapred,tools,examples 五个目录copy到上述新建项目的src目录。

修改Java Build Path——>Configure Build Path…中的【Source】,删除src,添加src/core,src/hdfs,src/mapred,src/tools,src/examples几个源码目录

为Java Build Path添加项目依赖jar,可以导入Hadoop压缩包解压目录下的lib下所有的jar包(别漏掉其子目录jsp-2.1中的jar包)。导入ant程序lib下所有jar包。

Hadoop基础知识总结 Hadoop概述 Hadoop这个单词本身并没有什么特殊的含义,而只是其作者Doug Cutting孩子的一个棕黄色的大象玩具的名字。 Hadoop是一个高可靠的(reliable),规模可扩展的(scalable),分布式(distributed computing)的开源软件框架。它使我们能用一种简单的编程模型来处理存储于集群上的大数据集。 Hadoop是Apache基金会的一个开源项目,是一个提供了分布式存储和分布式计算功能的基础架构平台。可以应用于企业中的数据存储,日志分析,商业智能,数据挖掘 阅读详情

相关推荐

Gem5模拟器,详解官网教程Event-driven programming(五)

Gem5模拟器,详解官网教程Event-driven programming、时间调度、如何自定义SimObject

qq_46675545的博客 2041

Hadoop的PathFilter使用

Hadoop的PathFilter使用 源码接口定义: public interface PathFilter { /** * Tests whether or not the specified abstract pathname should be * included in a pathname list. * * @param path The ab

鲍礼彬的优快云博客 ~_~ 2501

ICLR 2022)ODConv:即插即用的动态卷积 (附代码)

一定程度上讲,ODConv可以视作CondConv的延续,将CondConv中一个维度上的动态特性进行了扩展,同时了考虑了空域、输入通道、输出通道等维度上的动态性,故称之为全维度动态卷积。ODConv是一种动态卷积算法,它的原理是在卷积过程中,根据输入数据的特征动态地调整卷积核的形状和大小,以适应不同的输入数据。具体来说,ODConv通过引入一个可学习的形变模块,根据输入数据的特征动态地调整卷积核的形状和大小,从而提高了卷积神经网络的性能。此外,相比常规卷积,动态卷积的卷积核参数往往是其n倍。

PLANTTHESON的博客 2万+

第五讲.Hadoop守护进程的正确启动方式

【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS 【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS 分别启动守护进程:(启动顺序不重要) ----------------------------- 1.启动namenode进程: $>hadoop-daemons.sh --config ~/soft/hadoop/etc/hadoop_pseudo start namenode 2.启动datanode进程: $...

美妙人生IT 736

CSP-J 复试考点

可以用来训练思维,对于学习时间短的同学,动态规划可以帮助你迅速进入编程状态,也有助于帮你发现题目背后可能隐藏的更简便的算法。动态规划、贪心都是和子问题相关的,动态规划的基本思想是将一个大的问题划分成子问题,接着分别求解,而且能够将一些重复的计算记忆化,大大提高效率。难度加大,会涉及到二分、动态规划之类的算法,容易遗漏考虑点,不易得全分,考试的时候要注意全面性。一般是压轴题,算法不明显,剪枝的搜索、动态规划、状压 DP、树形 DP 、树、图等。枚举算法是指,列举出所有可能的取值,从中找出最优解。

GuanHeTian的博客 2215

社交导航中的未来感知框架NavThinker解析

社交导航是机器人技术中的关键挑战,要求机器人在动态人类环境中安全移动并遵守社会规范。传统方法存在短视问题,仅基于当前观测做出反应,忽视了动作与行人运动间的双向耦合关系。NavThinker框架创新性地引入未来感知概念,通过动作条件世界模型主动预测场景演变,实现预测-规划端到端耦合。该技术采用Depth Anything V2的patch特征空间,保留几何细节并支持多模态预测,在Social-HM3D数据集上使行人轨迹预测误差降低31.5%。未来特征融合和社交奖励塑形机制进一步提升了导航成功率,适用于密集人群

weixin_30141859的博客 234

HDFS 启动顺序

HDFS 启动顺序 Loading fsimage:加载镜像文件 首次开启集群时,加载镜像文件:{hadoop.tmp.dir}/dfs/name/fsimage_0000000000000000000 再次开启集群时,Loading fsimage /home/hadoop/tmp/dfs/name/current/fsimage_0000000000000000002 Loading ...

geekLinyi‘s Blog 1228

SLAM Cartographer(18)后端优化问题求解器

了解经过闭环检测构建了子图与节点之间的约束之后,通过后端优化求解器进行优化求解。核心是基于Ceres库进行SPA(Sparse Pose Adjustment)的优化方法,把后端优化问题描述成为一个最小二乘的问题求解

氢键H-H 5684

Hadoop初入门的坑

这几天初入门hadoop,测试一些demo遇到了许多问题,有些问题想了好久才找到办法解决,因此写下这篇入坑小博客,学习编程,解决问题是我们的核心,所以我们遇到难题应该兴奋并解决之。以后我要写多点博客,记录编程的点点滴滴,愿与各位共勉之。下面,正题。 !!!hadoop中遇到问题一定要找相应的日志!!! 一、环境 1、一个linux系统(Centos7)的服务器(不是虚拟机),下面贴出/e

jiayoudeBOKE的博客 6679

【OAG vs RAG】RAG的“语义崩溃“:为什么你的知识库越大,AI越笨?_语义检索oag-优快云博客

19.9 元(AI 编程 / Agent 实战 | 本文同主题系统课程)·49.9 元(AI 时代成长方法论)。单篇不过瘾?订阅解锁全量源码、实战与答疑;文末附资料包领取方式 ↓图1:RAG语义崩溃概念图。

求知若渴、虚心若愚 73

2025华为od机试真题B卷【停车场费用统计】Python实现

2025华为od机试真题B卷【停车场费用统计】Python实现

MISAYAONE的博客 539

Hadoop Shell 介绍

以 hadoop 2.7.3 为例   bin 目录下是最基础的集群管理脚本, 用户可通过该脚本完成各种功能, 如 HDFS 管理, MapReduce 作业管理等.   作为入门, 先介绍bin 目录下的 hadoop 脚本的使用方法, 如下所示: 参考 官网的 Hadoop 命令参考 Usage: hadoop [--config confdir] [COMMAND | CL...

weixin_30470857的博客 173

【一看就会】autoware universe项目结构解析——从一层一层直到control源码

下载安装autoware universe花了一天。下载好之后,按照网上说的跑了一下仿真是能跑的,证明下的代码没问题。然后就得看一下各模块实现的源码了。但是当我打开这些文件的时候。我勒个豆。这么多是个玩意儿。我连该启动哪个launch文件,哪个文件夹是干啥的都不知道。在我慢慢弄懂之后,我也记录这个庞大的项目的各个文件夹和里面的文件以及项目,以及自己使用时应该启动哪些launch文件。这篇文章目的就是通过找到control部分的源码,来帮助我们梳理这个庞大项目的各个文件的功能。

weixin_48386130的博客 2037

二、Hadoop 基础知识综述

Hadoop 是一个开源的分布式计算框架,主要用于存储和处理大规模数据集。其设计初衷是在由普通硬件构成的集群上运行,具备高可靠性、高扩展性和高效性。Hadoop 基于谷歌的 MapReduce 和 Google File System(GFS)的理念开发,能够在数千台服务器上并行处理数据,使得大数据处理更加便捷高效。

DarrylDen的博客 1345

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Hadoop基础知识二

Hadoop基础知识二 元数据:描述文件的大小,持有者,创建时间等等的信息元数据 NameNode节点主要是保存元数据单节点 (主)NameNode所维护的是单独的目录树结构和Linux下的目录没有任何关系–&amp;gt;有相似的地方就是目录树结构 (从)DataNode节点是保存文件Block块数据:多节点 DateNode和NameNode之间保持这一种关系–&amp;gt;心跳机制 ps:心跳机制是一种健...

Hedianzhj的博客 437

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Hadoop 基础知识(二)

HBase 是基于谷歌白皮书大表:结构化数据的分布式存储系统设计的,定义为稀疏、分布式、持久的多维排序图。HBase 是一个面向列和分区的数据库,但存储在数据的键值对中。我知道这很令人困惑和棘手,所以让我们再详细看看这些术语。稀疏: HBase 呈柱状,分区定向。通常,一条记录可能有许多列,其中许多列可能有空数据,或者这些值可能重复。HBase 可以高效、有效地节省稀疏数据中的空间。分布式:数据存储在多个节点中,分散在集群中。持久:数据写入并保存在集群中。多维:一行可以有多个版本或者时间戳的值。

龙哥盟 561

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Hadoop读书笔记——基础知识二

Hadoop数据类型     为了让键/值对可以在集群上移动,MapReduce框架提供了一种序列化键/值对的方法。因此,只有那些支持这种序列化的类能够在框架中充当键/值。  实现Writable接口的类可以是值;  实现WritableComparable接口的类可以是键/值。 键/值对经常使用的数据类型列表。这些类均用于实现WritableComparable接口。     

三分地 1994

大数据入门之Hadoop(二:HDFS基础知识)

文章目录一、大数据技术生态体系二、集群规划2.1 群启集群要求三、HDFS概述及优缺点3.1 概述3.2 HDFS的优点3.3 HDFS的缺点3.4 HDFS组成架构3.5 HDFS文件块大小四、HDFS的API操作4.1文件上传4.2 文件夹删除4.3 HDFS文件详情查看4.4 HDFS文件和文件夹判断五、HDFS的读写操作5.1 HDFS的写操作(文件上传)5.2 HDFS的读操作(文件下...

Charles_ZengYC的博客 1069

大数据基础知识(二):了解hadoop原理

Hadoop   Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cos...

711

Hadoop基础知识

hadoop基本介绍 1、Hadoop是一个有apache基金会开发的分布式系统基础架构。 2、主要解决,海量数据的存储和海量数据的分析问题 3、hadoop泛指hadoop生态圈 hadoop三大发行版本(免费开源) 1、apache DKhadoop发行版 Apache版本最原始(最基础)的版本。 官网地址:地址 下载地址:地址 Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH) 在大型互联网企业中用的较多,在兼容性,安全性

HMing的博客 1158

Hadoop学习总结(一)之Hadoop基础知识

Hadoop基础知识1.Hadoop是什么2.Hadoop的发展3.Hadoop组成3.1 HDFS架构3.2YARN架构3.3MapReduce架构3.4生态系统组成 1.Hadoop是什么 Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据谷歌公司发表的MapReduce和Google文件系统的论文自行实现而成。所有的Hadoop模块都有一个基本假设,即硬件故障是常见情况,应该

weixin_38924500的博客 680

hadoop实验二

一、实验目的 理解HDFS在Hadoop体系结构中的角色 熟练使用HDFS操作常用的Shell命令 熟悉HDFS操作常用的Java API 二、实验平台 操作系统: Hadoop版本: JDK版本: Java IDE: 三、实验内容和要求 利用Hadoop提供的Shell命令完成下列任务: 向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件。 从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名。

m0_50572604的博客 6091

Hadoop的一些基础知识

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理,以并行的方式工作,通过并行处理加快处理速度,能够处理 PB 级数据。Hadoop主要由HDFS、MapReduce和Hbase组成。 它是一个分布式系统基础架构,由Apache基金会开发。

leiline的博客 4603

Hadoop 的基础知识

Hadoop 基础知识点

YKenan的博客 1589

Hadoop之Hadoop基础知识面试复习

Hadoop之Hadoop基础知识常问面试题 列举几个hadoop生态圈的组件并做简要描述。 Zookeeper:是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务,配置维护,命名服务。 Flume:一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。 Hbase:是一个分布式的、面向列的开源数据库, 利用Hadoop HDFS作为其存储系统。 Hive...

努力努力再努力L 849
上一篇: Hadoop基础知识
下一篇: 欢迎使用优快云-markdown编辑器
飞鸿踏雪泥-
博客等级 码龄12年 4粉丝 48原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值