Hadoop 学习笔记

【学习笔记】尚硅谷Hadoop大数据教程笔记 本文是尚硅谷Hadoop教程的学习笔记,由于个人的需要,只致力于搞清楚Hadoop是什么,它可以解决什么问题,以及它的原理是什么。至于具体怎么安装、使用和编写代码不在我考虑的范围内。 一、Hadoop入门 大数据的特点: Volume(大量) Velocity(高速) Variety(多样) Value(低价值密度) 1. Hadoop概念 是一个分布式系统基础架构 2. Hadoop优势 高可靠 高扩展性 高效性 高容错性 3. Hadoop组成 (1) HDFS架构概述 HDFS(Hadoop 阅读详情

Hadoop 学习笔记

存储模型

  • 文件线性按字节切割成块(BLOCK),具有offset ,id
  • 文件与文件的block大小可以不一样
  • 一个文件除最后一个block,其他block大小一致
  • block的大小依据硬件的I/O特性调整
  • block被分散存放在集群的节点中,具有location
  • block具有副本(replication),没有主从概念,副本不能出现在同一个节点
  • 副本是满足可靠性和性能的关键
  • 文件上传可以指定block大小和副本数,上传后只能修改副本数
  • 一次写入多次读取,不支持修改
  • 支持追加数据

架构设计

  • HDFS是一个主从(master/slaves)架构
  • 由一个NameNode和一些DataNode组成
  • 面向文件包含:文件数据(data) 和文件元数据(metadata)
  • NameNode负责存储和管理文件元数据,并维护一个层次型的文件目录树
  • DataNode负责存储文件数据(block),并提供block的读写
  • DataNode 与NameNode维持心跳,并汇报自己持有的block信息
  • Client和NameNode交互文件元数据和DataNode交互文件block数据
Hadoop【hadoop学习大纲完全总结】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】 1.概述 2.大数据部门结构 3.SSH免密登录原理 4.MapReduce原理 5.SecondNameNode原理 6.单机及集群安装配置 7.YARN简单分布式部署配置 8.Job作业 9.Java开发Job作业流程 10.MapReduce运行历史服务器配置 阅读详情

相关推荐

Hadoop学习笔记(一)初识Hadoop

前言 研究生阶段将要接触大数据和深度学习的知识,在网上找的教程大多一上来就是一堆名词又解释不清楚,对新手相当不友好,在慕课网看到一个教程,利用博客记录下自己学习的过程。 hadoop介绍 关于hadoop 最好的介绍莫过于官网的文档,hadoop的官网如下, http://hadoop.apache.org 我们一句一句来看看hadoop官网是怎么介绍的。 The Apache™ Hadoop® ...

微信搜:import_bigdata,大数据领域硬核原创作者 866

hadoop命令大全(完整)

hdfs常用命令: 文章目录1. hdfs文件系统命令1.1 文件路径增删改查系列:1.2 空间大小查看系列命令:1.3 权限管理类:1.4 文件操作(上传下载复制)系列:1.5 判断系列:1.6 系统功能管理类:2. 运维命令3. mapreduce命令4. hdfs系统检查工具fsck5. 运行pipies作业 1. hdfs文件系统命令 1.1 文件路径增删改查系列: hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件夹dir hdfs dfs -ls

weixin_44441131的博客 3万+

hadoop的X—mind思维导图

平时学习的时候做的思维导图。

喜欢放点报错 202

hadoop fs操作 shell 命令大全

Hadoop FS Shell命令大全 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置

╱/.进oоΟ的专栏 2413

树莓派4B网线直连Windows全流程:从IP查询到SSH登录避坑指南

本文提供了一份详细的树莓派4B通过网线直连Windows电脑的实战指南。核心步骤包括配置Windows网络共享、查询树莓派IP地址以及通过SSH进行安全登录与初始配置。文章深入解析了直连的网络原理,并重点分享了使用CMD命令和工具定位IP、避免常见错误的避坑技巧,帮助用户在没有显示器或路由器的环境下快速完成树莓派初始化。

grape的博客 1081

Avalonia 项目结构说明

Avalonia UI

bjxingch的博客 1271

HDFS学习笔记(二):HDFS 常用操作命令大全(Hadoop版本3.3.1)

hdfs 常见命令汇总

u011047968的专栏 3443

高速DAC时钟与配置实战:DAC5681Z硬件设计与寄存器编程详解

在高速数据转换系统中,时钟信号是决定系统性能的核心要素,其稳定性和纯净度直接影响数模转换器(DAC)的输出频谱纯度与动态范围。时钟电路的设计原理涉及信号完整性、阻抗匹配与直流偏置,而内部锁相环(PLL)和延迟锁相环(DLL)的配置则是实现精确时序控制的关键技术。这些技术的价值在于,它们共同保障了高速通信、雷达和任意波形生成等应用对信号实时性与精度的严苛要求。本文聚焦于德州仪器(TI)的DAC5681Z,深入解析其外部时钟输入电路的硬件设计要点,包括端接电阻的计算与选型,并详细拆解通过串行外设接口(SPI)对

weixin_30342363的博客 186

Hadoop学习笔记

Hadoop学习简介前言:大数据的概念一、Hadoop入门1.概念1.1 Hadoop是什么?1.2 Hadoop发展历史1.3 Hadoop三大发行版本1.4Hadoop的优势1.5Hadoop的组成1.5.1 HDFS架构概述1.5.2 YARN架构概述1.5.3 MapReduce架构概述1.5.4 HDFS、YARN、MapRecduce三者间的关系1.6大数据技术生态体系1.7推荐系统案例2. 环境准备2.1模板虚拟机的准备2.2克隆2.3安装JDK以及Hadoop3.Hadoop生产集群搭建3.

NotLency的博客 3242

SAP 货币类型和公司代码的货币设置

货币类型分为公司代码和集团货币,一般FI 10类型和集团货币 30,事务代码是8KEM; 设置货币类型的事务代码是OB22 在S/4 1809版本里编辑功能统合到事务代码FINSC_LEDGER 中了,这里集中了分类账和公司代码的设置; 设置多账簿的币种(会出现在BSEG和FAGLFLEXA表中) 汇率维护在TCURR表中,可通过BAPI_EXCHANGERATE_GETDETAIL函数获取。 CO货币的事务代码是成本控制范围货币:OKKP ,一般设置为货币码20和30; 另外, SCC4设置集团货币,

RichardYang2020的博客 1万+

YOLO26优化:注意力魔改 | SKAttention注意力,自适应地调整其感受野大小,效果优于SENet

SKAttention输入自适应地调整其感受野大小的能力

①答疑群聊服务;②YOLO大模型知识问答系统;③计算机视觉论文生成智能体; 250

hadoop学习笔记

hadoop学习笔记

panxiaoxie的博客 300

LLCC68芯片系统架构与LoRa驱动开发核心解析

LoRa射频收发器是低功耗广域物联网(LPWAN)的关键组件,其本质是集成了调制解调器、协议引擎、数据缓冲区与电源管理的专用SoC。理解其工作模式状态机(Sleep/Standby/TX/RX)与SPI主机接口时序规范,是实现稳定通信的基础。LLCC68通过寄存器映射与命令集双接口抽象硬件控制,支持LoRa扩频调制与FSK兼容模式,具备高链路预算(157 dB)和DC-DC/LDO动态电源切换能力。典型应用场景包括远距离传感器节点、智能表计与工业无线监测系统。本文深入剖析LLCC68的信号链路径、中断机制与

weixin_29859471的博客 283

Hadoop权威指南学习笔记整理

Hadoop权威指南学习笔记整理

hiee467的专栏 774

【ArcGIS Pro微课1000例】0067:ArcGIS Pro3.4.2学习版下载及安装教程

【ArcGIS Pro微课1000例】0067:ArcGIS Pro3.4.2学习版网盘下载及安装教程

智慧空间实验室 2388

YOLOv11模型压缩技术全面对比:剪枝、量化、蒸馏的原理与实战

YOLOv11模型压缩技术综述 模型压缩技术是解决计算资源受限环境下部署深度学习模型的关键。本文系统介绍了YOLOv11模型压缩的三种核心技术:剪枝、量化和蒸馏。剪枝技术通过移除冗余参数实现模型轻量化,包括结构化剪枝(通道/卷积核剪枝)和非结构化剪枝;量化技术通过降低数值精度(如FP32→INT8)减少存储和计算量;蒸馏技术则利用教师模型指导学生模型训练,在保持精度的同时减小模型规模。三种技术可单独或组合使用,在工业质检、智慧安防等边缘计算场景中发挥重要作用,使YOLOv11在保持80%精度的同时减少70%

本博客聚焦 YOLOv11 全流程落地,涵盖架构优化、数据集处理、训练技巧与多场景部署,兼及国产数据库、Java 开发与 AI 模型应用,内容兼顾理论与工程实践,为开发者提供系统干货,助力高效提升技术能力。 579

hadoop学习笔记.rar

hadoop学习笔记.rar

120

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

hadoop入门学习笔记

Map提供分散的功能,分散数据让服务器处理,reduce的功能是聚合,将分布式的处理结果汇总统计。

little_TianYe的博客 566

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Hadoop脚本——Hadoop实战初级部分学习笔记

4、Hadoop脚本 1、bin目录 hadoop:hadoop shell hadoop-config.sh  给hadoop的一些变量赋值 HADOOP_HOME、HADOOP_CONF等   hadoop-deamon.sh   call salves.sh   start-all.sh start-dfs sh start-

hdngbj的专栏 1444

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

zk hdfs hadoop yarn hive 学习笔记

zk hdfs hadoop yarn hive 学习笔记 如图 posted on 2018-08-12 21:04 大侠去哪儿 阅读(...) 评论(...) 编辑 收藏 var allowComments=true,cb_blogId=276464,cb...

weixin_30496751的博客 113

Hadoop初窥学习笔记

Hadoop核心组件 Hive 功能:用于将SQL语句转化为可执行的Hadoop任务,降低了使用门槛 Hbase 类型:存储结构化数据的分布式数据库 区别:放弃传统关系型数据库事务的特性,追求更高的扩展。并且提供对数据的随机读写和实时的访问,实现对表数据的读写功能 Zookeeper 功能:提供分布式一致性 HDFS 概念:Hadoop的文件系统,将所有文件以块的形式存储...

a2370889_com的博客 292

Hadoop学习笔记—Yarn

Hadoop学习笔记—Yarn @(Hadoop)[hadoop, yarn] [TOC] 上一份工作主要负责大数据平台的建设,在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记,由于时间关系,不打算去修改其中的错别字和排版问题,直接释出原始笔记。 一些基本知识 ResourceManager 的恢复 当ResourceManager 挂掉重启后,为了使之前的任务能够继续执行,而不是重新执行。势必需要yarn记录应用运行过程的状态。 运行状态可以存储在 ZooKeeper FileSyste

weixin_38166318的博客 342

Hadoop学习笔记之HDFS架构

1 Master(NameNode/NN)  带 N个Slaves(DataNode/DN)HDFS/YARN/HBase1个文件会被拆分成多个Blockblocksize:128M130M ==> 2个Block: 128M 和 2MNN:1)负责客户端请求的响应2)负责元数据(文件的名称、副本系数、Block存放的DN)的管理DN:1)存储用户的文件对应的数据块(Block)2)要定期向...

Archer9511的博客 490

Hadoop MapReduce 学习笔记

本文的部分图片、文字来自于HKU COMP7305 Cluster and Cloud Computing,Professor: C.L.Wanghadoop官方文档:http://hadoop.apache.org/docs/r2.7.5/拓扑结构和硬件配置先讲一下Hadoop之前的底层的结构,我们是4人一组,每个人一台机器,装上Xen,然后用Xen开两个VM,就是一共8个VM,配置上格式跟下图...

世靖的码场 904
上一篇: Linux 学习笔记
下一篇: Redis 5
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值