自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 收藏
  • 关注

原创 Hadoop即时复习

hadoop-client`:提供Java操作HDFS的API。`junit`:单元测试框架。(它能帮开发者快速验证代码中最小功能模块(如一个方法、一个类)是否正确运行。)“程序质检员”`slf4j-log4j12`:日志框架,用于输出程序运行信息。(给软件记日记)`log4j.properties`:配置日志输出格式(控制台和文件)。

2025-06-20 22:46:33 1587

原创 yarn部分

ResourceManager负责整个系统的资源分配和管理,是一个全局的资源管理器。调度器根据资源情况为应用程序分配封装在Container中的资源。应用程序管理器负责管理整个系统中所有应用程序。

2025-06-20 22:45:49 1413

原创 Hadoop配置文件,参数的优先级

参数优先级顺序:(1)客户端代码中设置的值 (2)ClassPath下的用户自定义的配置文件 (project下的配置文件,例如/usr/local/hadoop/etc/hadoop/hdfs-site.xml)(3)服务器的自定义配置文件(xxx-site.xml) (4)服务器的默认配置文件(xxx-default.xml)在项目中的resources中创建hdfs-site.xml文件,将如下内容拷贝进去(表明文件储存的份数为1份,而在/usr/local/hadoop/etc/

2025-06-20 22:45:17 154

原创 hdfs课程Api的笔记

maven 版本管理。

2025-06-20 22:44:47 129

原创 hdfs概述

hdfs中文件在物理上是分块存储(block),块的大小是可以通过配置参数(dfs.block)来规定,默认大小Hadoop2.X/3.X版本中的128M,1.X版本是64M.)是一个文件系统,用于存储文件,通过目标树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。文件上传hdfs的时候,Client将文件切分成一个一个的Block,然后进行上传。:适合一次写入,多次读出的尝尽,且不支持文件的修改。1.不适合低延时的数据访问,比如毫秒1级的存储数据,是做不到的。

2025-03-31 12:02:21 285

原创 分布式计算 课程笔记

2006年,Google 发表了Bigtable:A distributed Storage for Structure Data,介绍了Google的大表Bigtable的设计bigtable是Google公司分布式的数据存储系统,是用来处理海量数据的一种非关系型数据库。采用“分而治之,汇总结果”的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个子节点共同完成,然后整合各个子节点的中间结果,得到最终的计算结果。其中,RowKey 相当于MySQL的主键,不能为空,可以重复。

2025-02-25 12:06:25 821

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除