- 博客(6)
- 收藏
- 关注
原创 Hadoop即时复习
hadoop-client`:提供Java操作HDFS的API。`junit`:单元测试框架。(它能帮开发者快速验证代码中最小功能模块(如一个方法、一个类)是否正确运行。)“程序质检员”`slf4j-log4j12`:日志框架,用于输出程序运行信息。(给软件记日记)`log4j.properties`:配置日志输出格式(控制台和文件)。
2025-06-20 22:46:33
1587
原创 yarn部分
ResourceManager负责整个系统的资源分配和管理,是一个全局的资源管理器。调度器根据资源情况为应用程序分配封装在Container中的资源。应用程序管理器负责管理整个系统中所有应用程序。
2025-06-20 22:45:49
1413
原创 Hadoop配置文件,参数的优先级
参数优先级顺序:(1)客户端代码中设置的值 (2)ClassPath下的用户自定义的配置文件 (project下的配置文件,例如/usr/local/hadoop/etc/hadoop/hdfs-site.xml)(3)服务器的自定义配置文件(xxx-site.xml) (4)服务器的默认配置文件(xxx-default.xml)在项目中的resources中创建hdfs-site.xml文件,将如下内容拷贝进去(表明文件储存的份数为1份,而在/usr/local/hadoop/etc/
2025-06-20 22:45:17
154
原创 hdfs概述
hdfs中文件在物理上是分块存储(block),块的大小是可以通过配置参数(dfs.block)来规定,默认大小Hadoop2.X/3.X版本中的128M,1.X版本是64M.)是一个文件系统,用于存储文件,通过目标树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。文件上传hdfs的时候,Client将文件切分成一个一个的Block,然后进行上传。:适合一次写入,多次读出的尝尽,且不支持文件的修改。1.不适合低延时的数据访问,比如毫秒1级的存储数据,是做不到的。
2025-03-31 12:02:21
285
原创 分布式计算 课程笔记
2006年,Google 发表了Bigtable:A distributed Storage for Structure Data,介绍了Google的大表Bigtable的设计bigtable是Google公司分布式的数据存储系统,是用来处理海量数据的一种非关系型数据库。采用“分而治之,汇总结果”的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个子节点共同完成,然后整合各个子节点的中间结果,得到最终的计算结果。其中,RowKey 相当于MySQL的主键,不能为空,可以重复。
2025-02-25 12:06:25
821
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅