Hadoop
文章平均质量分 88
叫我DPT
若有错误与不足请指出,关注DPT一起进步吧!!!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
NameNode故障后如何恢复数据
(4)如果SecondaryNameNode不和NameNode在一个主机节点上,需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录,并删除in_use.lock文件。(2)删除NameNode存储的数据(/export/server/hadoop-3.3.0/data/tmp/dfs/name)(3)删除NameNode存储的数据(/export/data/hadoop-3.3.0/dfs/name)若有错误与不足请指出,关注DPT一起进步吧!原创 2024-12-05 21:43:36 · 635 阅读 · 0 评论 -
史上最全HDFS分布式文件系统总结——胆小勿入
大白话:你出5毛,我出5毛,一起凑成1块的过程专业版:相当于把多个机器的磁盘给打通,然后对外提供统一的访问端口,从而实现跨机存储。hadoop fs -put 文件名称 上传路径HDFS存储数据的时候,会对文件进行切块(Block数据块)另外要特别注意:数据块并不是一起上传的,而是一个一个上传的(串行写)普及:为什么要把分块大小设置为128MB问题:如果一个10M大小的文件,上传到HDFS集群,每个数据块有128MB,则这个10MB的文件在HDFS集群占用的空间大小?原创 2024-12-05 21:36:00 · 1915 阅读 · 0 评论 -
24年某马最新大数据相关软件安装文档
还有一种情况:因为我们在配置文件中,指定的WebUI端口为node1:9870,HDFS在上传过程中默认校检你主机的名称是不是node1,如果你的文件来自于node1主机就允许上传,反之就不允许你上传!在node1的机器上配置完成后,需要将node1中的zookeeper目录复制到node2和node3的对应目录下,同时需要将基础环境配置步骤在node2和node3上重新执行一遍。以上操作完成后,把/export/server同步到其他所有的机器上,针对其他的两台机器也要进行环境变量配置。原创 2024-12-03 21:20:07 · 1139 阅读 · 0 评论 -
24年某马最新Hadoop课程总结文档
Hadoop是Apache旗下的一个用java语言实现开源软件框架,是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。Hadoop基于Java实现 => JDKHadoop属于Apache基金会(ASF)下的一个开源框架 => 开源 + 免费Hadoop主要是对大数据集(数据量比较大 => 适合处理GB级别以上数据集)进行分布式(多台机器)处理。HDFS(分布式文件系统):解决海量数据存储。原创 2024-12-03 21:10:55 · 1520 阅读 · 0 评论
分享