hdfs
文章平均质量分 69
王改改63 的日记
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
虚拟机创建脚本
1.新建一个.sh文件,touch test.sh 2.编辑test.sh文件,vi test.sh 然后键入i,输入内容, #!/bin/sh必须放在第一行 然后键入esc 键入:wq保存退出 3.给test.sh赋予可执行权限,chmod +x test.sh 4.执行脚本./test.sh,即可执行脚本 5.也可以通过sh test.sh 执行脚本 扩展资料: Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统原创 2021-04-26 15:19:39 · 5738 阅读 · 0 评论 -
Hadoop MapReduce
Map 的流程 原始数据File ·1T数据被切分成块存放在HDFS上,每一个块有128M大小 .数据块Block . hdfs上数据存储的一个单元,同一个文件中块的大小都是相同的 ·因为数据存储到HDFS上不可变,所以有可能块的数量和集群的计算能力不匹配 ·我们需要一个动态调整本次参与计算节点数量的一个单位 ·我们可以动态的改变这个单位–》参与的节点 切片split ·切片是一个逻辑概念 ·在不改变现在数据存储的情况下,可以控制参与计算的节点数目 ·通......原创 2021-03-08 08:41:37 · 183 阅读 · 0 评论
分享