
hadoop
文章平均质量分 95
lyx52Hertz
这个作者很懒,什么都没留下…
展开
-
Hadoop集群基础搭建
HDFS的定义:HDFS是一种允许文件通过网络在多台主机上分享的文件系统,可以让多台机器上的多个用户分享文件和存储空间。HDFS的适用场景:适合一次写入,多次读出的场景,且不支持文件的修改。安装完成后/opt/module/目录下出现 hadoop-3.3.6文件。文件/root/.ssh/authorized_keys是个。mv命令用法:mv /要改名的文件路径 /改名后的路径。存放路径为:/hadoop的路径/etc/hadoop/:mv /要移动的文件路径 /目标目录的路径。原创 2024-10-13 20:46:53 · 1142 阅读 · 1 评论 -
大数据—MapReduce概念
Mapper函数是对输入数据进行处理的函数。它接收输入的数据记录,将其转化为(Key,Value)对,并输出到Reducer函数进行处理。你可以根据需求自定义Mapper函数。原创 2024-04-10 10:05:25 · 3007 阅读 · 1 评论 -
大数据—HDFS常用命令
HDFS的定义:HDFS是一种允许文件通过网络在多台主机上分享的文件系统,可以让多台机器上的多个用户分享文件和存储空间。HDFS只是分布式文件管理系统中的一种。HDFS的适用场景:适合一次写入,多次读出的场景,且不支持文件的修改。原创 2024-03-20 22:00:13 · 1459 阅读 · 2 评论