- 博客(5)
- 收藏
- 关注
RSS订阅原创 textfile
而wholeTextFiles方法适用于处理多个小文件，将整个文件作为一个元素进行处理。textFile方法适用于读取大型文本文件，
2024-03-16 10:18:11
394
1
原创 HADOOP之部署yarn集群
mapreduce运行在yarn中，部署yarn之前，先配置mapreduce的mapred-env.sh和mapred-site.xml文件。在YARN模式下无效。10. mapreduce.task.io.sort.mb：指定Map任务进行排序操作时使用的内存量（以MB为单位）。7. mapreduce.reduce.memory.mb：指定每个Reduce任务使用的内存量（以MB为单位）。6. mapreduce.map.memory.mb：指定每个Map任务使用的内存量（以MB为单位）。
2024-02-18 15:49:57
648
1
原创 HADOOP之配置HDFS集群，修改四个文件workers,hadoop-env.sh,core-site.xml,hdfs-site.xml
我的jdk，hadoop都在/export/server/目录下。2.配置hadoop-env.sh文件。3.配置core-site.xml文件。4.配置hdfs-site.xml文件。1.配置workers文件。
2024-02-11 22:25:15
1633
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人