- 博客(5)
- 收藏
- 关注
RSS订阅原创 通过Java API操作HDFS文件上传/下载
可以前往 Maven 中央仓库（https://mvnrepository.com/artifact/org.apache.maven.plugins/maven-compiler-plugin ）查看可用版本。如果还是有问题，debug之后也解决不了，reboot一下，也许会有意想不到的收货。安装好Hadoop、JDL、Maven，注意版本，不知道选什么版本就跟着我的版本。解决Maven依赖下载速度慢的问题：换源。
2025-03-20 14:43:44
572
原创 Hadoop 核心组件操作全清单(附自检任务集)
假设你有100个CSV文件（每个1GB），其中10个文件大小超过2GB，导致MapReduce任务卡在99%。上传大文件（>128MB）到HDFS，观察自动分块。尝试以其他用户身份访问该目录，验证权限是否生效。将HDFS中的多个小文件合并下载到本地的。清空HDFS回收站（默认保留周期24小时）在Web界面中找到你的用户目录并截图。掌握目录创建、查看、删除操作。从HDFS下载该文件到本地新路径。对比本地原文件和下载文件的哈希值。掌握文件查看、追加、合并操作。目录（替换为你的实际用户名）掌握HDFS权限控制。
2025-03-19 21:58:31
1836
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人