
Hadoop
QueenieK
这个作者很懒,什么都没留下…
展开
-
HADOOP的输入处理
HADOOP获取文件路径原创 2021-06-18 10:56:29 · 633 阅读 · 0 评论 -
shell和python判断集群文件是否存在
shell判断集群文件是否存在 shell判断Linux系统文件是否存在 # 这里的-f参数判断$file是否存在 在这里插入代码片`if [ ! -f "$file" ]; then echo "文件不存在!" fi hadoop内置提供了判断某个文件是否存在的命令: [iteblog@www.iteblog.com ~]$ hadoop fs -help ...... -test -[defsz] <path>:Answer various questions about &原创 2021-05-14 19:30:56 · 240 阅读 · 0 评论 -
Hadoop浅见
Hadoop是处理大规模数据的软件平台。 Hadoop的体系结构如下图所示: Hadoop框架的两大核心:MapReduce和HDFS (1)MapReduce:任务分解及结果汇总 (2)HDFS:Hadoop分布式文件系统(Hadoop Distributed File System),为分布式计算存储提供底层的支持。 -----------------------原创 2017-07-18 20:47:55 · 244 阅读 · 0 评论