L_Mr_ll的博客

将文件写到hdfs的zip中

hdfs的文件(夹) 封装为输出流返回遇到的问题

hadoop启动报错failed to stat a path component: '/var/run/hadoop-hdfs'

通过代码获取yarn日志

val conf = new Configuration();conf.set("fs.defaultFS", "hdfs://ip:9000")val fs: FileSystem = FileSystem.get(conf);//读取dataCenter文件夹下的文件var inputPath = new Path("/user/dataCenter/")//获取到dataCenter下所有文件的状态//这里不能直接用open(path),会报错：大概意思就是dataCenter是个文件夹,

文章目录MapRedecu代码MapReduce作业中Map,Reduce的一些细节问题Job作业的原理分析MapRedecu代码pom<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <!--版本号根据自己使用的hadoop自己去maven仓库找对应的坐标，下面一样--> &

文章目录Hadoop诞生前景大数据(Big Data)面临问题Hadoop诞生Hadoop诞生前景大数据(Big Data)随着信息化互联网|物联网发展要求，万物互联趋势势在必行。随之引发架构的演变由单一架构向高并发分布式架构演变。数据的存储也开始由原始的单机存储演变为分布式存储。高并发互联网设计 LNMP、数据库主从RDBMS|NoSQL、Spring Cloud、Dubbo – 应用架构海量数据存储|数据分析 ：存储方案（HDFS）、计算方案（Map Reduce、Storm、Spark、