大数据组件Hadoop、spark、flink
关注
分享
扫一扫
文章平均质量分 55
从0学习hadoop
晓码bigdata
从2020年11月12号起正式全身心投入到python和tensorflow深度学习框架的学习中，希望在之后的多半年时间里和大家一起快速进步！
展开
-
Hadoop问题3 Job job_155341793247_0222 failed with state FAILED due to:Applicatio
这是因为当前用户没有权限，需要转换到yarn用户。原创 2022-09-19 12:17:00 · 796 阅读 · 0 评论 -
Hadoop2——Hadoop程序实现
hadoop程序实现原创 2022-09-16 19:27:10 · 1119 阅读 · 0 评论 -
Hadoop问题2——本地运行hadoop出现Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/hadoop/
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps原创 2022-09-16 15:56:02 · 1183 阅读 · 0 评论 -
Hadoop问题1—程序在本地运行出现org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String；)
MapReduce wordcount 输入路径为目录 java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO。本地mapreduce报错org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String；POSIX$Stat;- tele - 博客园。用第一种解决方法怎么都不行，用第二种方法解决了。...原创 2022-08-31 16:38:30 · 925 阅读 · 0 评论 -
Hadoop1_hadoop概览(MapReduce)
一个节点就是1台服务器一个集群就是多台服务器，连成局域网多个服务器组合在一起称为集群，一般指应用服务器；存储型的服务器集群指得是：数据一个服务器放不下，分别放到不同机器中，这些机器称为集群。一个或多个节点集合组成一个集群，集群上的节点可以存储数据，并提供跨节点的索引和搜索功能。一个节点就是一个服务（实例），可以实现存储数据，索引并且搜索的功能。每个节点都有一个唯一的名称作为身份标识；如果没有设置名称，默认使用 UUID 作为名称。推荐定义有意义的名称，便于更好的在集群中区分与管理。原创 2022-09-16 15:50:38 · 1176 阅读 · 0 评论