qq_34577182的博客

服务器重启后，datanode起不来报错如下：java.net.BindException: bind(2) error: Permission denied when trying to bind to '/var/run/hdfs-sockets/dn'原因：服务器重启后，/var/run/hdfs-scokets文件夹没了，然后我重新mkdir了一个，我是用hadoop用户登陆创建的，此时文件拥有者是hadoop用户，启动时权限被拒绝。解决方案：<-使用chow

文章目录前言1. 安装大数据集群前的环境准备3. hadoop集群的安装2. hadoop集群的安装第一步：上传压缩包并解压第二步：查看hadoop支持的压缩方式以及本地库第三步：修改配置文件修改hadoop-env.sh修改core-site.xml修改hdfs-site.xml修改mapred-site.xml修改yarn-site.xml修改slaves文件第四步：创建文件存放目录第五步：安装包的分发scp第六步：配置hadoop的环境变量第七步：集群启动1. 格式化集群2. 脚本一键启动第八步：浏.

最近在将hive中的临时表数据insert overwrite到ods表中去的时候，设置为lzo的压缩格式，报错如下：Caused by: java.lang.RuntimeException: native-lzo library not available针对"native-lzo library not available" 异常即lzo安装的异常。查了很多帖子，最终整合了解决方法。1.将 HADOOP-LZO-0.4.20放到 每个机器的 /HADOOP-2.7.2/SHARE/HADO

系列文章目录第一章 HDFS分布式文件系统(一)大数据框架Hadoop：第一章 HDFS分布式文件系统(二)大数据框架Hadoop：第二章 计算框架MapReduce（一）大数据框架Hadoop：第二章 计算框架MapReduce（二）大数据框架Hadoop：第三章 资源调度系统YARN（一）文章目录系列文章目录前言一、YARN是什么？二、YARN架构1.ResourceManager2.NodeManager3.Container4.ApplicationMaster三、YARN应

系列文章目录大数据框架Hadoop：第一章 HDFS分布式文件系统(一)大数据框架Hadoop：第一章 HDFS分布式文件系统(二)大数据框架Hadoop：第二章 计算框架MapReduce（一）大数据框架Hadoop：第二章 计算框架MapReduce（二）文章目录系列文章目录前言一、Map Task数量及切片机制1.MapTask个数2. 如何控制mapTask的个数二、分区、排序、归并、分组1.mapreduce的partitioner详解默认分区器HashPartitioner自