hadoop
关注
分享
扫一扫
cdh -hadoop
红尘丶世界
从来如此，便是对么？
展开
-
CentOS 7.x 环境下, 最详细的 apache hadoop3.2.1 集群的安装 和配置 jobhistory
文章目录1.准备2. 下载hadoop 包,并上传到linux (上传到第一个节点)3. 进入上传目录并解压(在第一个节点上执行)4.配置环境变量 (在第一个节点上执行)5. 修改core-site.xml 文件()6. 修改hdfs-site.xml 文件添加如下内容7. 修改hadoop-env.sh 文件8. 修改mapred-site.xml 文件9. 修改yarn-site.xml文件10. 添加工作节点修改 workers文件11. 创建文件目录12. 分发hadoop到其它节点13. 初始化h原创 2020-09-13 01:57:06 · 521 阅读 · 0 评论 -
大数据面试简答题(二) - MapReduce2.0
文章目录1.MapReduce 的核心思想是什么?2.什么是偏移量?3.shuffle 包含哪些步骤?1.partition 分区2.Sort 排序 默认(字典序)3.combiner (可选,局部聚合)4.Group (合并)4.MR从读取数据开始到将最终结果写入HDFS经过了哪些步骤?5.如何设置ReduceTask 的 数量6.combiner的作用7.combiner运行在MapRed...原创 2019-11-15 15:49:45 · 950 阅读 · 0 评论 -
大数据面试简答题(五) -yarn
文章目录1、什么是Yarn2、Yarn特点：3、Yarn的意义：4、Yarn基本组成5、Yarn提交任务的流程6、Yarn的调度方式7、参数yarn.scheduler.fair.allow-undeclared-pools的作用是？（true/false）8、参数yarn.scheduler.fair.user-as-default-queue的作用是？（true/false）9、介绍一下had...原创 2020-04-01 22:39:54 · 347 阅读 · 0 评论 -
hadoop HA配置
文章目录准备工作1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 /etc/hostshttps://blog.youkuaiyun.com/hongchenshijie/article/details/1026693314.关闭防火墙并设置为开机不自启service iptables stop5.ssh免登陆https://blog.youkuaiyun.com/hongchensh...原创 2020-03-11 15:11:58 · 485 阅读 · 0 评论 -
配置hadoop HA 初始化时报错 Configuration has multiple addresses that match local node's address.
出错详情************************************************************/20/03/11 10:49:09 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]20/03/11 10:49:09 INFO namenode.NameNo...原创 2020-03-11 12:03:20 · 2112 阅读 · 0 评论 -
hue you are a Hue admin but not a HDFS superuser, "root" or part of HDFS supergroup, "supergroup".
修改配置文件cd $HADOOP_HOME/etc/conf修改如下配置文件（1）vim hdfs-site.xml修改或添加如下内容 <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </pr...原创 2019-12-09 09:33:32 · 1181 阅读 · 1 评论 -
hadoop Note: System times on machines may be out of sync. Check system time and time zones.
错误详情:错误发生的原因集群时间不同步解决办法可以查看我的另一篇博客linux 集群时间同步(不联网)原创 2019-12-05 19:57:57 · 643 阅读 · 0 评论 -
The number of live datanodes 0 has reached the minimum number 0.
错误详情如下:The number of live datanodes 0 has reached the minimum number 0. Safe mode will be turned off automatically once the thresholds have been reached.出现原因集群正处于安全模式解决办法:等待或者强制退出安全模式 (建议等待如果两分钟后...原创 2019-12-05 15:05:11 · 3351 阅读 · 0 评论 -
MapReduce 一直报自定义对象类型转换异常 Caused by: java.lang.ClassCastException: class com.xxx.BrowserBean
错误:原题数据文件和题目要求链接：https://pan.baidu.com/s/1FKcCVbwv30Q7roxZCJX8dw 提取码：6zja 题目要求:使用MR求每个浏览器的数量,过滤掉状态码大于400的数据,或者状态码为空的数据,要求用对象封装数据,输出浏览器和数量数据说明:data[0] 用户ip,0data[1] 客户端用户名data[3]请求时间data[5] ...原创 2019-11-16 09:56:44 · 776 阅读 · 2 评论 -
mapreduce 从map端输出数据到reduce端后乱码
错误:从map端输出数据到reduce端,reduce端接收后乱码发生的原因:自定义bean对象的readFields或write方法写错了package com.czxy.mapjoin;import org.apache.hadoop.io.Writable;import java.io.DataInput;import java.io.DataOutput;import j...原创 2019-11-26 18:07:34 · 339 阅读 · 0 评论 -
Caused by: java.io.IOException: Filesystem closed 操作文件系统时习惯性的关流
错误:发生原因:filesystem被关闭了解决办法原创 2019-11-26 14:36:03 · 1634 阅读 · 0 评论 -
MapReduce 加载文件到缓存中报错空指针异常 Caused by: java.lang.NullPointerException
错误:发生原因:没有把文件加载到缓存就实例了job对象解决办法:先加载文件到缓存然后再实例job对象原创 2019-11-26 14:30:19 · 560 阅读 · 0 评论 -
java.lang.Exception: java.io.IOException: Illegal partition for 1002 (1) mapreduce自定义partition分区报错
出现的错误:出错的pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLoca...原创 2019-11-26 11:19:09 · 436 阅读 · 0 评论 -
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException) hadoop读写文件
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=dell, access=WRITE, inode="/aaa":root:supergroup:drwxr-xr-x错误如下:发生的原因:读...原创 2019-11-12 11:25:26 · 3656 阅读 · 1 评论 -
hadoop在分配任务时报错:java.io.IOException: Bad connect ack with firstBadLink as 192.168.100.111:50010
错误:出错原因: 192.168.100.111 从节点的防火墙未关闭,连接失败解决方式关闭从节点的防火墙:关闭方式 :CentOS 6 :service iptables stopchkconfig iptables offCentOS 7 :systemctl stop firewalld.servicesystemctl disable firewalld....原创 2019-11-08 20:45:47 · 559 阅读 · 0 评论 -
java.io.IOException: NameNode is not formatted. 新创建的hadoop集群启动时报错namenode没有启动成功
出现的错误:出错的原因:hadoop集群创建完成之后 namenode没有进行初始化解决方法以下均是在主节点操作我的hadoop安装目录是 : /export/install/hadoop-2.6.0-cdh5.14.0/1.先关闭hadoop集群/hadoop的安装目录/sbin/stop-all.sh示例: /export/install/hadoop-2.6.0-cdh5...原创 2019-11-08 20:20:19 · 2702 阅读 · 1 评论 -
namenode address dfs.namenode.servicerpc-address or dfs.namenode. hadoop启动时新节报错
报错内容:发生的原因:添加一个新节点时,发现启动是正常的去新添加的节点 hadoop04 使用jps查看时发现 hadoop04的datenode没有启动分析:去 hadoop04 打开日志文件 发现出现如上图的错误,想到可能是配置文件的问题解决方法:在hadoop04节点 hadoop的根目录下(cd /hadoop的安装目录/etc/hadoop/)的 core-site....原创 2019-11-06 15:50:42 · 961 阅读 · 0 评论 -
java.io.IOException: Connection reset by peer;关闭hadoop集群时发现 dataNode 和 NodeManager 没关掉
关闭hadoop集群时无意中使用 jps 发现dataNode 和 NodeManager 没关掉1.检查日志发现报错仔细看了一下关闭情况发现 多了个localhost于是打开/etc/hadoop/slaves 这个配置文件 vi ../etc/hadoop/slaves 发现果然多了一个localhost 才想起以前配置的时候没有删除把localhost删除后保存退出jp...原创 2019-11-06 10:23:34 · 2052 阅读 · 0 评论 -
hadoop分配任务时任务跑到一半报错: 没有找到主机路由
hadoop 分配任务时任务跑到一半时报错:java.net.NoRouteToHostException: No Route to Host from hadoop02/192.168.100.101 to hadoop03:39646 failed on socket timeout exception: java.net.NoRouteToHostException: 没有到主机的路由;...原创 2019-11-01 09:15:44 · 1062 阅读 · 0 评论 -
大数据面试简答题 (一) - hadoop
1.怎么理解分布式？不同的业务模块部署在不同的服务器上,或者同一个业务模块分拆多个子业务，部署在不同的服务器上，解决高并发的问题。2.hadoop 的组成部分HDFS 分布式文件存储系统 管理者：NameNode 工作者：DataNode 辅助者：SecondayNameNode MapReduce 分布式离线计算框架Yarn Hadoop资源调度器 管理者：R...原创 2019-11-08 11:39:13 · 2008 阅读 · 3 评论 -
HDFS 优缺点介绍和安全模式介绍
HDFS 优点(特性)1.海量数据的存储(1)数据 : HDFS可横向扩展,其存储的文件可以支持到PB级别(2)文件: 处理的文件规模至百万以上.2.高容错性节点丢失，系统依然可用，数据保存多个副本，副本丢失后自动恢复,通过增加副本数量来增加容错性默认为3个.3.大文件存储DFS采用数据块的方式存储数据，将一个大文件切分成多个小文件，分布式进行存储.4.可构建在廉价（与小型机大型机...原创 2019-11-05 15:31:10 · 622 阅读 · 0 评论