First_____的博客

转载请注明出处： http://blog.fens.me/hadoop-mapreduce-recommend/

1.hostnamectl set-hostname 主机名 bash生效 2.systemctl stop firewalld 3. vim /etc/hosts 4-7 时区: tzselect 4.1将得到的东西写入TZ配置环境变量 4.2 写入: server 127.127.1.0 fudge 127.127.1.0 stratum 10 4.3 再修改网段限制 4.4 重启 ntpd 服务 : systemctl restart ntpd // 同步时间 ntpd

1.解压安装 2. 配置hadoop环境变量 HADOOP_HOME 3. 配置Hadoop运行环境JAVA_HOME hadoop-env.sh yarn-env.sh hdfs-env.sh 将这3个文件中的JAVA_HOME都进行修改,并且直接使用绝对路径不容易出错 4.设置全局参数 core-site.xml <!--指定NN的IP为master ,端口号为 9000--> <property> <name>fs.default.name</name&g

说明: 这个参数调优借鉴之尚硅谷课程 1. 配置hdfs存储多目录 生产环境的磁盘情况 问题: 需要增加的磁盘? 如何进行存储 说明: HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定，其默认值为file://${hadoop.tmp.dir}/dfs/data，若服务器有多个磁盘，必须对该参数进行修改。如服务器磁盘如上图所示，则该参数应修改为如下的值。 hdfs-site.xml <property> <name>dfs

1. yarn和hdfs启动停止问题 dfs: HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root yarn: RN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root YARN_RESOURCEMANAGER_USER=root 2.

介绍: sqoop是一种hadoop和 rdbms之间的数据传输的工具 , 其实就是关系形数据库和hdfs的传输转换. 工作机制: Sqoop 工作机制是将导入或导出命令翻译成 mapreduce 程序来实现。在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制。 sqoop安装与部署 下载安装包: 目前最稳定版 1.4.6版本 进行解压之后,为了容易记录名称,可以更改一下名称 mv sqoop-1.4.6.bin__hadoop-2.0.4-a

介绍 Oozie 是一个用来管理 Hadoop 生态圈 job 的工作流调度系统。(一种xml定制的流程控制语言);。 Oozie 的目的是按照 DAG（有向无环图）调度一系列的 Map/Reduce 或者 Hive等任务。 适用场景: 需要按顺序进行一系列任务； 需要并行处理的任务； 需要定时、周期触发的任务； 可视化作业流运行过程； 运行结果或异常的通报 架构: Oozie Client：提供命令行、java api、rest 等方式，对 Oozie 的工作流 流程的提交、启动、运行等

hadoop3.x集群配置 vim /opt/module/hadoop-3.1.3/etc/hadoop/workers //配置集群相关内容 例: hadoop202 hadoop203 hadoop204 配置文件 配置core.xml <configuration> <!-- 指定 NameNode 的地址 --> <property> <name>fs.defaultFS</name> <value&

配置之前,我们先来思考一下我们为什么要配置高可用呢? 原因: 当namenode节点挂掉之后,集群就无法工作了,secondarynode 节点也只是能复制namenode的工作,而不能产生替代作用, 我们需要一个当namenode节点挂掉之后,能代替他的节点,这时候就需要来配置高可用了 官方文档:点击这里去配置 前提条件: 你的Hadoop已经能启动成功. 我们在其基础上进行修改. hdfs-site.xml <configuration> <!-- 配置nameservice的I