pf121x的专栏

Flume安装部署Flume安装及配置2.2 Flume 入门案例Flume安装及配置将 apache-flume-1.7.0-bin.tar.gz 上传到 linux 的/opt/software 目录下解压 apache-flume-1.7.0-bin.tar.gz 到/opt/module/目录下tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /opt/module/修改文件名mv apache-flume-1.7.0-bin flume-1.7.

Hive安装部署Hive 安装及配置配置已经完成, 在此处启动hadoop集群Hive 常用命令将本地文件导入 Hive 案例安装MySqlHive 元数据配置到 MySqlHive 安装及配置下载地址:https://pan.baidu.com/s/1_7g8Bw85Nw03t40H67sLfQ提取码: gj4n把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下解压 apache-hive-1.2.1-bin.tar.gz

常用的调优参数资源相关参数mapred-default.xmlyarn-default.xmlmapred-default.xml容错相关参数(MapReduce性能优化)资源相关参数mapred-default.xml以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml）配置参数参数说明mapreduce.map.memory.mb一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，

分布式模式配置准备工作集群配置核心配置在集群上分发配置好的Hadoop配置文件查看文件分发情况SSH无密码登陆配置群起集群准备工作准备3台客户机（关闭防火墙、静态ip、主机名称、hsots）安装JDK配置环境变量安装Hadoop配置环境变量配置集群单点启动配置ssh群起并测试集群CentOS7使用集群同步脚本对配置文件同步分发参考 https://www.cnblogs.com/mwcloud/p/11350617.htmlscp（secure copy）安全拷贝scp

伪分布式模式配置启动HDFS并运行MapReduce程序配置集群启动集群查看集群启动YARN并运行MapReduce程序配置集群启动HDFS并运行MapReduce程序使用的虚拟机系统为CentOS7jdk版本: jdk1.8.0_144hadoop版本: hadoop-2.7.2下载地址关闭防火墙firewall-cmd --statesystemctl stop firewalld.servicesystemctl disable firewalld.service 配置集群（a

安装环境环境版本说明具体步骤环境版本说明使用的虚拟机系统为CentOS7jdk版本: jdk1.8.0_144hadoop版本: hadoop-2.7.2下载地址具体步骤在/opt目录下创建目录 module , softwarecd /opt mkdir software mkdir module 上传安装包到software目录加压软件安装包tar -zxvf jdk-8u144-linux-x64.tar.gz /opt/module/tar -zxvf hadoop-2