Alan3344的博客

一、安装包下载链接：https://pan.baidu.com/s/1G6V9u5PDyxlixZ2PwGWdJA 提取码：q8mb注：以上安装包是一个zip包，内包含安装CDH6.1所有的包，下载后解压即可二、上传安装包到master节点#个人习惯在opt目录下创建一个package目录用于存放安装包三、解压安装zip包指令如下：unzip cloudera.zip如图：四、前期服务器环境准备1、...

一、配置虚拟机网络二、新建虚拟机三、挂载镜像四、启动虚拟机并配置...

一、此篇博客主要记录在此次从hive表中查询数据导入到csv文件中，因为某个字符串字段中含有大量的换行符导致存入在csv文件中的数据出现了换行、错位的情况，以此记录二、最终实现sql如下：hive -e "set hive.cli.print.header=true; SELECT id,msg_id,regexp_replace(msg_title,'\\\\n|\\n|\\r|\\\...

一、maven依赖<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> &lt...

一、问题出现场景1、在Ambari+HDP中，yarn 的RegistryDNS启动不起来二、问题截图三、造成原因在yarn的配置中可以看到DNS这块的配置默认是53端口，因为53端口被占用了，所以启动不起来四、处理办法修改DNS端口即可如下截图所示：注：端口修改成未被使用的就行，本处修改成了52....

一、环境准备1、centos7以上系统2、mysql版本：mysql-5.7.213、jdk版本：java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_644、Ambari版本：Ambari-2.7.1.05、HDP版本：HDP-3.1.06、保证所有节点时间同步二、关闭服务器防火墙并设置开机不启动（所有服务器）指令： ...

一、此文档安装spark在以下节点上：zgl-1：192.168.127.121zgl-2：192.168.127.122zgl-3：192.168.127.123二、安装部署1、上传安装包（apache-storm-1.1.1.tar.gz）到/usr/local目录下如图：2、解压安装包指令：tar -zxvf apache-storm-1.1.1.ta...

一、此文档安装spark在以下节点上：zgl-1：192.168.127.121zgl-2：192.168.127.122zgl-3：192.168.127.123二、安装部署1、上传安装包（ spark-2.0.2-bin-hadoop2.7.tgz）到/usr/local目录下如图：2、解压安装包指令：tar -zxvf spark-2.0.2-bin-...

一、此文档安装zookeeper在以下节点上：zgl-1：192.168.127.121zgl-2：192.168.127.122zgl-3：192.168.127.123二、安装部署：1、在三个节点上分别新建zookeeper 数据目录指令：（注：三个节点均需执行以下指令！！！） mkdir -p /data/zookeeper-data如图zgl-1节点上：...

前提：本配置文档，是将元数据存储在mysql中！！！ 一、在节点一（zgl-1）上传安装包（apache-hive-1.2.1-bin.tar.gz）到/usr/local 目录下如图所示：二、安装mysql指令：#  yum install mysql mysql-server mysql-devel如图：执行指令结果如图：# /etc/ini...

一、此文档安装kafka在以下节点上：zgl-1：192.168.127.121zgl-2：192.168.127.122zgl-3：192.168.127.123二、安装部署1、上传安装包（kafka_2.11-1.0.0.tgz）到zgl-1节点上的（/usr/local）目录如图：2、解压安装包指令：tar -zxvf kafka_2.11-1.0.0...

一、此文档安装Apache Hadoop-2.7.4二、上传安装包：将hadoop-2.7.4-with-centos-6.7.tar.gz 上传到/usr/local 目录下如图：三、为了便于文件管理，分别在三台主机上创建文件夹，如下指令：（注：每个节点均需操作一下指令）# mkdir -p /data/hdfs/name#  mkdir -p /data/hdf...

#主要以图文讲解，可以按图进行操作即可！！！#出现如下界面：#出现如下界面：#如下：#如下：#如下：#如下：#如下：#如下：#如下，启动虚拟机：#vim /etc/sysconfig/network-scripts/ifcfg-eth0如下图：按照图片操作#修改主机名：vim /etc/sysconfig/...

num-executors     调整合适的executor进程数量参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作...

一、此处以三台节点为例zgl-1:192.168.127.121zgl-2:192.168.127.122zgl-3:192.168.127.123二、操作步骤如下1、设置zgl-1免密远程登录其他节点，以root用户为例#在zgl-1节点输入如下指令（生成密钥）：ssh-keygen -t rsa如下图：#如下操作，将公钥发送给每个节点： ssh-co...

#启动虚拟机出现如下图所示问题： #解决办法：1、右键单击此电脑，点击管理，出现如下图所示，并按图操作：2、按如下图所示操作3、按照如下图所示操作4、问题已经解决，启动虚拟机即可！！！ ...

一、查看虚拟机中现存在的jdk版本：输入指令：rpm -qa|grep jdk显示如下图：以上红线框内表示现在虚拟机中现存在jdk版本。注：在安装jdk1.8之前我们需要先卸载虚拟机现有在jdk版本二、卸载虚拟机现有在jdk输入指令：rpm -e --nodeps 后接现有在jdk版本信息，例如： rpm -e --nodeps java-1.7.0-openjdk...

注：本文主要以图片形式展示，步骤详尽！第一步，点击创建新的虚拟机。第二步，点击自定义高级。第三步，选择硬件兼容性，选择按照图片所示选择。第四步，选择稍后安装操作系统。第五步，选择客户机操作系统和版本，按照图片指示选择。第六步，拟定本创建虚拟机的名称和选择存储路径，此处示例名称（node-1），选择默认存储路径。第七步，配置本创建虚拟机的处理器，本...