大数据集群配置
关注
分享
扫一扫
文章平均质量分 79
数据的星辰大海
简单地做自己,踏实的做事情
展开
-
安装zookeeper（单机，伪集群）
1.登陆zookeeper官网下载 https://zookeeper.apache.org/apache-zookeeper-3.4.8-bin.tar.gz解压：tar -zxvf zookeeper-3.4.8.tar.gz。1.单机进入conf文件夹 创建一个配置文件zoo.cfg。tickTime=2000initLimit=10syncLimit=5dataDir=/usr/local/zookeeper/zk/dataclientPort=2181前提创建了/usr/lo转载 2021-08-23 17:43:40 · 190 阅读 · 0 评论 -
elasticsearch集群安装
3台机器elasticsearch集群所需软件：1.jdk82.elasticsearch6.3.23.elasticsearch-head在安装elasticsearch之前，先安装jdk1.8。集群规划主机名角色备注192.168.68.128主节点node-1192.168.68.128从节点node-2192.168.68.128从节点node-3一、下载解压安装包tar -zxvf elasticsearch-6.3.2.tar.原创 2020-10-28 15:11:29 · 303 阅读 · 0 评论 -
linux安装elasticsearch的中文分词器
一、下载中文分词器elasticsearch-analysis-ikhttps://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v6.3.2二、用解压解压elasticsearch-analysis-ik-6.3.2.zipunzip elasticsearch-analysis-ik-6.3.2.zip三、进入到el...原创 2020-02-07 21:15:45 · 661 阅读 · 0 评论 -
linux安装maven
一、下载maven安装包 wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz二、解压缩安装包三、配置maven环境变量vim /etc/profileexport MAVEN_HOME=/opt/apache-maven-3.5.4export...原创 2020-02-07 20:25:36 · 135 阅读 · 0 评论 -
安装配置kibana
一、下载安装kibanawget https://artifacts.elastic.co/downloads/kibana/kibana-6.3.2-linux-x86_64.tar.gz二、解压缩包tar -zxvf kibana-6.3.2-linux-x86_64.tar.gz 三、修改conf下的vim kibana.ymlserver.host: "192.168.56...原创 2020-02-07 19:23:49 · 163 阅读 · 0 评论 -
Linux下安装node安装及cnpm
1.root 登录linux2.没有目录就自己创建一个cd /usr/local/node/3.下载安装包wget https://npm.taobao.org/mirrors/node/v4.4.7/node-v4.4.7-linux-x64.tar.gz4.解压安装包tar -zxvf node-v4.4.7-linux-x64.tar.gz5.移除安装包rm -rf no...原创 2020-02-06 17:25:44 · 575 阅读 · 0 评论 -
集群搭建--修改克隆后的虚拟机IP地址
一、修改IP地址vi /etc/sysconfig/network-scripts/ifcfg-eth0su root[root@hadoop1 Desktop]# vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE="eth0"BOOTPROTO="static"HWADDR="00:0C:29:E2:4D:44"IPV6INIT=...原创 2020-02-05 17:01:08 · 486 阅读 · 0 评论 -
集群配置--安装netcat
在Linux中有一个级强大的网络工具netcat，在默认情况下面都是没有安装的，现在介绍一下安装过程其实安装很简单一、下载安装切换到root用户：yum install -y nc二、测试使用在一个终端上 输入 nc -lk 9999问题描述三、解决方案# Removes the old packageyum erase nc#Manually downloads th...原创 2019-12-09 14:56:20 · 159 阅读 · 0 评论 -
集群配置--hive配置hiveserver2
1、修改配置文件编辑Hadoop的 core-site.xml文件：在配置文件末尾加上以下内容 <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value> </property> <property>...原创 2019-12-02 15:44:16 · 1006 阅读 · 0 评论 -
azkaban安装
经过自己源码编译失败，版本问题等等， azkaban终于搞好了，最后选了2.5.0版本一、azkaban介绍Azkaban是由Linkedin开源的一个批处理工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。它的功能主要有以下特点：1、web用户界面...原创 2019-11-29 15:58:59 · 330 阅读 · 0 评论 -
集群搭建--linux下安装flink集群
一、解压flink压缩包tar -zxvf hbase-1.4.11-bin.tar.gz -C /usr/local/modules/二、配置conf/flink-conf.yaml文件jobmanager.rpc.address: 192.168.56.128三、配置conf/slavesvim slaveshadoop1hadoop2hadoop3四、拷贝flink到...原创 2019-11-26 11:50:56 · 1089 阅读 · 2 评论 -
集群搭建--hbase集群搭建
linux上安装hbase集群安装hbase集群的步骤还是比较简单的三台机器首先在第一台机器进行安装配置用的是hbase-1.4.11进行安装的1、解压tar -zxvf hbase-1.4.11-bin.tar.gz -C /usr/local/modules/2、修改 hbase-env.sh 文件//Hbase使用的是自己另外搭建的zookeeper集群，没有使用自带的zo...原创 2019-11-26 11:04:28 · 174 阅读 · 0 评论 -
linux下安装mysql-5.7.25详细步骤
第一步：下载进入到mysql官网下载自己对应版本的mysql，下载地址：https://dev.mysql.com/downloads/mysql/5.7.html#downloads我这里下载mysql-5.7.25-linux-glibc2.12-x86_64.tar.gz版本也可以进入linux后用命令下载wget https://cdn.mysql.com//Downloads...原创 2019-11-23 16:18:42 · 584 阅读 · 0 评论 -
三台主机配置无密钥登录
配置无密钥登录规划：blue01、blue02可以无密钥登录三台主机blue01 --> blue01blue02blue03blue02 --> blue01 blue02 blue03 在blue01上：[tom] 1 生成一对公私钥对 $ ssh-keygen -t rsa #一直回车，rsa为指定的加密算法 ** 执行后，在/ho...原创 2019-11-22 14:34:17 · 276 阅读 · 0 评论 -
集群搭建--Linux下配置jdk环境变量
配置环境变量 (root用户)vi /etc/profile在文件最下部分添加JAVA_HOME=/user/local/modeules/jdk1.8.0_201 (jdk所在的路径,可以在所在目录下 pwd查看路径)在PATH后面添加 $JAVA_HOME/bin:执行下面命令生效source /etc/profile查看 jdk版本java -ve...原创 2019-05-21 17:48:41 · 402 阅读 · 0 评论 -
集群搭建--搭建hadoop2.7.7集群(三台)
集群规划下载相应资源包下载hadoop的路径https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz下载zookeeper的路径https://www.apache.org/dist/zookeeper/zookeeper-3.4.14/下载jdk8的路径...原创 2019-05-22 09:55:34 · 2297 阅读 · 2 评论 -
集群搭建--安装apache-hive-2.3.4
本文安装的是apache-hive-2.3.4-bin.tar.gz其下载地址为：路径https://pan.baidu.com/s/1ZPJxbGdpjW0fPpKUa7RX6Q 提取码: i58e解压apache-hive-2.3.4-bin.tar.gz(hadoop用户)tar -zxvf apache-hive-2.3.4-bin.tar.gz -C /us...原创 2019-05-23 15:18:24 · 2628 阅读 · 0 评论 -
集群搭建--搭建spark集群集成hive
下载 spark-2.4.0-bin-hadoop2.7.tgz链接：https://pan.baidu.com/s/1dlZlEcvwPck1JpSdBbXyYw提取码：3y22解压spark-2.4.0-bin-hadoop2.7.tgz[hadoop@spark1 softwares]$ tar spark-2.4.0-bin-hadoop2.7.tgz -C /u...原创 2019-05-23 17:33:47 · 565 阅读 · 0 评论 -
集群配置--hadoop配置日志聚合功能和jobhistoryserver配置
1、在yarn-site.xml文件中添加如下修改 <!-- 开启日志聚合 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> &...原创 2019-06-04 16:03:45 · 655 阅读 · 0 评论 -
集群搭建--kafka集群搭建
搭建kafka集群 三台服务器1、下载kafka下载路径:http://kafka.apache.org/downloads2、上传tar包 ,解压 kafka_2.10-0.10.2.1.tgztar -zxvf kafka_2.10-0.10.2.1.tgz -C /usr/local/modules/3、修改配置文件 conf/server.propertiesvim serv...原创 2019-06-04 17:50:35 · 187 阅读 · 0 评论 -
集群搭建--yarn的资源队列的配置
yarn的资源队列配置目标配置root------liu_default[20%]------liu_1[80%] |---liu_1.a01[50%] |---liu_1.a02[50%]配置两个文件yarn-site.xml 和 capacity-scheduler.xmlyarn-site.xml<property> ...原创 2019-06-11 17:43:45 · 2234 阅读 · 0 评论 -
集群搭建--修改主机名和主机映射
主机映射vim /etc/hosts192.168.32.130 spark1192.168.32.131 spark2192.168.32.132 spark3修改主机名vi /etc/sysconfig/network修改HOSTNAME重启完成后用hostname命令查询系统主机名...原创 2019-05-21 17:38:38 · 1254 阅读 · 0 评论