javaChengXuY的博客

spark整合Kafka报错：Marking the coordinator hadoop-01:9092 (id: 2147483647 rack: null) dead for group recommender在网上查询是因为调用的时候没有在windows的host中设置kafka所在机器的映射。我kafka所在机器名称是hadoop-01，后在host中将机器名称和ip映射保存后解决！特此记录！...

集群: nn Master(Alive)dn1 Master(Standby)dn2 Workerdn3 Worker1 tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz2 vi spark-env.sh 配置standalone模式下 nn下：export JAVA_HOME=/home/hadoop/opt/jdk8export S...

vi zk.sh#!/bin/bash#1 获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0)); thenecho no args;exit;fifor((i=2;i<5;i++));doecho ---------hadoop-0$i-----------echo ---------zookeeper-$1---------s...

#!/bin/bash#1 获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1fname='basename $p1'echo fname=$fname#3 获取上级目录到绝对路径pdir='d -P $(dirname $p1); pwd'echo ...

#! /bin/bashcase $1 in"start"){ for i in dn1 dn2 dn3 do echo " --------启动 $i Kafka-------" # 用于KafkaManager监控 ssh $i "export JMX_PORT...

1 节点简介主机名ip地址hdp-nn192.168.64.10hdp-nn-standy192.168.64.7hdp-01192.168.64.11hdp-02192.168.64.12hdp-03192.168.64.132 集群规划主机名安装软件节点分配hdp-nnhadoopnamenode,ZKF...

vi /bigdata/elasticsearch-5.4.3/config/elasticsearch.yml1 #集群名称，通过组播的方式通信，通过名称判断属于哪个集群cluster.name: bigdata2 #节点名称，要唯一，要注意的是: es-1 之间有空格，否则会报错，根据原有格式进行修改node.name: es-13 #数据存放位置path.data: /data/...

本集群搭建是基于之前的hadoop集群，有不明白之处可查看之前的hadoop集群搭建1 在hadoop中的nn中： tar -zxvf zookeeper-3.4.12.tar.gz 解压zookeeper2 进入解压后文件夹的conf目录3 cp zoo_sample.cfg zoo.cfg 复制文件，并命名为zoo.cfg4 vi zoo.cfg1）dataDir=...

1 在mysql官网下载mysql安装连接2 命令： wget https://dev.mysql.com/get/mysql80-community-release-el7-2.noarch.rpm3 报 -bash: wget: 未找到命令4 安装wget yum install wget5 报：“Could not resolve host: mirrorlist.centos...

本文以一主三从部署hadoop为介绍1 首先克隆原有centos系统2 nn_y 为主，dn1,dn2,dn3为从，都是通过克隆快速完成的. 右键管理有克隆，选择完全克隆。3 配置网络集群：设置静态ip192.168.64.132192.168.64.133192.168.64.134192.168.64.135根据自己ip网络设置静态ip地址，最后三位不同。4 通过x’...

1 命令 tar -zxvf elasticsearch-6.1.1.tar.gz 解压ES2 root用户无法启动ES，需要从新创建新用户3 adduser centos 添加用户，centos为我的用户名4 passwd centos 为centos用户设置密码，输入两次密码5 chown -R centos:centos elasticsearch-6.3.0 为用...