英雄来自哪里-优快云博客

原创 prometheus(jvm_exporter监控kafka jvm)

下载解压kafka_2.11-0.11.0.2.tgz 1.下载kafka，链接 https://kafka.apache.org/downloads; 2.配置kafka的JMX PORT,修改bin/kafka-server-start.sh 添加一行 export JMX_PORT="9999" # 这里9999为设置的jmx端口 3.下载jmx_exporter,链接 https://github.com/prometheus/jmx_exporter, 将jar包(jmx_pr...

2021-11-09 17:13:04 2044

原创 Hive的安装与配置

本文中hive版本1.2.1，默认环境中jdk已经正常安装，hadoop集群正常启动,Mariadb数据库已经安装解压文件到指定目录 tar -xvzf apache-hive-1.2.1-bin.tar.gz -C /root/software 配置hive环境变量vi /etc/profile 配置完成可输入hive --version 查看版本修改hive配置文件：cd /root/software/hive-1.2.1/conf 初次解压发现hive...

2021-09-27 11:53:14 315

原创 Hive导入数据

hive> create table scores(id int, score int) > row format delimited > fields terminated by ',' > stored as textfile; //指定Hive文件存储格式有两种导入方式，一种从HDFS文件系统中导入 hive> load datainpath '/score.text' overwrite into table scores; ...

2021-09-27 11:19:55 161

原创配置DNS域名正向解析

DNS正向解析 1. DNS服务端：编辑主配置文件vim /etc/named.conf 编辑/var/named/bigdata.cn.zone (这里的文件要先cp -a named.localhost bigdata.cn.zone) 客户端配置文件把网关DNS1配置成服务器的ip 然后配置/etc/resolv.conf ...

2021-09-26 11:53:31 209

原创 Hadoop完全分布式配置文件

在配置前，需要各个虚拟机之间和本机能够ping通，防火墙全部关闭，Java和Hadoop环境准备好需要配置的文件如下： hadoop-env.sh core-site.xml hdfs-site.xml yarn-site.xml slaves mapred-site.xml  <configuration> <property> <name>fs....

2021-09-26 10:07:44 462

原创 DateNode节点启动不成功

logs日志报错信息为 java.net.BindException: Port in use: localhost:0 (端口被占用) Caused by: java.net.BindException: Cannot assign requested address （网络绑定异常，不能分配请求的地址）现象：主节点的namenode、secondarynamenode启动成功，但是slave节点datenode启动不成功。可能的出现的问题 1、多次格式化namenode，导致 ..

2021-09-24 10:30:18 584 1