大数据：Hbase的安装与部署

关闭防火墙

登录后复制

systemctl stop firewalld       # 关闭
systemctl disable firewalld    # 取消开机启动

• 1.
• 2.
• 3.
• 4.

安装 hadoop

登录后复制

tar -zxvf hadoop-3.3.1.tar.gz

mv hadoop-3.3.1 hadoop

cd /app/hadoop
mkdir hdfs tmp
cd hdfs
mkdir name data journal

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.

配置

登录后复制

vim  /etc/profile

export HADOOP_HOME=/app/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_COMMON_HOME=/app/hadoop
export HADOOP_HDFS_HOME=/app/hadoop
export HADOOP_MAPRED_HOME=/app/hadoop
export HADOOP_CONF_DIR=/app/hadoop/etc/hadoop

export HDFS_DATANODE_USER=root
export HDFS_NAMENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

export YARN_HOME=/app/hadoop
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
source /etc/profile
cd /app/hadoop/etc/hadoopJAVA_HOME=/app/java/jdk1.8.0_301
export JAVA_HOME=/app/java/jdk1.8.0_301
export HBASE_CLASSPATH=/app/hbase/conf
export HBASE_MANAGES_ZK=false

cd /app/hadoop/etc/hadoop
cp core-site.xml hdfs-site.xml /app/hbase/conf

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.
• 14.
• 15.
• 16.
• 17.
• 18.
• 19.
• 20.
• 21.
• 22.
• 23.
• 24.
• 25.
• 26.

登录后复制

JAVA_HOME=/home/jdk1.8.0_301
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME=/home/jdk1.8.0_301

ps -ef | grep "java" | grep -v grep | awk '{print $2}' | xargs kill -9

http://192.168.53.101:50070/dfshealth.html#tab-overview

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.

---

1、下载 hbase

登录后复制

https://hbase.apache.org/downloads.html

https://www.apache.org/dyn/closer.lua/hbase/1.7.1/hbase-1.7.1-bin.tar.gz

• 1.
• 2.
• 3.
• 4.

2、解压启动 hbase

登录后复制

tar -zxvf hbase-1.7.1-bin.tar.gz

mv hbase-1.7.1 hbase
cd hbase/bin
sh start-hbase.sh 

# 找到 java 进程的端口，尝试一下获得 hbase 后台
netstat -ntlp

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.

3、初始化 hbase-create.hbase

HBASE_HOME 环境变量配置

登录后复制

vim /etc/profile 

export HBASE_HOME=
export PATH=$PATH:$HBASE_HOME/bin  

source /etc/profile

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.

初始化 hbase-create.hbase

登录后复制

# 下载 hbase-create.hbase 初始化脚本
https://github.com/pinpoint-apm/pinpoint/blob/master/hbase/scripts/hbase-create.hbase

$HBASE_HOME/bin/hbase shell hbase-create.hbase

• 1.
• 2.
• 3.
• 4.
• 5.

4、pinpont collector

git clone 源代码仓库
修改对应的 hbase 地址

启动 collector
启动 web

登录后复制

process=`jps -l |grep pinpoint-collector-boot | awk '{print $1}'`
if [ $process ]; then
ps -ef|grep pinpoint-collector-boot | grep -v grep
kill -9 $process
fi

nohup  java -server -Dfile.encoding=UTF-8 -Xms4096m -Xmx4096m -Xmn1024m -jar -Dpinpoint.zookeeper.address=localhost  /data/pinpoint/pinpoint-collector-boot-2.3.3.jar & >/dev/null

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.

pinpont web & 告警

登录后复制

process=`jps -l |grep pinpoint-web-boot | awk '{print $1}'`
if [ $process ]; then
ps -ef|grep pinpoint-web-boot | grep -v grep
kill -9 $process
fi
 
nohup  java -server -Dfile.encoding=UTF-8 -Xms8192m -Xmx8192m -Xmn2048m -jar -Dpinpoint.zookeeper.address=localhost -Dserver.port=8089 -Djdbc.url=jdbc:mysql://10.22.45.217:3306/pinpoint -Djdbc.username=admin -Djdbc.password=admin   /data/pinpoint/pinpoint-web-boot-2.3.3.jar & >/dev/null

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.

登录后复制

meta.jdbc.driverClassName=${jdbc.driverClassName}
meta.jdbc.url=${jdbc.url}
meta.jdbc.username=${jdbc.username}
meta.jdbc.password=${jdbc.password}

jdbc.driverClassName=com.mysql.cj.jdbc.Driver
jdbc.url=jdbc:mysql://10.22.45.217:3306/pinpoint
jdbc.username=admin
jdbc.password=admin

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.

5、pinpoint-batch

登录后复制

process=`jps -l |grep pinpoint-batch| awk '{print $1}'`
if [ $process ]; then
ps -ef|grep pinpoint-batch | grep -v grep
kill -9 $process
fi

nohup  java -server -Dfile.encoding=UTF-8 -Xms2048m -Xmx2048m -Xmn768m -jar -Dpinpoint.zookeeper.address=localhost -Djdbc.url=jdbc:mysql://10.22.45.217:3306/pinpoint -Djdbc.username=db_uuzu -Djdbc.password=Pe79bHiez6MExRsS -Dwebhook.enable=true -Dwebhook.receiver.url=http://192.168.45.167:8085/api/send/slack -Dalarm.mail.server.url=umail.uuzu.com -Dalarm.mail.server.port=25 -Dalarm.mail.server.username=platform_monitor -Dalarm.mail.server.password=nyuQIm1ncukplJ8h9frG -Dalarm.mail.sender.address=platform_monitor@uuzu.com /app/pinpoint/pinpoint-batch-2.3.3.jar & >/dev/null

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.

6、pinpont-agent

应用参数

登录后复制

-javaagent:$AGENT_PATH\pinpoint-agent-2.3.3\pinpoint-bootstrap-2.3.3.jar
-Dpinpoint.agentId=projectUid
-Dpinpoint.applicationName=rcbs

-javaagent:/data/pinpont/pinpoint-agent-2.3.3/pinpoint-bootstrap-2.3.3.jar
-Dpinpoint.agentId=
-Dpinpoint.applicationName=gssf
 

 /data/pinpont/pinpoint-agent-2.3.3

nohup java -server -javaagent:/app/api-gateway/pinpoint/pinpoint-agent-2.3.3/pinpoint-bootstrap-2.3.3.jar -Dpinpoint.agentId=10.18.40.164  -Dpinpoint.applicationName=api-gateway -Dapollo.meta=http://10.18.40.126:18080,http://10.18.40.164:18080,http://10.18.40.161:18080 -jar /app/api-gateway/app/api-gateway-0.3.0.jar --spring.profiles.active=test &

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.
• 14.

agent 配置

配置优先级: 环境配置 > 全局配置

agent配置参数的含义与最佳实践

全局配置

将一下 IP 替换为 pinpont (collector、web) 的地址。

$AGENT_PATH\pinpoint-agent-2.3.3\pinpoint-root.config

登录后复制

# GRPC or THRIFT
profiler.transport.module=GRPC
###########################################################
# gRPC Configuration                                      #
###########################################################
profiler.transport.grpc.collector.ip=127.0.0.1

###########################################################
# Thrift Configuration                                    #
###########################################################
profiler.collector.ip=127.0.0.1

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.

环境配置

$AGENT_PATH\pinpoint-agent-2.3.3\profiles\release\pinpoint.config

登录后复制

# GRPC or THRIFT
profiler.transport.module=GRPC
###########################################################
# gRPC Configuration                                      #
###########################################################
profiler.transport.grpc.collector.ip=127.0.0.1

###########################################################
# Thrift Configuration                                    #
###########################################################
profiler.collector.ip=127.0.0.1

###########################################################
# Profiler Global Configuration                           # 
###########################################################
profiler.enable=true

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.
• 14.
• 15.
• 16.
• 17.
• 18.

---

登录后复制

只要 hbase 挂了，就遵循 1、2、3的顺序进行重新启动。
1、hbase    
2、collector
3、web

• 1.
• 2.
• 3.
• 4.

登录后复制

java -server -Xms10240m -Xmx10240m -Xmn4096m  -javaagent:/data/lib/pinpoint-agent-2.3.3/pinpoint-bootstrap-2.3.3.jar -Dpinpoint.agentId=10.16.72.35 -Dpinpoint.applicationName=gtasdk -XX:MetaspaceSize=256m -XX:MaxMetaspaceSize=512m -XX:MaxDirectMemorySize=128m -XX:ParallelGCThreads=4 -Xloggc:/var/log/app/gtasdk/gc-%t.log -XX:+PrintGCDateStamps -XX:+PrintGCTimeStamps -XX:+PrintGCDetails -XX:+PrintGC -XX:+HeapDumpOnOutOfMemoryError -XX:+HeapDumpAfterFullGC -XX:HeapDumpPath=/var/log/app/gtasdk/heapdump.hprof -Dlog4j2.formatMsgNoLookups=true -Dfile.encoding=UTF-8 -Dapollo.meta=http://10.16.42.22:18080,http://10.16.42.23:18080 -Denv=PRO1 -Dapollo.cluster=yc -jar /data/webapp/gtasdk.jar --eureka.instance.ip-address=10.16.72.35 --spring.profiles.active=yc

• 1.
• 2.
• 3.

登录后复制

ps -ef | grep "java" | grep -v grep | awk '{print $2}' | xargs kill -9

• 1.
• 2.
• 3.