ELK软件安装与搭建集群

最新推荐文章于 2024-03-09 15:29:52 发布

原创最新推荐文章于 2024-03-09 15:29:52 发布 · 234 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #elasticsearch

ELK软件安装与搭建集群

1. 软件准备

在这里插入图片描述

2. elasticsearch安装

pre:先安装Hadoop-native tar -zxvf hadoop-native-64-2.6.0.tar -C hadoop/lib

→ 解压安装 elasticsearch

tar -zxf elasticsearch-6.2.2.tar.gz 	//解压安装
mv elasticsearch-6.2.2 es				//改名

→ 修改 es/config/elasticsearch.yml

#action.destructive_requires_name: true
http.cors.enabled: true
http.cors.allow-origin: "*"
cluster.name: elk									//自己设置
node.name: boss										//自己设置
node.master: true				
network.host: 192.168.112.100						//本机的IP地址
discovery.zen.ping.unicast.hosts: ["hadoop100"]		//本机名

→ 修改 /etc/sysctl.conf

#For more information, see sysctl.conf(5) and sysctl.d(5).
vm.max_map_count=655360

→ 生效/etc/sysctl.conf的修改

sysctl -p

→ 修改 /etc/security/limits.conf

#End of file
	* soft nofile 65536
	* hard nofile 65536
	* soft nproc 4096
	* hard noroc 4096

→ 创建es用户，新增密码
elk启动时不能使用root用户，故需要重新新建用户，创建用户为

useradd esUser

7.→ 把es目录及其内容修改为esUser用户和数组

chown -R esUser:esUser  es		//用户名：组名 目录

→ 切换到es用户

su esUser

→ 启动es

bin/elasticsearch			//直接启动
bin/elasticsearch -d		//后台启动

→ 浏览器输入：192.168.112.100:9200 如果出现大括号包裹的内容，则表示启动成功

3. head-master安装

→ 解压head-master 和 node

unzip elasticsearch-head-master.zip 
mv elasticsearch-head-master head

tar -zxvf node-v8.9.1-linux-x64.tar.gz
mv node-v8.9.1-linux-x64 node8

→ 配置node环境变量
vi /etc/profile，末尾加入以下内容

export NODE_HOME=/opt/bigdata/node8
export PATH=$PATH:$NODE_HOME/bin

vi Gruntfile.js

在94行添加：`hostname: '*',`

93					port: 9100,
94                  hostname: '*',
95                  base: '.',

vi _site/app.js

在4360行把localhost修改为本机IP地址

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.112.100:9200";

→ 安装grunt：在head_master安装目录下执行命令：

npm install -g grunt-cli

→ 初始化配置项：在head_master安装目录下执行

npm install

若是失败，执行命令：

npm install phantomjs-prebuilt@2.1.14 --ignore-scripts

→ npm run start 启动head-master
→ 浏览器输入：192.168.112.100:9100 验证是否启动成功

4.搭建集群节点

将已经安装好的es传给其他的机器：

scp -r /opt/software/es root@hadoop101:/opt/software

新建用户esUser:

useradd esUser

修改传过来的es的属组

chown -R esUser:esUser es

将修改过的配置文件传给其他的机器（也可以手动配置）

scp /etc/security/limits.conf root@hadoop101:/etc/security/
scp /etc/sysctl.conf root@hadoop101:/etc/

进入es/config修改elasticsearch，几个机器都需要修改
主节点：
node.name：boss
node.master:true
ip地址
子节点：
node.name：node-01
node.master:false ip地址
每个机器名都写入：hosts：[“hadoop100”,“hadoop101”,“hadoop102”]
切换用户：su esUser
删除子节点es下面的logs和data
启动：es/bin/eslasticsearch
登录浏览器验证是否成功
启动主节点的head