centos7安装单机版elasticsearch+es-head+kibana+filebeat

最新推荐文章于 2024-09-12 20:00:17 发布
最新推荐文章于 2024-09-12 20:00:17 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： elasticsearch+elk 文章标签： java 数据库 mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ncnhhm/article/details/121404294
版权

单机版的elk安装及使用

注意自己使用不同软件的版本最好是匹配的，不匹配我也没有试过，可能会出错误

单机的内存最好2G以上，3G最好，应为所有的都在一台机器上比较的吃内存消耗，太低的内存服务启动不起来

1. elasticsearch的安装

下载地址
https://www.elastic.co/cn/downloads/elasticsearch
安装步骤

1.安装软件
yum install -y java-1.8.0-openjdk.x86_64 
rpm -ivh elasticsearch-6.6.0.rpm

2.修改配置文件

cat /etc/elasticsearch/elasticsearch.yml 
node.name: node-1
path.data: /data/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 192.168.80.40,127.0.0.1
http.port: 9200



锁定内存的更改
vim jvm.options
-Xms512m
-Xmx512m
默认是1g根据自己的内存大小进行更改

3.修改内存锁定
systemctl edit elasticsearch
添加
[Service]
LimitMEMLOCK=infinity

4.创建数据目录并授权
mkdir /data/elasticsearch
chown -R elasticsearch:elasticsearch /data/elasticsearch/

5.重启服务
systemctl daemon-reload
systemctl start elasticsearch

6.查看日志和端口
tail -f /var/log/elasticsearch/Linux.log
netstat -lntup:grep 9200

2. es-head的安装

网址：
https://github.com/mobz/elasticsearch-head

解压文件，添加谷歌的扩展程序，添加掉解压的文件夹就行了
在这里插入图片描述

3. kibana的安装

下载地址：
https://www.elastic.co/cn/downloads/kibana

3.1 安装

我们下载rpm包的方式进行安装
上传到虚拟机
也可使用wget
在这里插入图片描述

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.15.2-x86_64.rpm

rpm -ivh kibana-6.6.0-x86_64.rpm

配置文件

vim /etc/kibana/kibana.yml
server.port: 5601
server.host: "192.168.80.40"
elasticsearch.hosts: ["http://localhost:9200"]
kibana.index: ".kibana

grep '^[a-z]' /etc/kibana/kibana.yml
server.port: 5601
server.host: "192.168.80.40"
elasticsearch.hosts: ["http://localhost:9200"]
kibana.index: ".kibana"

启动：

systemctl start kibana

在这里插入图片描述
这个只是还没有起来
启动成功

在这里插入图片描述

在这里插入图片描述

3.2 假如我们删除了es-head的.kibana_1

在这里插入图片描述

访问就会出错

192.168.80.40:5601

在这里插入图片描述
重启一下试一试

systemctl restart kibana

在这里插入图片描述
访问成功

在这里插入图片描述

4. filebeat的安装

下载地址
https://www.elastic.co/cn/downloads/beats/filebeat

4.1 安装：

rpm -ivh filebeat-6.6.0-x86_64.rpm

4.2 使用filebeat进行nginx的日志收集

nginx的安装

添加yum源
vim /etc/yum.repos.d/nginx.repo
[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true

[nginx-mainline]
name=nginx mainline repo
baseurl=http://nginx.org/packages/mainline/centos/$releasever/$basearch/
gpgcheck=1
enabled=0
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true

yum -y install nginx

启动
systemctl start nginx 
访问
192.168.80.40

在这里插入图片描述

yum -y install  httpd-tools

访问次数测试

ab -c 10 -n 100 192.168.80.40/
ab -c 10 -n 100 192.168.80.40/test.html

查看日志
tail -f /var/log/nginx/access.log

4.3 filebeat的配置文件的配置

简单的基础配置

vim /etc/filebeat/filebeat.yml

filebeat.inputs:
- type: log
  enabled: true 
  paths:
    - /var/log/nginx/access.log
output.elasticsearch:
  hosts: ["localhost:9200"]

这里配置文件和ansible的剧本的书有这严格的要求
input进来的日志
output类似于输出的

我们启动一下看一下

systemctl start filebeat

在这里插入图片描述
在这里插入图片描述

4.4 这个时候我们在kibana里边就可以添加filebeat获取到的数据

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
就能看到我们的日志信息了
在这里插入图片描述

4.5 filebeat的加载数据的原理

在/var/lib/filebeat/*
下边记录了上一次日志收集的位置
假若停止了，有新的数据产生，再次开启，就会从上一次记录的
最后的位置进行

所以删除了es上的数据之后有两种办法
1.删了es数据并且删除了记录的位置，就会重新全部加载
2.删了es的数据，重新生成，只加载新加入的

5. kibana对日志信息进行过滤

5.1 方式一

在这里插入图片描述

5.2 方式二

在这里插入图片描述
在这里插入图片描述
好处：方便查看前边的
在这里插入图片描述

6. 搭建好以后的优化

6.1 问题1：传过来的是日志数据，是一个完整的message

"message": "192.168.80.40 - - [18/Nov/2021:04:05:56 -0500]
 "GET / HTTP/1.0" 200 6 "-" "ApacheBench/2.3" "-"",

不利于查看，也不利于kibana上边的查看
首先我们更改nginx的日志格式，因为es的数据格式是json的格式，所以我们先配置nginx的日志格式
http://nginx.org/en/docs/http/ngx_http_log_module.html#access_log

vim /etc/nginx/nginx.conf

 log_format json  '{ "time_local": "$time_local", '
                           '"remote_addr": "$remote_addr", '
                           '"referer": "$http_referer", '
                           '"request": "$request", '
                           '"status": $status, '
                           '"bytes": $body_bytes_sent, '
                           '"agent": "$http_user_agent", '
                           '"x_forwarded": "$http_x_forwarded_for", '
                           '"up_addr": "$upstream_addr",'
                           '"up_host": "$upstream_http_host",'
                           '"upstream_time": "$upstream_response_time",'
                           '"request_time": "$request_time"'
    ' }';

    access_log  /var/log/nginx/access.log  json;

清空日志

> /var/log/nginx/access.log
systemctl  restart nginx

访问：

ab -c 10 -n 100 192.168.80.40/
ab -c 10 -n 100 192.168.80.40/test.html

这个时候日志的格式就变了

{ "time_local": "18/Nov/2021:04:44:49 -0500", "remote_addr": "192.168.80.40", "referer": "-", "request": "GET /test.html HTTP/1.0", "status": 404, "bytes": 153, "agent": "ApacheBench/2.3", "x_forwarded": "-", "up_addr": "-","up_host": "-","upstream_time": "-","request_time": "0.000" }

使用json解析器
https://www.sojson.com/

{
	"time_local": "18/Nov/2021:04:44:49 -0500",
	"remote_addr": "192.168.80.40",
	"referer": "-",
	"request": "GET /test.html HTTP/1.0",
	"status": 404,
	"bytes": 153,
	"agent": "ApacheBench/2.3",
	"x_forwarded": "-",
	"up_addr": "-",
	"up_host": "-",
	"upstream_time": "-",
	"request_time": "0.000"
}

我们查看es上边的数据变化

首先删除原有的数据
在这里插入图片描述
清空数据目录

systemctl stop filebeat 
rm -f /var/lib/filebeat/*
systemctl start  filebeat

在查看数据的变化
在这里插入图片描述

filebeat的文件配置

cd /etc/filebeat
注意filebeat配置文件的yml的格式书写

vim filebeat.yml

filebeat.inputs:
- type: log
  enabled: true 
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
output.elasticsearch:
  hosts: ["localhost:9200"]


==================================
就是添加了inputs
json.keys_under_root: true
json.overwrite_keys: true

方式一：只会导入重新生成的log

1.删除es-head 上的数据
2.重启，
添加数据测试即可
ab -c 10 -n 100 192.168.80.40/

方式二：该方法会重新导入所有的log，
重新启动

1.删除es上边的数据es-head
2.删除filebeat记录访问的数据日志的位置
3.重启
4.es-head查看数据

在这里插入图片描述
然后我们重新的配置kibana
在这里插入图片描述
在这里插入图片描述
只查看ip
在这里插入图片描述

6.2 除了上边的问题，还是会有许多默认的配置数据会出现在kibana，数据的名称是默认的，我们进行更改


https://www.elastic.co/guide/en/beats/filebeat/6.6/elasticsearch-output.html

vim filebeat.yml

filebeat.inputs:
- type: log
  enabled: true 
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
setup.kibana:
  host: "192.168.80.40:5601"
output.elasticsearch:
  hosts: ["localhost:9200"]
  index: "nginx-%{[beat.version]}-%{+yyyy.MM}"
setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true


kibana的主机
setup.kibana:
  host: "192.168.80.40:5601"

日志的格式 
每月进行分割     yyyy.MM.dd每天
index: "nginx-%{[beat.version]}-%{+yyyy.MM}" 
名字，下边的四个缺一不可
setup.template.name: "nginx" 
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true

6.2.1 index版本的区别参数不同，一定要查看官网

6.6上边：beat.version
https://www.elastic.co/guide/en/beats/filebeat/6.6/elasticsearch-output.html

output.elasticsearch:
  hosts: ["https://localhost:9200"]
  index: "filebeat-%{[beat.version]}-%{+yyyy.MM.dd}"
  ssl.certificate_authorities: ["/etc/pki/root/ca.pem"]
  ssl.certificate: "/etc/pki/client/cert.pem"
  ssl.key: "/etc/pki/client/cert.key"

7.15版本：agent.version
https://www.elastic.co/guide/en/beats/filebeat/current/elasticsearch-output.html

output.elasticsearch:
  hosts: ["http://localhost:9200"]
  index: "%{[fields.log_type]}-%{[agent.version]}-%{+yyyy.MM.dd}"

方式一：只会导入重新生成的log

1.删除es-head 上的数据
2.重启，
添加数据测试即可
ab -c 10 -n 100 192.168.80.40/

方式二：该方法会重新导入所有的log，
重新启动

1.删除es上边的数据es-head
2.删除filebeat记录访问的数据日志的位置 /var/lib/filebeat/*
3.重启
4.es-head查看数据

在这里插入图片描述
在这里插入图片描述

6.3 收集更加完整的数据

按月份分

vim filebeat.yml

filebeat.inputs:
- type: log
  enabled: true 
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]
- type: log
  enabled: true 
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]
setup.template.settings:
  index.number_of_shards: 3
setup.kibana:
  host: "192.168.80.40:5601"
output.elasticsearch:
  hosts: ["localhost:9200"]
  indices:
    - index: "nginx-access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "access"
    - index: "nginx-error-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "error"
setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true

天天

"nginx_error-%{[beat.version]}-%{+yyyy.MM.dd}"

方式一：只会导入重新生成的log

1.删除es-head 上的数据
2.重启，
添加数据测试即可
ab -c 10 -n 100 192.168.80.40/

在这里插入图片描述
在这里插入图片描述
重新添加kibana
在这里插入图片描述
在这里插入图片描述
完成
在这里插入图片描述

CentOS7 部署单机版 ElasticSearch + Logstash
weixin_44295677的博客
05-27 666
通过logstash收集信息，发送给elasticsearch处理。
搭建单机环境的ElasticSearch + kibana
weixin_41221717的博客
04-20 2245
前言：基于centOS7搭建一套7.6.1的elasticsearch单机环境，使用ik分词器和kibana 1、下载ES7.6.1的安装包： JDK11的安装包下载： ik分词器下载： kibana下载： 2、安装的前置步骤，创建普通用户 ES是不能够使用root用户来启动服务，必须要使用普通的用户来安装和启动服务。 （1）先创建用户组，再创建普通用户： [root@localhost ~]# groupadd elasticsearch （2...
centos7 elasticsearch7.13（单机）安装
weixin_36521716的博客
07-02 1002
官方下载：https://www.elastic.co/cn/downloads/elasticsearch 根据需要选择自己的版本： 我用的linux 直接下载，我的服务2核4g,环境是centos7.9 文件放到/usr/doumingquan/elk/下 tar -zxvf elasticserarch7.13.2 mv elasticsearch7.13.2 elasticsearch cd elasticsearch 修改配置文件 vi elasticsearch/config/e.
通过filebeat、logstash、rsyslog采集nginx日志的几种方式
学而思(xiejava的blog)
03-09 1254
由于nginx功能强大，性能突出，越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。 大家都知道ELK技术栈是采集...
Elasticsearch的诞生、发展与愿景
ifeves的博客
12-12 554
本文来自InfoQ，介绍了Elasticsearch的发展历史以及愿景，投稿请私信，并发编程网每天选择全网最好的文章推送给大家。Elasticsearch是一款基于Apa...
集群部署Elasticsearch+Logstash+Kibana+Filebeat+Kafka+Zookeeper
Wan_JF的博客
12-01 633
目录 引言 一、安装Zookeeper步骤 1、准备阶段（全部节点操作，以node1为例） （1）关闭防火墙和系统安全机制（全部节点操作，以node1为例） （2）同步时钟源（全部节点操作，以node1为例） （3）JDK的安装（全部节点操作，以node1为例） （4）配置hosts（全部节点操作，以node1为例） 2、安装Zookeeper软件包（全部节点操作，以node1为例） 3、修改配置文件（全部节点操作，以node1为例） 4、创建数据目录和日志目录（全部节点操作，以node
CentOS 7 搭建ElasticSearch+Kibana+Logstash
xiongyingli博客
01-28 483
CentOS 7 搭建ElasticSearch 1.安装ElasticSearch-7.10.2 获取es安装包： [root@cnetos7 software]# wget [root@cnetos7 software]# https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.2-linux-x86_64.tar.gz 2.安装kibana-7.10.2 [root@cnetos7 software]# wget
docker-compose部署es+kibana+ik
最新发布
lishihao_优快云的博客
09-12 675
本文主要介绍如何使用 docker-compose 快速部署 es8 + kibana。
docker-compose + elasticsearch7.6(配置密码及证书) + kibana7.6 + elasticsearch-head搭建集群
qq_20280007的博客
09-02 3224
目录描述制作自定义elasticsearch7.6镜像制作自定义elasticsearch-head镜像elasticsearch.yml配置kibana.yml配置docker-compose.yml配置启动容器配置密码登陆 kibana 和 elasticsearch-head 描述 最近研究了一下docker-compose发布elasticsearch7.6，虽然网上有一些教程，但是根据教程操作，最后根本跑不起来或者有三个节点的集群，配置密码后只有一个节点是活的，其他节点无法跟这个节点通信。踩了不少
ElasticSearch 7.12.1 + kibana 7.12.1+Centos7.9.2 单机安装
yangkei
10-14 1079
1. 去官网下载安装介质 https://www.elastic.co/cn/downloads/past-releases#elasticsearch https://www.elastic.co/cn/downloads/past-releases#kibana IK分词器下载 需要先查询对应IK分词器与ES的版本兼容性： https://github.com/medcl/elasticsearch-analysis-ik/blob/master/README.md 然后下载对应分词
【elasticsearch篇一】 centos7 单机版安装与配置
天道酬勤 厚积薄发
03-31 471
【elasticsearch篇一】：Linux（centos7）单机版安装与配置1、环境介绍2、下载安装包3、安装4、尝试启动5、启动成功后 1、环境介绍 操作系统：centos7 elasticsearch版本：6.5.0 JDK版本：1.8 2、下载安装包 官网下载地址:https://www.elastic.co/cn/downloads/elasticsearch ps:官网下载太慢了，...
ElasticSearch7.6.1在Centos7安装
panpan2017的博客
03-03 549
本人安装的ES版本为7.6.1 由于ES不能使用root用户来启动，必须使用普通用户来安装启动。这里我们创建一个普通用户以及定义一些常规目录用于存放我们的数据文件以及安装包等。 创建一个es专门的用户（必须） # 使用root用户在服务器执行以下命令 先创建组, 再创建用户: 1）创建 elasticsearch 用户组 [root@localhost ~]# groupadd elasticsearch 2）创建用户 tlbaiqi 并设置密码 [root@localhost ~]# use..
linux centos 7 安装配置 elasticsearch kibana filebeat 7.1.0
洛少的专栏
03-29 507
elasticsearch 安装配置 useradd myesuser passwd myesuser 密码： myespswSDF mkdir -p /home/elasticsearch/esdata chown -R myesuser:myesuser /home/elasticsearch/esdata tar -zxvf /home/elasticsearch/elasticsear...
elasticsearch的单机安装（centos7.6）
欢迎查阅
11-17 1478
elasticsearch安装1. 介绍2. 下载安装3. 配置启动4. es-head谷歌版本的安装5. 交互方式的介绍5.1 curl的方式 1. 介绍 Elasticsearch 是一个分布式的免费开源搜索和分析引擎，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。 Elasticsearch 是一个实时的分布式搜索分析引擎， 它能让你以一个之前从未有过的速度和规模，去探索你的数据。 它被用作全文检索、结构化搜索、分析以及这三个功能的组合 ` 应用的场景： 商城的
CentOS安装ElasticSearch和插件 【单机版】
senlanxu的博客
01-02 835
本篇文章是基于CentOS安装ElasticSearch 系统：CentOS7.9 CPU架构：x86 ElasticSearch 版本7.5.1 1 安装Elasticsearch 1.1 创建普通用户 ES不能使用root用户来启动，必须使用普通用户来安装启动。这里我们创建一个普通用户以及定义一些常规目录用于存放我们的数据文件以及安装包等。 创建一个es专门的用户（必须） 使用root用户在机器上执行以下命令 useradd elastic passwd elastic 1.2 为普通用户el.
Linux centOS7安装ELK技术栈Linux系统安装ElasticSearch8.1.3、Kibana8.1.3、Logstash8.1.3、Filebeat8.1.3
qq_42623400的博客
04-25 7257
ElasticSearch安装 1、创建目录、进入目录下载压缩包，解压文件 sudo mkdir -p /usr/local/ELK/es cd /usr/local/ELK/es sudo wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.1.3-linux-x86_64.tar.gz sudo tar zxvf elasticsearch-8.1.3-linux-x86_64.tar.gz 2、设置文
[基础服务] [ELK] CentOS7.x安装ELFK / (ElasticSearch + Kibana + Logstash+Filebeat)
OxYGC
11-08 847
# 🍁简介 ## 🧲 相关资料 [参考资料](https://yanggc.blog.csdn.net/?
centos7下ElasticSearch7.1.0单机部署
RunTimeExcepti0n的博客
10-29 1012
下载 官网：Past Releases of Elastic Stack Software | Elastic huawei镜像：https://repo.huaweicloud.com/elasticsearch/ 下载完成后上传至linux环境，当然也可以直接 wget 命令下载 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.0-linux-x86_64.tar.gz 解压 tar
es7.3版本安装 elasticsearch-head可视化管理工具
问心.心问的博客
06-16 603
elasticsearch-head安装 Node.js环境安装 head插件要求Node.js环境，并且Node.js的版本 大于等于 6.0。 安装grunt 　　运行head需要借助grunt命令，因此需要安装grunt，Windows+R，输入cmd，输入命令 cd D:\nodejs（你安装nodejs的路径）进入nodejs的根目录下 ，（注意：如果这条命令不能成功执行，那就先执行 D:，成功切换目录后再执行 cd D:\nodejs（你安装nodejs的路径）。），然后 执行指令 npm i
在CentOS7上安装ElasticSearch6.2.3与Head插件教程
"这篇文档是关于在Linux CentOS7环境下安装Elasticsearch 6.2.3版本并添加Head插件的详细步骤。Head插件是一个用于可视化Elasticsearch集群状态的工具，可以从GitHub (https://github.com/mobz/elasticsearch-head) ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

长安有故里y

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值