ELK日志分析平台(elasticsearch)_elastic 日志下载

本文链接：https://blog.youkuaiyun.com/2401_85125214/article/details/141969514

修改配置文件：

[root@server1 ~]# vim /etc/elasticsearch/elasticsearch.yml

在这里插入图片描述

修改系统限制

[root@server1 ~]# vim /etc/security/limits.conf
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
elasticsearch      -    nofile  65536
elasticsearch      -    nproc   4096

在这里插入图片描述
修改systemd启动文件

[root@server1 ~]# vim /usr/lib/systemd/system/elasticsearch.service
[Service]		#在service语句块下添加
LimitMEMLOCK=infinity

禁用交换分区：

[root@server1 ~]# swapoff -a
[root@server1 ~]# vim /etc/fstab

开启服务：

[root@server1 ~]# systemctl daemon-reload
[root@server1 ~]# systemctl start elasticsearch.service

需要配置三台主机，server1 ,server2,server3，server1作为master，可以直接将配置文件传给其他两个节点，仅修改主机名即可
在这里插入图片描述

elasticsearch插件安装

下载elasticsearch-head插件

wget https://github.com/mobz/elasticsearch-head/archive/master.zip
get elasticsearch-head-master.zip
[root@server1 ~]# yum install unzip.x86_64 -y
[root@server1 ~]# unzip elasticsearch-head-master.zip
[root@server1 ~]# cd elasticsearch-head-master/
[root@server1 elasticsearch-head-master]# yum install fontconfig
[root@server1 elasticsearch-head-master]# cnpm install
[root@server1 elasticsearch-head-master]# cnpm run start &

tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/
cd bin/
mv phantomjs /usr/local/bin/
yum install fontconfig

head插件本质上是一个nodejs的工程,因此需要安装node

get nodejs-9.11.2-1nodesource.x86_64.rpm
[root@server1 ~]# rpm -ivh nodejs-9.11.2-1nodesource.x86_64.rpm
[root@server1 ~]# node -v
[root@server1 ~]# npm -v

更换npm源安装

[root@server1 ~]# cd elasticsearch-head-master/
[root@server1 ~]# npm install -g cnpm --registry=https://registry.npm.taobao.org

启动head插件

[root@server1 elasticsearch-head-master]# cnpm run start &

修改ES跨域主持

三个节点都需要加上

[root@server1 ~]# vim /etc/elasticsearch/elasticsearch.yml
http.cors.enabled: true    # 是否支持跨域
http.cors.allow-origin: "*"     # *表示支持所有域名
[root@server1 ~]# systemctl restart elasticsearch.service

在这里插入图片描述
访问head插件服务

创建索引

查看ES状态

灰色标识没有副本
黄色代表没有主分片丢失

elasticsearch节点角色

Master:
• 主要负责集群中索引的创建、删除以及数据的Rebalance等操作。
Master不负责数据的索引和检索,所以负载较轻。当Master节点失联或
者挂掉的时候,ES集群会自动从其他Master节点选举出一个Leader。
Data Node:
• 主要负责集群中数据的索引和检索,一般压力比较大。
Coordinating Node:
• 原来的Client node的,主要功能是来分发请求和合并结果的。所有节点
默认就是Coordinating node,且不能关闭该属性。
Ingest Node:
• 专门对索引的文档做预处理

elasticsearch节点优化

在生产环境下,如果不修改elasticsearch节点的角色信息,在高数
据量,高并发的场景下集群容易出现脑裂等问题。
• 默认情况下,elasticsearch集群中每个节点都有成为主节点的资格,
也都存储数据,还可以提供查询服务。
• 节点角色是由以下属性控制:
• node.master: false|true
• node.data: true|false
• node.ingest: true|false
• search.remote.connect: true|false
默认情况下这些属性的值都是true。

node.master:这个属性表示节点是否具有成为主节点的资格
注意:此属性的值为true,并不意味着这个节点就是主节点。
因为真正的主节点,是由多个具有主节点资格的节点进行选
举产生的。
• node.data:这个属性表示节点是否存储数据。
• node.ingest: 是否对文档进行预处理。
• search.remote.connect:是否禁用跨集群查询

第一种组合:(默认)

最全的Linux教程，Linux从入门到精通

======================

linux从入门到精通(第2版)
Linux系统移植
Linux驱动开发入门与实战
LINUX 系统移植第2版
Linux开源网络全栈详解从DPDK到OpenFlow

华为18级工程师呕心沥血撰写3000页Linux学习笔记教程

第一份《Linux从入门到精通》466页

====================

内容简介

====

本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷，并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本，循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘，内容为本书配套多媒体教学视频。另外,本书还为读者提供了大量的Linux学习资料和Ubuntu安装镜像文件，供读者免费下载。

华为18级工程师呕心沥血撰写3000页Linux学习笔记教程