elk
关注
分享
扫一扫
文章平均质量分 90
运维开发故事
这个作者很懒，什么都没留下…
展开
-
elasticsearch入门笔记
elasticsearches基本概念es术语介绍文档Document用户存储在es中的数据文档索引Index由具有相同字段的文档列表组成节点node一个Elasticsearch的运行实例，是集群的构成单元集群Cluster由一个或多个节点组成，对外提供服务document介绍json object，由字段(field)组成，常见数据类型如下:字符串：text，keyword数值型：long,integer,short,byte,double,float,half_float,scaled_float布尔原创 2022-02-24 09:46:37 · 293 阅读 · 0 评论 -
Kubernetes中部署ELK Stack日志收集平台
微信公众号：运维开发故事，作者：double冬主要内容1 ELK概念2 K8S需要收集哪些日志3 ELK Stack日志方案4 容器中的日志怎么收集5 部署操作步骤准备环境一套正常运行的k8s集群，kubeadm安装部署或者二进制部署即可1 ELK概念ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。市面上也被称为Elastic Stack。其中Elasticsearch是一个基于Lucene、分布式、通过Restf.原创 2022-01-17 10:40:06 · 974 阅读 · 2 评论 -
elasticsearch压力测试工具之ESrally使用说明
微信公众号：运维开发故事，作者：wangerESrally介绍esrally是elastic search官方用于对ES集群进行压力测试的工具，使用esrally可以为我们构建不同版本集群，构造不同的参数和数据来进行压力测试，并且可以对产生的压测结果进行比较，rally顾名思义是拉力赛的意思，esrally的一些名词也都与拉力赛有关。github地址：https://github.com/elastic/rallyESrally安装环境要求python3.8 pip3jdk8git 1..原创 2022-01-03 00:15:39 · 12109 阅读 · 0 评论 -
ElasticSearch基于snapshot和华为云OBS的备份
微信公众号：运维开发故事，作者：double冬0 背景任何一个存储数据的软件，都需要定期的备份数据。es replica提供了运行时的高可用保障机制，可以容忍少数节点的故障和部分数据的丢失，但是整体上却不会丢失任何数据，而且不会影响集群运行。但是replica没法进行灾难性的数据保护，比如说机房彻底停电，所有机器全部宕机，等等情况。对于这种灾难性的故障，我们就需要对集群中的数据进行备份了，集群中数据的完整备份。Elasticsearch提供了replica解决方案，它可以帮我们解决了如果有一个或多.原创 2022-01-02 14:05:12 · 1442 阅读 · 0 评论 -
快速搭建ELK7.5版本的日志分析系统--ELK实战篇
微信公众号：运维开发故事，作者：double冬ELK实战篇通过搭建篇，相信已经可以完美的搭建一套ELK日志分析系统了，我们就来看看如何使用这套系统进行实战在kibana的web界面进行配置日志可视化在搭建篇里最后我们通过logstash -f /etc/logstash/conf.d/elk.conf对系统日志和安全日志进行了采集，创建了系统和安全的索引，并且索引按类型做存放到了es中，我们可以通过elasticsearch-head插件查看，后面又创建了强大的可视化kibana组件进行样本数.原创 2021-12-28 00:39:59 · 1721 阅读 · 0 评论 -
快速搭建ELK7.5版本的日志分析系统--搭建篇
微信公众号：运维开发故事，作者：double冬一、ELK安装部署官网地址:https://www.elastic.co/cn/官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html安装指南：https://www.elastic.co/guide/en/elasticsearch/reference/7.5/rpm.htmlELK是Elasticsearch、Logstash、Kibana.原创 2021-12-24 00:24:49 · 1065 阅读 · 0 评论 -
Zabbix后端存储ES的优化实践
微信公众号：运维开发故事，作者：wanger场景分析▼由于公司zabbix的历史数据存储在elasticsearch中，有个需求是尽可能地把监控的历史数 据存储的长一点，最好是一年，目前的情况是三台ES节点，每天监控历史数据量有5G，目前最多可存储一个月的数据，超过30天的会被定时删除，每台内存分了8G，且全部使用机械硬盘，主分片为5，副本分片为1，查询需求一般只获取一周的历史数据，偶尔会有查一 个月到两个月历史数据的需求。节点规划▼为了让ES能存储更长的历史数据，以及考虑到后续监控项添加导.原创 2021-12-21 23:56:38 · 1550 阅读 · 1 评论 -
Zabbix与ELK整合实现对安全日志数据的实时监控告警
微信公众号：运维开发故事，作者：double冬1 ELK与ZABBIX有什么关系？ELK大家应该比较熟悉了，zabbix应该也不陌生，那么将ELK和zabbix放到一起的话，可能大家就有疑问了？这两个放到一起是什么目的呢，听我细细道来ELK是一套日志收集套件，它其实有由Elasticsearch、Logstash和Kibana三个软件组成，通过ELK可以收集系统日志、网站日志、应用系统日志等各种日志数据，并且还可以对日志进行过滤、清洗，然后进行集中存放并可用于实时检索、分析。这是ELK的基础功能.原创 2021-12-20 00:42:42 · 595 阅读 · 0 评论 -
Elastic Stack 7.5 X-Pack 安全功能部署
微信公众号：运维开发故事，作者：double冬场景 elasticsearch kibana 基本上是多人使用的, 所以进行权限控制是必然，以提高安全保障在2019年5月21日，Elastic官方发布消息：Elastic Stack 新版本6.8.0 和7.1.0的核心安全功能现免费提供。这意味着用户现在能够对网络流量进行加密、创建和管理用户、定义能够保护索引和集群级别访问权限的角色，并且使用 Spaces 为 Kibana提供全面保护。免费提供的核心安全功能如下：1）TLS 功能。可对通.原创 2021-12-19 01:25:28 · 423 阅读 · 0 评论 -
使用ELK收集网络设备日志的案例
微信公众号：运维开发故事，作者：wanger简介随着机房内的服务器和网络设备增加，日志管理和查询就成了让系统管理员头疼的事。系统管理员遇到的常见问题如下：日常维护过程中不可能登录到每一台服务器和设备上去查看日志；网络设备上的存储空间有限，不可能存储日期太长的日志，而系统出现问题又有可能是很久以前发生的某些操作造成的；在某些非法侵入的情况下，侵入者一般都会清除本地日志，清除侵入痕迹；zabbix等监控系统无法代替日志管理，无法监控如系统登录、计划任务执行等项目。基于上述.原创 2021-12-16 22:55:08 · 2060 阅读 · 1 评论 -
elk+filebeat+grafana日志收集平台学习笔记
当前浏览器不支持播放音乐或语音，请在微信或其他浏览器中播放 西湖 音乐： 痛仰乐队 - 不要停止我的音乐 ...原创 2021-12-14 22:18:04 · 1441 阅读 · 0 评论 -
Elastic Stack日志收集系统笔记 （logstash部分）
当前浏览器不支持播放音乐或语音，请在微信或其他浏览器中播放 天涯 音乐： 任贤齐 - 为爱走天涯 log...原创 2021-12-10 11:32:34 · 2505 阅读 · 0 评论 -
Elastic Stack 日志收集系统笔记
人活在世上，什么都不要怕，做自己认为对的事儿，慢慢放下输赢和计算。 &原创 2021-12-09 23:31:23 · 1442 阅读 · 0 评论