
Elastic Stack
文章平均质量分 97
Elastic Stack 实践
JackSparrow414
认真对待问题、思考问题、解决问题
展开
-
在业务开发中使用ElasticSearch的指导手册+附真实业务优化ElasticSearch场景
有很多场景使用内置的分词器可能不满足,例如:使用ES完全达到和数据库like的效果。自定义分词只需要看官方文档下面几个内容创建自定义分词器为某个字段指定分词器创建完自定义分词器切记不要忘了上面一条,要先测试过确保没问题,才可进行下一步上述所有项都是在业务开发中值得注意的地方。我并没有把每一步的解决方案都详细的写出来,是因为解决方案里链接了大量的官方文档,跟着官方做就可以实现。真正写代码往往是上述大部分问题都已经确定了之后才开始。如有更好的开发实践,欢迎留言讨论。原创 2024-05-26 13:43:02 · 914 阅读 · 0 评论 -
跟着官方文档一步一步搭建Elastic Stack(3节点ES集群+Kibana+Filebeat+Metricbeat)+ 零停机由单节点切换到集群解决方案
从去年开始负责搭建公司内部的ELK,到今天才断断续续把中间的思路、踩的坑整理成文章,希望对看博文的你有所帮助。本文尽管已经搭建了一个初具规模的Elastic Stack。原创 2024-03-21 20:51:37 · 1922 阅读 · 0 评论 -
使用Filebeat和AWS CloudWatch Logs将EC2上的Tomcat的access_log传送到Elasticsearch中并使用ILM完成日志的自动管理
把一个东西用起来仅仅是最初级的部分,如何把一个东西用好并比较好的支持当前所需场景才是最重要的。如果在调试过程中遇到什么问题,没有头绪的时候,一定要去看看服务器日志,例如Filebeat的日志或者ES的日志。切记不要把自己的需求放到网上去Google,例如为什么Filebeat延迟很高之类的,因为同样的需求面对的场景不一样,给出的答案完全不一样且不一定适用你。大部分关键的配置已经都给了出来,所以这里就不再提供源码了。因为上述配置都在filebeat.yml。原创 2023-03-12 16:39:30 · 640 阅读 · 0 评论 -
使用Filebeat和AWS CloudWatch Logs将EC2上的Tomcat的access_log传送到ELK
但是我自己测试的时候是使用单独的Filebeat,当然最终在产品环境部署的时候肯定是和上面的docker-compose.yml一起的。对于第二点,方案则是:通过AWS CloudWatch Logs收集各个EC2 实例上的Tomcat的acceess_log,通过Filebeat拉取AWS CloudWatch Logs里收集到的日志,然后发送到ELK中。因为经过上面的配置,filebeat已经可以访问ELK的网络了。机器都在AWS上,这两部分的日志都要发送到Docker搭建的ELK环境中。原创 2022-12-30 09:29:31 · 1334 阅读 · 0 评论 -
ElasticSearch Java API的使用
Search API 官方文档我们都知道,Elasticsearch的各种API都是很标准的Restful风格,一个标准的请求如下target是我们要查询的index的名字,关键是request body。我们平时的一般开发场景request body里的属性基本是下面这些。也就是我的过滤条件是什么?返回结果如何排序?如何只返回部分字段?如何分页?这几种常见需求大方向其实也就6种,下面简单逐一解释query部分是查询的核心,里面需要书写我们各种各样的查询条件sort不难理解是排序search_af原创 2022-07-04 20:52:22 · 1712 阅读 · 0 评论 -
ELK生成PEM格式的ca证书、设置Https并使用Elasticsearch Java Client连接
文章目录前提条件生成CA证书根据CA证书生成用于各个节点通信加密的证书为其他组件Kibana、Logstash生成证书配置elasticsearch.yml配置kibana.yml配置logstash.confJava代码使用HTTPS连接ES为什么使用ca.crt而不是官方推荐的ca.p12?官方文档前提条件本地下载安装好Elasticsearch、Kibana、Logstash,并可以正常启动本文所使用的ELK的版本为8.2.0Elasticsearch 8.2.0 版本,安装好之后原创 2022-05-28 08:57:13 · 3683 阅读 · 7 评论 -
Elasticsearch 常用操作、对接Logstash以及处理本地IP、ECS规范(干货满满)
经过前面两篇博文之后,现在已经有了article数据、可以查询相关数据。那接下来就是在这个基础上继续完善原创 2021-07-03 12:09:14 · 2009 阅读 · 0 评论 -
Elasticsearch查询
本文将着重于数据查询部分,ES查询也是很重要的一部分原创 2021-06-26 09:58:02 · 1028 阅读 · 0 评论 -
ELK环境搭建+入门使用
Elasticsearch+Logstash+Kibana环境安装以及初级入门原创 2021-06-03 20:22:10 · 1165 阅读 · 0 评论