Elasticsearch
关注
分享
扫一扫
文章平均质量分 95
Elasticsearch技术总结
数据与算法架构提升之路
我是一名专注于AI和数据架构的技术专家，拥有扎实的编程与数学基础。在大数据框架重构和底层源码开发方面积累了丰富经验，擅长自动驾驶、数据架构和深度学习等领域的研究与实践。目前，我主要从事数据AI架构相关工作，并曾在新能源汽车行业积累了深厚的技术背景。对技术创新和持续学习充满热情，致力于推动前沿技术的应用与发展。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Elasticsearch 企业级别性能优化(二)
ElasticSearch企业级别性能优化原创 2022-08-19 12:25:16 · 2380 阅读 · 0 评论 -
Elasticsearch生产集群部署之各个节点以daemon模式运行以及优雅关闭
1、以daemon模式运行在生产环境中，会使用daemon进程的方式来启动es，而不是直接采用前台进程的方式来启动es，具体命令如下./bin/elasticsearch -d -p pid上面命令中的-d option用来指定es以daemon进程方式启动，并且-p option指定将进程id记录在指定文件中es启动后，日志信息可以在ES_HOME/logs目录中查看此外，...原创 2019-09-19 12:44:55 · 1030 阅读 · 0 评论 -
Elasticsearch之深入聚合数据分析的实战
目录两个核心概念：bucket和metric家电卖场案例以及统计哪种颜色电视销量最高统计每种颜色电视平均价格bucket嵌套实现颜色+品牌的多层下钻分析统计每种颜色电视最大最小价格hitogram按价格区间统计电视销量和销售额搜索+聚合：统计指定品牌下每个颜色的销量cardinality去重算法以及每月销售品牌数量统计percentiles百分比算法以及...原创 2019-09-16 08:28:48 · 1017 阅读 · 0 评论 -
Elasticsearch聚合后分页深入详解
1、Elasticsearch支持聚合后分页吗，为什么？不支持，看看Elasticsearch员工如何解读。这个问题，2014年在github上有很长的讨论。究其为什么ES不支持聚合后分页？可概括如下：1）性能角度——聚合分页会在大量的记录中产生性能问题。2）正确性角度——聚合的文档计数不准确。所以奇怪的事情可能会发生，如第二页的第一项具有比第一页的最后一个元...转载 2019-09-19 11:34:56 · 1740 阅读 · 0 评论 -
ELK架构的应用与研究
ELK解决哪些问题？在项目初期的时候，大家都是赶着上线，一般来说对日志没有过多的考虑，当然日志量也不大，所以用log4j就够了，随着应用的越来越多，日志散落在各个服务器的logs文件夹下，确实有点不大方便。当我们需要日志分析的时候你大概会这么做：直接在日志文件中 grep、awk 就可以获得自己想要的信息。ELK因此就应运而生，那么为什么要用ELK呢？ELK又能给我们解决哪些问题呢？...原创 2019-05-10 14:47:36 · 564 阅读 · 0 评论 -
基于Elasticsearch+Logstash+Kibana的小型流量分析系统
目录总体流程虚拟机环境搭建1、在虚拟机中安装CentOS2、在每个CentOS中都安装Javalogstash部署以及上手使用安装mysql以及手动导入样例数据使用logstash将mysql数据导入elasticsearch安装和部署kibana基于kibana制作网站流量分析报表总体流程小型的流量分析系统，怎么来做，就讲解其中的一个做法和场景1...原创 2019-09-15 20:14:15 · 1165 阅读 · 1 评论 -
Elasticsearch之IK分词器配置
IK分词器配置文件讲解以及自定义词库实战1、ik配置文件ik配置文件地址：es/plugins/ik/config目录IKAnalyzer.cfg.xml：用来配置自定义词库main.dic：ik原生内置的中文词库，总共有27万多条，只要是这些单词，都会被分在一起quantifier.dic：放了一些单位相关的词suffix.dic：放了一些后缀surname.dic：中国的姓...原创 2019-09-12 08:56:14 · 2074 阅读 · 0 评论 -
Elasticsearch之数据建模实战通过应用层join实现用户与博客的关联
1、构造用户与博客数据在构造数据模型的时候，还是将有关联关系的数据，然后分割为不同的实体，类似于关系型数据库中的模型案例背景：博客网站， 我们会模拟各种用户发表各种博客，然后针对用户和博客之间的关系进行数据建模，同时针对建模好的数据执行各种搜索/聚合的操作PUT /website/users/1{ "name": "小鱼儿", "email": "xiaoy...原创 2019-09-12 08:50:57 · 438 阅读 · 0 评论 -
Elasticsearch之实战掌握误拼写时的fuzzy模糊搜索技术
搜索的时候，可能输入的搜索文本会出现误拼写的情况doc1: hello worlddoc2: hello java搜索：hallo worldfuzzy搜索技术 --> 自动将拼写错误的搜索文本，进行纠正，纠正以后去尝试匹配索引中的数据POST /my_index/my_type/_bulk{ "index": { "_id": 1 }}{ "text": "Surp...原创 2019-09-12 08:22:32 · 764 阅读 · 0 评论 -
Elasticsearch 基本查询语法
基本操作操作索引1.新建索引curl -XPUT localhost:9200/index012.查看索引curl -XGET http://192.168.168.101:9200/index01/_settingscurl -XGET http://192.168.168.101:9200/index01,blog/_settings3.删除索引curl -XDELET...原创 2019-08-16 16:35:35 · 2200 阅读 · 0 评论 -
Elasticsearch数据建模实战之基于nested object实现博客与评论嵌套关系
1、做一个实验，引出来为什么需要nested object冗余数据方式的来建模，其实用的就是object类型，我们这里又要引入一种新的object类型，nested object类型博客，评论，做的这种数据模型PUT /website/blogs/6{ "title": "花无缺发表的一篇帖子", "content": "我是花无缺，大家要不要考虑一下投资房产和买股票的事...原创 2019-08-02 07:42:03 · 768 阅读 · 0 评论 -
Elasticsearch之基于地理位置进行聚合分析
1、建立geo_point类型的mapping第一个地理位置的数据类型，就是geo_point，geo_point，说白了，就是一个地理位置坐标点，包含了一个经度，一个维度，经纬度，就可以唯一定位一个地球上的坐标PUT /my_index{ "mappings": { "my_type": { "properties": { "location...原创 2019-08-02 07:23:19 · 2606 阅读 · 0 评论 -
Elasticsearch数据建模实战之祖孙三层数据关系建模以及搜索实战
父子关系，祖孙三层关系的数据建模，搜索PUT /company{ "mappings": { "country": {}, "rd_center": { "_parent": { "type": "country" } }, "employee": { "_parent": { "ty...原创 2019-08-02 06:24:10 · 719 阅读 · 0 评论 -
Elasticsearch数据建模实战之对文件系统进行数据建模以及文件搜索实战
数据建模，对类似文件系统这种的有多层级关系的数据进行建模1、文件系统数据构造PUT /fs{ "settings": { "analysis": { "analyzer": { "paths": { "tokenizer": "path_hierarchy" } } } }}p...原创 2019-08-01 07:55:54 · 414 阅读 · 0 评论 -
Elasticsearch 企业级别性能优化(一)
一、倒排索引ElasticSearch引擎把文档数据写入到倒排索引（Inverted Index）的数据结构中，倒排索引建立的是分词（Term）和文档（Document）之间的映射关系，在倒排索引中，数据是面向词（Term）而不是面向文档的。举个例子，文档和词条之间的关系如下图：字段值被分析之后，存储在倒排索引中，倒排索引存储的是分词（Term）和文档（Doc）之间的关系，简化版的...原创 2019-02-19 08:59:59 · 2876 阅读 · 0 评论