铁柱的博客

es对比两个索引的差值，通过kibana或者扩展包，方便大家找到数据差异

一、前言      在刚开始学习ES的时候，觉得自带的from+size就足够使用了，但是在后续的学习中，不断看到一种说法，就是from+size，在要获取10000+10的时候就很影响性能。既然我们使用elasticsearch来处理大数据，那取10000条数据简直不要太随便，况且size默认不能超过10000，超过的话还要设置ind...

一、前言      之前试了下多索引查询，就是索引以数组的方式进行查询，发现这种方式是可以的。但是如果两个索引的名字，字段都不相同，可以实现类似于mysql的那种join效果吗，试试吧elasticsearch的多索引联合查询以及范围日期查询示例背景：使用es-php + es7.0二、正文1、首先索引部分还是以数组的形式 '...

一、前言      ES的备份，导入和导出相对而言比较麻烦。用logstash的话，经常会出现很多错误，而且不是很方便。用bulk也是一样的，对于咱们的json文件的结构，一些字段名都有要求，也不方便。后来和大佬交流下才知道，原来ES也有类似于MySQL的mysqldump工具，这里要说的插件是elasticdump。导入json数据...

一、前言      首先，博主这边要用ES来代替传统的mysql操作，那么原来的多表联合查询操作自然也要转换为多索引联合查找。这里使用elasticsearch-php库来操作ES,原生的ES也是大同小异的。日期查询优秀文章参考:1、 自定义日期格式以及ES内置的日期格式官方文档：https://www.elastic.co/gu...

一、前言      最近在把ELK升级到7.0之后，发现使用的ES-PHP并不兼容7.0的版本，可能作者正在努力开发新版本中吧。不过身为使用者，目前还是尽量少用7.0的一些新特性吧，兼容旧版本的ES还是可以的。二、问题1、使用match_all报错（1）报错信息：{"error":{"root_cause":[{"type":"...

一、前言      这几天好不容易把ES-6.2.4给研究完，结果在4月10号那天，ES-7.0发布了，我的天。没办法，只能再把本地的ELK都升级一下。这篇博客主要是分享一下百度网盘的下载地址，因为官方的网络下载太慢了，还是百度网盘的快。本来要放到优快云的下载里面，但是下载需要积分，有点坑，毕竟不是每个人都有积分。二、下载部分1、...

一、前言这部分是安装Elasticsearch-ik中文分词的时候，用mvn打包报错：No compiler is provided in this environment. Perhaps you are running on a JRE rather than a JDK?在网上百度，大部分是讲解IDE的解决方案，但是我这边是用的命令行，有点坑爹，还是记录一下吧。二、解决过程1、错...

一、前言      作为一名phper，之前查询数据之类用的都是普通的sql,现在突然要用ES的DSL查询，实在是有点艰难。刚好在看大佬博客的时候，看到大佬提了一句关于sql转化的插件，于是立马去研究一下。二、那些年我们研究过的插件1、ElasticHQ工具（1）下载安装（2）本地安装python 3.4+（3）进入安装Ela...

一、前言      这篇主要记录在导入数据时候踩到的坑，这些坑总共花费我小一天的时间，记录一下。二、正文1、logstash显示在导入数据，ES也成功新建了索引，但是没数据      最开始遇到的是这个坑，logstash的输入框就僵住了，博主以为在导入数据呢，等了半天，...

一、前言      刚开始的时候，博主导入数据用的是bulk这个方法，但是这个方法一方面是导入不方便，一方面是对于数据量有限制。既然咱们搭建的是ELK，那么就来见识下logstash吧。博主这里的ELK全部是6.2.4版本。二、logstash的下载安装1、简介     &nbs...

一、前言      在前面几章，基本把本地的环境给配置好了，那么配置好了之后，要做的第一件事当然就是导入数据进去。我这边准备的是一份json数据，这里通过ES的bulk API给导入进去。二、导入数据1、批量导入的话使用bulk API,形如：curl -H "Content-Type: application/x-ndjson"...

一、前言     这部分是Elasticsearch-php的实操篇，更多的是在框架中的测试。博主这边用的是Yii2.0框架。基础篇：二、正文1、首先是配置hosts（1） 如果是本地测试： $hosts = [ 'localhost:9200', // IP + Port ];（2） 也可...

一、前言      身为一个phper，要学习ES还是有点难度的，毕竟是基于Java写的，不过这也难不倒我们的php大佬，一个ES-PHP插件横空出世，赶紧学习一波~二、正文1、 ES-PHP-sdk的手册 链接：https://www.elastic.co/guide/cn/elasticsearch/php/current/i...

一、前言      说实话，刚测试ES的时候，我的内心是崩溃的，好多单词都不知道代表什么意思，只能一边测试，一边查询。看到就赶紧记下来，一天下来，也算是学的七七八八吧。这里分享给大家。二、ES常见单词解释1、url请求中的参数：curl -XPOST 'localhost:9200/bank/type1/_search?prett...

一、关于ES      这个搜索引擎，实在是慕名已久。之前的公司做招聘的时候，就曾经用到了这个东西作为职位搜索。只知道很牛逼，处理大数据方便是一绝，只可惜我当时没机会学习一下。现在刚好工作要做数据分析，数十亿的数据量，和ES可否一战？二、安装相关组件1、关于ES的最全面的解释：https://blog.youkuaiyun.com/laoya...