fyj的博客

大家都知道，Elasticsearch手动迁移索引到其他机器上是一件非常麻烦的事情。1. Elasticsearch-dump这个是我比较常用的一个工具[python] view plain copy1) yum install epel-release    2) yum install nodejs    3) yum

elasticsearch 使用 命令 查看 节点,索引 等 占用内存情况 具体细节 参考官网文档 参考文档https://www.elastic.co/guide/en/elasticsearch/reference/5.3/cat.htmlhttps://www.elastic.co/blog/elasticsearch-command-line-debugging-with-

{ "mappings": { "duser": { "_routing": { "required": true } } }}curl -XPUT 127.0.0.1:9200/myroute/duser/1 -d ' { "title": "No routing value provided"}'错误：err

ES array  实现聚合 第一步 mapping 配置{    "mappings": {        "addata_index": {            "properties": {                "host": {                    "index": "not_analyzed",

下载 链接1. Elasticsearch: wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.3/elasticsearch-2.3.3.tar.gz2. Logtash:wget https://download.elasti

安装GeoIP数据库 cd /usr/local/logstash/etc curl -O "http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz" gunzip GeoLiteCity.dat.gz 如果 gunzip 不存在 安装方法 ： yum -y install gzip gunzip(ce

当你搜索 宝马 bmw 等词可以通过 词典 ，相近词 进行 匹配 (包括 ik 等 分词器) 来解决，当我搜索 com. 或者 cn. 等类型包名的关键词 却匹配不出。不大会说，直接上代码第一个简单ik_syno (cname ename host)分词 $curl_param = [ 'size'=>$size, '

也是查看很多资料，又被版本给坑了。切记 版本版本 下面 基于 2.3.3 实现 package com.es.scroll;import java.net.InetAddress;import java.net.UnknownHostException;import org.elasticsearch.action.search.SearchRequestBui

es 配置 性能 优化有好的建议，请大家提出 ，一起进步...........1 没必要的字段 index : no2 没必要的字段 不存储 / 不导入 es3 分片 最好不要超过 34 副本适当的调整5 内存锁住 设置 内容为机器本身 1/2 bootstrap.mlockall: true // 禁止 内存交换 ES_MIN_MEM: 15g //

# 在java里面GC是很常见的，但在GC时间比较长的时候。在默认配置下，节点会频繁失联。节点的失联又会导致数据频繁重传，甚至会导致整个集群基本不可用。# discovery参数是用来做集群之间节点通信的，默认超时时间是比较小的。我们把参数适当调大，避免集群GC时间较长导致节点的丢失、失联。discovery.zen.ping.timeout: 60sdiscovery.zen.fd.

// 英文有 自动补全 纠错功能 实现// 中文 只有 自动补全 ，没有纠错功能{  "settings": {    "index": {      "analysis": {        "analyzer": {          "ik_pinyin_analyzer": {            "type": "custom",         

通过 配置 各种参数 ，持续一段时间，还是不能完全解决 内存占用过高 导致 查询慢的问题个人认为 只能通过硬件 或者 加大 服务器配置 加大内存 来尝试了，（基于公司 xx 的原因 ，暂时行不通）接下来 ，我自己的实现 方法：Linux 定时 执行 脚本 来监控 elasticsearch  占用 内存情况，当达到一定值时 ，重启 es  (该方法比较极端，暂时

bigdeskhttps://github.com/nishantsaini/bigdesk （建议 使用这个 install）https://github.com/abrahamduran/bigdesk （该链接 install 会有错误）

elasticsearch5.2.2  安装  ikhttps://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.2.2/elasticsearch-analysis-ik-5.2.2.zip1、直接到https://github.com/medcl/elasticsearch-ana

暂时没有找到直接 导出到 mysql 数据库的工具　或者项目目前实现思路：　使用　elasticdump  工具 实现 从 es 数据 导出到 json 文件 ，然后 使用 脚本程序 操作 改 json 文件 实现 导入到MySQL 数据具体内容如下：安装elasticdump 1 npm install elasticdump -g elastic

最近 同事不小心把 数据给删除了，没办法就想到怎么恢复 数据 ，后来百度 ，查看前辈的资料，自己整理一下，希望以后有用下面具体  细节：es 快照 和 恢复1 查看所有 快照 在任何快照或者恢复操作之前，需要先完成一个快照存储介质的注册。查看所有的存储介质：curl localhost:9200/_snapshot/_allcurl localhost:

案例 读取文本文件 内容：vi a.conginput {stdin{}}filter{mutate{       split=>["message",","]   }   mutate{       split=>["message",":"]   }   mutate{       add_field=>{

_analyze?analyzer=standardcurl -XPOST http://192.168.1.47:9200/searchtube"search_analyzer": "ik_max_word","analyzer": "ik_max_word"curl -XPUT http://192.168.1.47:9200/searchtube/video/_mappin

首先就是核心数据类型，主要包括如下几个： string、byte、short、integer、long、float、double、boolean、date然后就是复合数据类型，主要就是两个：array、object

一旦 mapping 创建好 ，只能修改 副本 个数curl -XPUT 'http://localhost:9200/addata_mid/_settings' -d '{    "index":{"number_of_replicas" : 0}}'

http://localhost:9200/_reindex{  "source": {    "index": "old_index"  },  "dest": {    "index": "new_index",    "op_type": "create"  }}原网址https://www.elastic.co/guide/en/elastics

由于es官网叫停river类的导入插件，因此原始的elasticsearch-jdbc-river变更为elasticsearch-jdbc，成为一个独立的导入工具。官方提到的同类型工具还有logstash，个人觉得logstash在做数据库同步的时候并不是很好用，有太多坑要填。插件的github地址 https://github.com/jprante/elasticsearch-jdbc/必须

索引index 这个参数可以控制字段应该怎样建索引，怎样查询。它有以下三个可用值： · no: 不把此字段添加到索引中，也就是不建索引，此字段不可查询 · not_analyzed:将字段的原始值放入索引中，作为一个独立的term，它是除string字段以外的所有字段的默认值。 · analyzed:string字段的默认值，会先进行分析后，再把分析的term结果存入索引中。

<?php// analyzer ： ik_max_word ik_smart ik // search_analyzer : ik_max_word ik_smart ik // 近义词 配置 index 案例{ "mappings":{ "addata_index":{ "_all": {

第一步 下载 ElasticSearch2.3.3            tar -zxvf ElasticSearch2.3.3           进入 ElasticSearch/conf           vi elasticsearch.yml           修改对于 的 参数 ：cluster.name 配置es的集群名称，默认是elastics

es bulk 批量 更新使用bulk命令时，REST API以_bulk结尾,批量操作写在json文件中，官网给出的语法格式：action_and_meta_data\noptional_source\naction_and_meta_data\noptional_source\n....action_and_meta_data\noptional_source\n命令操

{ "from": 0, "size": "100", "min_score": 1, "query": { "function_score": { "filter": { "bool": { "should": { "multi_match": { "query": "bm

{ "size": 0, "aggs": { "daterange": { "filter": { "range": { "date": { "from": "now-2M" } } }, "aggs": { "publisher":

先看看 searchType 几个参数 说明直接 百度 拿来主义1、query and fetch向索引的所有分片（shard）都发出查询请求，各分片返回的时候把元素文档（document）和计算后的排名信息一起返回。这种搜索方式是最快的。因为相比下面的几种搜索方式，这种查询方法只需要去shard查询一次。但是各个shard返回的结果的数量之和可能是用户要求的size的n倍

elasticsearch 语法汇总使用 es 已有段时间 今天 有时间 就把最近使用用到的知识点 记录下来，以备后续使用es 安装 和插件配置 等知识 这里就不在 累述1 基本命令 使用 基于 curl 使用 命令 修改 副本信息 因为 index 一旦建成 分片个数就不能修改 只能修改 副本个数 curl -XPUT 'http://localhos

curl -XPOST '192.168.1.47:9200/sub/_refresh'//更新 根据条件curl -XPOST '192.168.1.4:9200/sub/_update_by_query?pretty' -H 'Content-Type: application/json' -d'{ "query": { "term": { "md5": "...