李思苇

转自大数据学习平台：大讲台： http://www.dajiangtai.com/course/search.do?search=elastic另一详细安装教程：https://blog.youkuaiyun.com/gaoying_blogs/article/category/6303056首先需要说明的是，在es 5.0之前，es与kibana的不同版本号的版本之间会有兼容性问题，但是es 5.0...

【转】ElasticSearch 全文检索实战 【转】ElasticSearch 5.3 载入PDF数据 1.简介 ElasticSearch只能处理文本，不能直接处理文档。要实现 ElasticSearch 的附件导入需要以下两个步骤： 一、对多种主流格式的文档进行文本抽取。 二、将抽取出来的文本内容导入 ElasticSearch。Ingest-Attachment是一...

节点数、分片数的设置，及零停机增加分片数建议是随着数据量的增长，而逐步调整分片数，而不是一开始就设置10000个分片。节点数根据ES官方建议，每个节点的java 堆内存大小设置最大为30~32G。据此，再根据预估的数据量、访问频率、访问压力等，如果预测访问压力为60G/s，则可以建设3个节点。分片数根据ES官方建议，分片数=节点数*(1.5~3)。每个分片的大小建议保持在2...

防止字段过多引起崩溃index.mapping.total_fields.limit: 1000一个索引的字段数量上限index.mapping.depth.limit: 20嵌套文档的层级数+ 嵌套文档的层级数index.mapping.nested_fields.limit: 50The maximum number of nested fields in an i...

PUT /{idx}/{type}/{id} #动态映射，自动创建索引、类型，并索引文档{ "name" : "liyl" , "age" : 28 }GET /{idx}/{type}/{id} # 根据id获取文档GE

索引及搜索默认情况下索引时，会对要索引的字符串做字符过滤、分词、token过滤。搜索时，会对搜索关键词用同样一套字符过滤器、分词器、token过滤器。character filter - 字符过滤器，字符整理，如将 & 转换成 and 等。Tokenizer - 分词器，根据一定规则将字符串分割成多个单词Token filter - 单词过滤器，如去掉无意义的单词：a, an...

转自：https://www.cnblogs.com/jiangzuo/p/8000423.html最近搭建了一个elasticsearch服务，其中机器重启而ES服务没有重启是问题，就有下面的脚本复制代码#!/bin/sh#chkconfig: 2345 80 05#description: esexport JAVA_HOME=/path/to/jdk1.8.0_131expor...

https://blog.youkuaiyun.com/zhige_me/article/details/76039059应产品要求，让写个es的自动重启的脚本，如果es挂了，要在分分钟之内重启，当时我的内心是崩溃的，像我这种Linux只会cd、 ls 的哪会写什么脚本啊，无奈，只能去谷歌了，边看边改，没想到还真给写出来了，貌似还不难，是不是有什么漏洞我就母鸡了。es自动重启，首先要知道es是怎么启的，下...

以下是启动集群的脚本#!/bin/bashecho "start-----------"hosts=("hadoop01" "hadoop02" "hadoop03")for host in ${hosts[@]}do ssh hadoop@$host << EOF cd ~/app/elasticsearch/bin ./el...

单节点elasticsearch.yml注意配置：bootstrap.memory_lock: true # disable swapping bootstrap.system_call_filter: falsejvm.options将xms与xmx设定为同样大小的值，以防止jvm的resize。/etc/security/limits.conf...

转自：elasticsearch 5.2.1安装问题解答1、启动 elasticsearch 如出现异常 can not run elasticsearch as root 解决方法：创建ES 账户，修改文件夹 文件 所属用户 组2、启动异常：ERROR: bootstrap checks failed system call filters failed to install;...

数据建模关联关系处理在关系型数据库中，可以通过主外键进行关联关系的处理，并通过ACID事务功能保证数据的一致性。 但es不支持主外键，并且只支持ACIDic事务。 数据间的关联关系可以通过如下方式处理： 以user和blogs为例： user{id,name,age…}；blogs{user_id,content,post_time} - 应用层联结 就是客户端程序自己写代...

转自：大讲台课程 http://www.dajiangtai.com/course/search.do?search=elastic一、需求场景-产生背景     1、海量数据组合条件查询（          hbase 只能基于rowkey快速查询，条件单一）          lucene:是一个全文检索引擎工具包（架构），提供了完整的查询引擎和索引引擎，部分文本分析引

转自大数据学习平台-大讲台： http://www.dajiangtai.com/course/search.do?search=elastic一、分片（shards）一个索引库默认有5个分片，如果想更改分片数，必须在创建索引库的时候指定POST /{indexname} -d {"settings":{"shards":5}}例：curl -XPOST http...

ES提供了Restful web API1.REST (REpresentational State Transfer)——表述性状态转移状态是指网络上的某个资源在某个时间点下的数据呈现，表述性指将状态用一定的格式表述出来。 简单举例如下：比如说在北京时间20170929 08:55:06.986这个时间点，我们想查看下es集群的状态，于是发送了一个HTTP GET请求:GE...

倒排索引lucnce采用倒排索引，例如：对 {“_id”:1,”name”:”欧阳红叶”,”age”:18} {“_id”:2,”name”:”欧阳晴明”,”age”:17} 两条数据，会建立如下索引： word index 欧阳 1[1],2[1],0,0 #当前词在id=1的doc中出现1次，offset为0，在id=2的doc中出现一次...

es权威指南 （电脑左侧栏为章节目录）es参考手册API

es功能分布式的实时文档存储，每个字段都可以被索引、搜索分布式实时分析搜索引擎胜任上百个服务节点的扩展，支持PB级的结构化、非结构化数据管理（存储、索引、分析、搜索）es安装./bin/elastaicsearch 启动es-d 后台启动ctrl+c ...

json数据虽然结构非常规范，但仍然需要人肉眼从中进一步提取数据关系。而_cat则将数据展示为紧凑且对齐的文本，更符合人的可视化习惯。/_cat/_cat command alone lists all the available commands.不加任何参数的 /_cat 命令，会显示 _cat API 的所有可用命令列表。/_cat/xxx?help详解xxx命令。列出命令的结...