elasticsearch
关注
分享
扫一扫
wfs1994
……
展开
-
Elasticsearch批量获取Multi GET API和批量操作Bulk API用法
Multi GET API Bulk API 批量获取Multi GET APImget API参数是一个docs数组，数组的每个节点定义一个文档的_index、_type、_id元数据。mget可以有三种请求头 ：GET /_mget #不指定indexGET /test/_mget #指定index GET /test/type/_m...原创 2018-05-17 09:58:46 · 1715 阅读 · 0 评论 -
Elasticsearch 集群调优建议
生产环境集群搭建建议1.ES设置尽量简洁 elasticsearch.yml中尽量只写必备的参数，其他可以通过api动态设置的参数都通过api来设定 动态设定的参数有transient和persistent两种设置，前者在集群重启后会丢失，后者不会，但两种设定都会覆盖elasticsearch.yml中的配置。PUT /_cluster/settings{ "persiste...原创 2018-06-28 08:30:31 · 3308 阅读 · 1 评论 -
Elasticsearch 数据建模
数据建模：英文为Data Modeling，为创建数据模型的过程 数据模型（Data Model）对现实世界进行抽象描述的一种工具和方法通过抽象的实体及实体之间联系的形式去描述业务规则，从而实现对现实世界的映射数据建模的过程：概念分析：确定系统的核心需求和范围边界，设计实现和实体间的关系逻辑模型：进一步梳理业务需求，确定每个实体的属性、关系和约束等物理模型：结合具体的数据...原创 2018-06-27 23:09:59 · 2180 阅读 · 0 评论 -
ELK之elasticsearch
Elasticsearch学习整理基本概念：集群（Cluster）节点（Node）索引（Index）文档（Document）分片和复制（Sshards & Replicas）探索集群 The REST API：检查集群，节点和索引运行状况，状态和统计信息GET /_cat/health?v #查看集群健康状态检查GET /_cat/no...原创 2018-04-26 22:17:57 · 442 阅读 · 0 评论 -
Elasticsearch Search API
实现对es中存储的数据进行查询分析，endpoint为_search，查询主要有两种形式：URI Search：操作简便，方便通过命令行测试，仅包含部分查询语法Request Body Search：es提供完备查询语法Query DSL（Domain Specific Language）GET /bank/_search?q=gender:MGET /bank/account/_...原创 2018-06-22 12:29:39 · 6672 阅读 · 0 评论 -
Elasticsearch Mapping设置
Mapping类似数据库中的表结构定义，主要作用如下：定义Index下的字段名（Field Name）定义字段的类型，比如数据型、字符串型、布尔型等定义倒排索引相关配置，比如是否索引、记录position等自定义mapping：Mapping中字段类型一旦设定后，禁止直接修改（Lucene实现的倒排索引生成后不允许修改） 重新建立新的索引，然后做reindex操作 允许...原创 2018-06-21 22:30:34 · 9027 阅读 · 0 评论 -
倒排索引与分词
倒排索引正排索引：文档ID到文档内容、单词的关联关系 倒排索引：单词到文档ID的关联关系 倒排索引查询流程：（以查询包含“搜索引擎”的文档为例）通过倒排索引获得“搜索引擎”对应的文档ID有1和3通过正排索引查询1和3的完整内容返回用户最终结果倒排索引是搜索引擎的核心，主要包含两部分：单词词典（Term Dictionary）（一般由B+Tree实现）记录所有文...原创 2018-06-20 22:11:57 · 2538 阅读 · 0 评论 -
Elasticsearch节点(角色)类型解释：node.master和node.data
1、简介在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。这些功能是由两个属性控制的—node.master和node.data。默认情况下这两个属性的值都是true。下面详细介绍一下这两个属...转载 2018-05-15 14:31:05 · 10901 阅读 · 2 评论 -
Elasticsearch 聚合分析详解
聚合AggregationsAggregations的部分特性类似于SQL语言中的group by，avg，sum等函数。但Aggregations API还提供了更加复杂的统计分析接口。掌握Aggregations需要理解两个概念：桶(Buckets)：符合条件的文档的集合，相当于SQL中的group by。比如，在users表中，按“地区”聚合，一个人将被分到北京桶或上海桶或其他桶里...原创 2018-05-17 17:08:27 · 2787 阅读 · 1 评论 -
Elasticsearch Query DSL
官方文档：Query DSLQuery DSL： Elasticsearch提供基于JSON的完整Query DSL（域特定语言）来定义查询。可以将查询DSL看作查询的AST（抽象语法树），它由两类子句组成：叶查询子句：叶查询子句在特定字段中查找特定值，如 match，term或 range查询。这些查询可以自己使用。复合查询子句：复合查询子句包装其他叶或复合查询，并用于以逻辑方式组...原创 2018-05-17 16:46:52 · 2289 阅读 · 0 评论 -
Elasticsearch索引笔记
之前写了一篇Elasticsearch学习整理的文章，介绍了elasticsearch的一些基本概念以及REST API的相关用法，现在对elasticsearch索引的相关知识做一些补充。倒排索引索引初始化索引的CURD操作Mapping映射索引模板版本控制倒排索引常规索引建立方式： 文档–>关键词的映射过程（正向索引） 缺点：费时，需要把文档...原创 2018-05-17 11:18:58 · 300 阅读 · 0 评论 -
Elasticsearch 关联关系处理：Nested Object和Parent_Child
关联关系处理ES不擅长处理管理型数据库中的关联关系，比如文章表blog与评论表comment之间通过blog_id关联，在ES中可以通过如下两种手段变相解决：Nested ObjectParent/Child评论Comment：文章Id blog_id评论人 username评论日期 date评论内容 content Nested Object关系型...原创 2018-06-28 09:01:59 · 2420 阅读 · 1 评论