
【大数据】
chenshiying007
关注大数据相关技术和软件架构
展开
-
17_ElasticSearch phrase matching搜索
17_ElasticSearch phrase matching搜索更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记一、概述0、需求:搜索java spark 靠在一起doc1、java spark,就...原创 2018-03-22 20:04:52 · 1537 阅读 · 0 评论 -
18_ElasticSearch 基于slop参数实现近似匹配
18_ElasticSearch 基于slop参数实现近似匹配更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记概述slop的含义query string,搜索文本,中的几个term,要经过几次移动才能与...原创 2018-03-22 20:46:47 · 3311 阅读 · 1 评论 -
19_ElasticSearch 使用match和近似匹配实现召回率与精准度的平衡
19_ElasticSearch 使用match和近似匹配实现召回率与精准度的平衡更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新一、概要1.召回率比如你搜索一个java spark,总共有100个doc,能返回多少个doc作为结果,...原创 2018-03-23 07:26:45 · 4579 阅读 · 0 评论 -
20_ElasticSearch rescoring机制优化近似匹配搜索的性能
20_ElasticSearch rescoring机制优化近似匹配搜索的性能更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新一、概述rescore:重打分对match 查询的结果中的前几条重新使用proximity match 打分...原创 2018-03-23 07:28:51 · 2188 阅读 · 0 评论 -
21_ElasticSearch 前缀搜索、通配符搜索、正则搜索
21_ElasticSearch 前缀搜索、通配符搜索、正则搜索更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新一、概述前缀搜索 prefix前缀搜索的原理通配符搜索 wildcard和regexpwildcard和regexp,与p...原创 2018-03-23 07:31:14 · 2245 阅读 · 0 评论 -
22_ElasticSearch 搜索推荐match_phrase_prefix实现search-time
22_ElasticSearch 搜索推荐match_phrase_prefix实现search-time更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新一、概述1.名称解释搜索推荐,search as you type,搜索提示。如...原创 2018-03-23 07:32:59 · 2440 阅读 · 0 评论 -
23_ElsaticSearch 搜索推荐ngram分词机制实现index-time
23_ElsaticSearch 搜索推荐ngram分词机制实现index-time更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新一、概述创建索引的时候就对每个单词进行切分,方便做搜索推荐提示。提高速度使用edge ngram将每个...原创 2018-03-23 07:34:43 · 1199 阅读 · 0 评论 -
24_ElasticSearch TF&IDF算法以及向量空间模型
24_ElasticSearch TF&IDF算法以及向量空间模型更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记一、概述boolean model 类似and这种逻辑操作符,先过滤出包含指定t...原创 2018-03-23 07:38:59 · 1799 阅读 · 0 评论 -
25_ElasticSearch 揭秘lucene的相关度分数算法
25_ElasticSearch 揭秘lucene的相关度分数算法更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记一、概述一个搜索引擎使用的时候必定需要排序这个模块,一般情况下在不选择按照某一字段排序的...原创 2018-03-23 15:26:31 · 1373 阅读 · 0 评论 -
1_ElaticSearch使用term filter来搜索数据
1_ElaticSearch使用term filter来搜索数据更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新1、根据用户ID、是否隐藏、帖子ID、发帖日期来搜索帖子1)插入一些测试帖子数据POST /forum/article/_...原创 2018-03-20 06:54:50 · 4381 阅读 · 0 评论 -
日志管理ELK
运维架构日志管理ELK:ElasticSearch 、 Logstash 和 Kibana 介绍,结合redis安装配置及展示更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习(干货)ElasticSearch 笔记一、 介绍1、日志主要包括系...原创 2018-03-13 15:52:42 · 5142 阅读 · 0 评论 -
2_ElatisSearch filter执行原理 bitset机制与caching机制
2_ElatisSearch filter执行原理 bitset机制与caching机制更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记1、倒排索引在倒排索引中查找搜索串,获取document list...原创 2018-03-20 19:46:20 · 1714 阅读 · 0 评论 -
3_ElaticSearch 基于bool组合多个filter条件来搜索数据
3_ElaticSearch 基于bool组合多个filter条件来搜索数据更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记例子一1、搜索发帖日期为2017-01-01,或者帖子ID为XHDK-A-12...原创 2018-03-20 20:36:40 · 8492 阅读 · 0 评论 -
4_ElaticSearch 使用terms搜索多个值
4_ElaticSearch 使用terms搜索多个值更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记概述es 中如何实现 sql 中的in,使用terms实现语法如下:term: {"field": ...原创 2018-03-20 21:37:07 · 10567 阅读 · 3 评论 -
5_ElaticSearch 基于range filter来进行范围过滤
ElaticSearch 基于range filter来进行范围过滤更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记例子说明如何使用es 实现 sql 中的>= and <=1、range,...原创 2018-03-21 07:01:45 · 3734 阅读 · 0 评论 -
6_ElatisSearch 控制全文检索结果的精准度
6_ElaticSearch 控制全文检索结果的精准度更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记概述1、全文检索的时候,进行多个值的检索,有两种做法,match query;should2、控制搜...原创 2018-03-21 07:03:48 · 2839 阅读 · 0 评论 -
7_ElaticSearch term+bool实现的multiword搜索原理
7_ElaticSearch term+bool实现的multiword搜索原理更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记概述es 底层会将 match query 转成bool term 查询:...原创 2018-03-21 07:07:35 · 1934 阅读 · 0 评论 -
51_ElasticSearch 基于doc value正排索引的聚合内部原理
51_ElasticSearch 基于doc value正排索引的聚合内部原理更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记一、概述聚合分析的内部原理是什么?aggs,term,metric avg ...原创 2018-04-07 18:27:18 · 1010 阅读 · 0 评论 -
52_ElasticSearch doc value机制内核级原理
52_ElasticSearch doc value机制内核级原理更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记一、概述doc value原理(正排索引)index-time生成核心原理性能问题二、d...原创 2018-04-07 18:29:06 · 716 阅读 · 0 评论 -
53_ElasticSearch string field聚合实验以及fielddata原理
53_ElasticSearch string field聚合实验以及fielddata原理更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记一、概念对于分词的field执行聚合是有问题的。如果对不分词的...原创 2018-04-07 18:30:15 · 1698 阅读 · 0 评论 -
54_fielddata内存控制以及circuit breaker断路器
54_fielddata内存控制以及circuit breaker断路器更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记1、fielddata核心原理fielddata加载到内存的过程是lazy加载的,...原创 2018-04-07 18:32:17 · 639 阅读 · 0 评论 -
55_fielddata filter的细粒度内存加载控制
55_fielddata filter的细粒度内存加载控制更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记概述min:仅仅加载至少在1%的doc中出现过的term对应的fielddata比如说某个值,h...原创 2018-04-07 18:33:14 · 610 阅读 · 0 评论 -
56_fielddata预加载机制以及序号标记预加载
56 fielddata预加载机制以及序号标记预加载更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记一、概述如果真的要对分词的field执行聚合,那么每次都在query-time现场生产fielddat...原创 2018-04-07 18:34:20 · 576 阅读 · 1 评论 -
57_海量bucket优化机制 从深度优先到广度优先
57_海量bucket优化机制 从深度优 先到广度优先更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记概述1、当buckets数量特别多的时候,深度优先和广度优先的原理 actor1 ...原创 2018-04-07 18:35:39 · 763 阅读 · 0 评论 -
8_ElaticSearch 基于boost的搜索条件权重控制
8_ ElaticSearch 基于boost的搜索条件权重控制更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记需求搜索标题中包含java的帖子同时,如果标题中包含hadoop或elasticsearc...原创 2018-03-21 10:31:31 · 2294 阅读 · 0 评论 -
27_ElasticSearch用function_score自定义相关度分数算法
27_ElasticSearch用function_score自定义相关度分数算法更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记需求1、在field: tile 和 content 中查找 java ...原创 2018-03-25 20:30:23 · 2367 阅读 · 1 评论 -
26_ElasticSearch 四种常见的相关度分数优化方法
26_ElasticSearch 四种常见的相关度分数优化方法更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记对相关度评分进行调节和优化的常见的4种方法1、query-time boost 查询的时候设...原创 2018-03-25 20:36:05 · 3752 阅读 · 0 评论 -
9_ElasticSearch 多shard场景下relevance score不准确
9_ElasticSearch 多shard场景下relevance score不准确更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记图解如果你的一个index有多个shard的话,可能搜索结果会不准确...原创 2018-03-21 20:27:39 · 1327 阅读 · 0 评论 -
10_ElasticSearch dis_max实现best fields策略进行多字段搜索
10_ElasticSearch dis_max实现best fields策略进行多字段搜索更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记概述best fields策略 概念基于多个 field 查询...原创 2018-03-21 20:30:06 · 1839 阅读 · 0 评论 -
11_ElasticSearch 基于tie_breaker参数优化dis_max搜索效果
11_ElasticSearch 基于tie_breaker参数优化dis_max搜索效果更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记问题有些场景不是太好复现的,因为是这样,你需要尝试去构造不同的文...原创 2018-03-21 20:32:26 · 7725 阅读 · 1 评论 -
12_Elastic Search multi_match语法实现dis_max+tie_breaker
12_ElasticSearch multi_match语法实现dis_max+tie_breaker更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记概述:dis_maxscore沿用子查询score的...原创 2018-03-21 20:33:34 · 2035 阅读 · 0 评论 -
13_ElasticSearch multi_match+most fiels策略进行multi-field搜索
13_ElasticSearch multi_match+most fiels策略进行multi-field搜索更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记概述从best-fields换成most-...原创 2018-03-22 07:10:49 · 1816 阅读 · 0 评论 -
14_ElasticSearch 使用most_fields策略进行cross-fields search
ElasticSearch使用most_fields策略进行cross-fields search更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记概述cross-fields搜索,一个唯一标识,跨了多个...原创 2018-03-22 07:12:57 · 1303 阅读 · 0 评论 -
15_ElasticSearch copy_to定制组合field进行cross-fields搜索
15_ElasticSearch copy_to定制组合field进行cross-fields搜索更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记概述:用most_fields策略,去实现cross-f...原创 2018-03-22 07:15:23 · 2279 阅读 · 0 评论 -
16_ElasticSearch 使用原生cross-fiels 查询
16_ElasticSearch 使用原生cross-fields 查询更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记概述例子GET /forum/article/_search{ "query...原创 2018-03-22 07:17:40 · 1006 阅读 · 0 评论 -
58_elasticSearch 关系型与document类型数据模型对比
58_elasticSearch 关系型与document类型数据模型对比更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记一、概述1、关系型数据库的数据模型 2、es的document数据模型publi...原创 2018-04-09 15:05:21 · 667 阅读 · 0 评论 -
59_elasticSearch 通过应用层join实现用户与博客的关联
59_通过应用层join实现用户与博客的关联更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记一、概述1、构造用户与博客数据在构造数据模型的时候,还是将有关联关系的数据,然后分割为不同的实体,类似于关系型...原创 2018-04-09 15:09:16 · 1029 阅读 · 0 评论 -
28_ElasticSearch误拼写时的fuzzy模糊搜索技术
ElasticSearch误拼写时的fuzzy模糊搜索技术更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记一、概述fuzzy搜索技术搜索的时候,可能输入的搜索文本会出现误拼写的情况自动将拼写错误的搜索文...原创 2018-03-27 07:26:05 · 8357 阅读 · 1 评论 -
29_ElasticSearchIK中文分词器的安装和使用
29_ElasticSearchIK中文分词器的安装和使用更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记一、概述在搜索引擎领域,比较成熟和流行的,就是ik分词器对于“中国人很喜欢吃油条” 。使用不同的...原创 2018-03-27 07:49:03 · 1388 阅读 · 0 评论 -
60_elasticSearch 通过数据冗余实现用户与博客的关联
60_通过数据冗余实现用户与博客的关联更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记一、例子1、构造冗余的用户和博客数据第二种建模方式:用冗余数据,采用文档数据模型,进行数据建模,实现用户和博客的关联...原创 2018-04-09 15:11:17 · 906 阅读 · 0 评论