马超的博客

Elasticsearch在7.x的版本中支持向量检索。在向量函数的计算过程中，会对所有匹配的文档进行线性扫描。因此，查询预计时间会随着匹配文档的数量线性增长。出于这个原因，建议使用查询参数来限制匹配文档的数量（类似二次查找的逻辑，先使用检索到相关文档，然后使用向量函数计算文档相关度）。访问的推荐方法是通过cosinessimilarity, dotProduct, 1norm或l2norm函数。但是需要注意，每个DSL脚本只能调用这些函数一次。

Here’s the table of contents:TOC{:toc}ONgDB图数据库集成Elasticsearch在ONgDB中主要有模式索引和全文索引，可以支持一些基本的查询，但是在大量数据的时候都会有性能瓶颈。此外全文索引功能还不可以支持数值类型的检索。使用插件集成es之后，可以让图库支持更加复杂的检索并保证高性能。图数据库事务的CRUD操作都会同步到es，保持数据的一致。插件下载此插件支持索引中文标签，下载之后按照说明在neo4j.conf中配置对应选项。【创建好mappi

elasticsearch duery dsl做时间差值计算一、SQL<!--sql转为dsl查询-->SELECT * FROM news where pubtime>='2020-03-23 00:00:00' and pubtime<'2020-03-24 00:00:00' and source="TRS" and (crawle_time -pubtime...

分享一个最近研究的课题：现实中网络结构的度分布往往呈现幂律性，意即存在这么一类节点，其拥有的边数对整个网络的边数占比显著非0，我们称这类节点为超级节点。中证中小投资者服务中心对全体A股上市公司进行各1手的公益性持有，在A股股东关系中就是一个超级节点。【测试数据集使用开源的社交相关数据】超级节点的存在会极大影响入库、检索和分析的效率。请针对以下场景进行调研分析：1、图数据库对跟超级节点有...

一、背景说明六台服务器：内存-32G，CPU-8，硬盘200G六节点(elasticsearch版本-5.6.3)：角色配置-node.master: true node.data: true，内存16G （机器剩余内存也部署了一些其它程序）集群整体情况：106-indices 563-shards 317,749,447-docs 834.63GB二、优化1、节点独占服务器（每台服务器...

一、问题：[2017-01-12T15:55:55,433][INFO ][o.e.b.BootstrapCheck ] [SfD5sIh] bound or publishing to a non-loopback or non-link-local address, enforcing bootstrap checksERROR: bootstrap checks failedm...

查询航班信息时，同一用户可以配置多个任务进行航班信息的查询。配置的一个任务包括区域内航班查询、根据航班号进行查询，也可多个条件任意组合查询航班信息。当对多个任务的数据进行合并进行翻页，并且对于合并的数据需要进一步过滤查询时，多个任务的查询就必须合并到一起进行查询。为了解决这个问题，就需要使用嵌套的BOOL查询。elasticsearch的QUERY DSL的实现方式如下：第一层bool中...

Elasticsearch源码远程与本地调试一、源码本地调试1、BEBUG配置2、启动调试3、使用postman调用接口进行功能源码调试二、源码远程调试1、BEBUG配置2、启动调试3、使用postman调用接口进行功能源码调试4、设置代码书签5、设置断点组6、继续DEBUG流程java版本-1.8elasticsearch版本-6.1.2gradle版本-4.6备注：调试前请先在自己I...

Elasticsearch负载均衡策略发生死锁解决方案一、问题描述与解决方案1、问题产生的背景2、解决方案二、集群分片分配时的相关设置（译文）集群分片分配分片分配设置分片重新平衡分配设置启发式分片平衡分配一、问题描述与解决方案1、问题产生的背景es集群版本：elasticsearch-5.5.3HEAD插件索引集群显示（red/yellow）。四个节点的集群，索引有大量写入，同时有大量删除...

Elasticsearch解决数据版本冲突问题的策略一、主要请求流程（索引和删除等操作的基本流程）二、数据版本冲突的原因1、refresh的执行2、文档发生更改三、结论一、主要请求流程（索引和删除等操作的基本流程）1、集群中某节点接收到请求。2、请求转发到文档的主分片。3、在主分片上执行操作，同时将操作请求并行转发到其它节点。4、事务日志（translog ）在主分片和复制分片上同步，这...

Elaticsearch索引数据大批量删除接口优化一、需求二、索引数据删除接口2.1使用到的elasticsearch核心接口2.2封装删除脚本2.3封装接口实现三、Lucene分段处理的优化3.1、refersh3.2、flush3.3、合并策略3.4、存储限流3.5、存储3.6、使用postman设置索引级配置四、删除接口运行效率统计分析一、需求每隔一段时间，删除N天前的数据，索引只保留最...