qq_14950717的博客

一、Elasticsearch查询过程Elasticsearch查询分两个阶段查询阶段和提取阶段 查询阶段 客户端向集群中的某个节点（假设节点1）发起查询请求，节点1会创建一个from+size大小的队列（from：偏移量，size：要取回的文档个数）。 节点1向集群中所有其他的分片（主或从）发起查询请求，每个分片也会创建一个from+size大小的队列，并将查询结果添加到队列中。 其...

Cluster 集群名称，默认为elasticsearch： cluster.name: elasticsearch 设置一个节点的并发数量，有两种情况，一种是在初始复苏过程中： cluster.routing.allocation.node_initial_primaries_recoveries: 4 另一种是在添加、删除节点及调整时： cluster.routing.all

Filter DSL term 过滤 term主要用于精确匹配哪些值，比如数字，日期，布尔值或 not_analyzed 的字符串(未经分析的文本数据类型)： { “term”: { “age”: 26 }} { “term”: { “date”: “2014-09-01” }} { “term”: { “public”: true }}

今天在用elasticsearch做检索数据的时候，突然出现了一个问题，此时我在linux中查看最大文件句柄数，命令为：ulimit -n 或者 ulimit -a ； 设置linux文件句柄的方法有： 临时起效的： shell关闭会还原，ulimit -n 65535 永久设置： vi /etc/security/limits.confsoft nofile 1024000hard

本文elasticsearch版本为1.7.0，mongodb版本为3.2.6 首先安装mongodb， sudo tar -zxvf mongodb-linux-x86_64-rhel62-3.2.6.gz sudo mv mongodb-linux-x86_64-rhel62-3.2.6 mongodb 用mongodb单机版模拟副本分片集群； cd mongodb/bin sudo

elasticsearch一个准实时的搜索引擎，基于lucene构建，它的主要强项还是在全文检索方面。工作中还是使用到了这部分功能，这里做一个简单的总结，可以使初次使用的人很快的配置和使用。 一、全文检索的概念 首先介绍全文检索的概念，就是对一篇文章进行索引，可以根据关键字搜索，类似于mysql里的like语句。 全文索引就是把内容根据词的意义进行分词，然后分别创建索引，例如”你们的激情是

ElasticSearch性能优化主要分为4个方面的优化。 一、服务器部署 1、增加1-2台服务器，用于负载均衡节点elasticSearch的配置文件中有2个参数：node.master和node.data。这两个参数搭配使用时，能够帮助提供服务器性能。 node.master: false node.data: true 该node服务器只作为一个数据节点，只用于存储索引数据。使该n

悲观并发控制（PCC）这一点在关系数据库中被广泛使用。假设这种情况很容易发生，我们就可以阻止对这一资源的访问。典型的例子就是当我们在读取一个数据前先锁定这一行，然后确保只有读取到数据的这个线程可以修改这一行数据。 乐观并发控制（OCC）Elasticsearch所使用的。假设这种情况并不会经常发生，也不会去阻止某一数据的访问。然而，如果基础数据在我们读取和写入的间隔中发生了变化，更新就会失败。这时

elasticsearch初识： 当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作: 分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。 这么多的功能被集成到一台服务器上，你可以轻松地通过客户端或者任何你喜欢的程序语言与 E

前面简单的介绍了elasticsearch。现在开始使用，当我们面对海量数据的时候，如果想把数据导入到es，肯定不能想以前那样单条导入，我使用的是spark导入到es的批量导入。第三方依赖包：这里写链接内容 可以到这里下载相应的依赖包解压使用。PS：在使用的时候一定要记得spark和scala以及es的对应关系，我使用的是spark1.6.2 ，scala使用的是2.10.4，在使用的时spark

介绍下es的几个概念： cluster 代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。 node node是elasticsearch的

ElasticSearch 是一个基于Lucene构建的开源、分布式，RESTful搜索引擎。它的服务是为具有数据库和Web前端的应用程序提供附加的组件（即可搜索的存储库）。ElasticSearch为应用程序提供搜索算法和相关的基础架构，用户只需要将应用程序中的数据上载到ElasticSearch数据存储中，就可以通过RESTful URL与其交互。ElasticSearch的架构明显不同于它之前