
ElasticSearch
TURING.DT
科技改变世界,技术改变人生。
展开
-
Elasticsearch系列01:基础教程
基础概念 Elasticsearch有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。 接近实时(NRT) Elasticsearch是一个接近实时的搜索平台。这意味着,从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)。 集群(cluster) 一个集群就是由一个或多转载 2017-04-26 11:22:04 · 802 阅读 · 0 评论 -
ElasticSearch系列10:分布式集群的特性
在开始我们提到Elasticsearch可以扩展到上百(甚至上千)的服务器来处理PB级的数据。然而我们的教程只是给出了一些使用Elasticsearch的例子,并未涉及相关机制。Elasticsearch为分布式而生,而且它的设计隐藏了分布式本身的复杂性。 Elasticsearch在分布式概念上做了很大程度上的透明化,在教程中你不需要知道任何关于分布式系统、分片、集群发现或者其他大量的分布转载 2017-04-26 19:04:35 · 712 阅读 · 0 评论 -
ElasticSearch系列09:ElasticSearch2.4集群搭建
环境: 节点1 10.11.32.76 hadooptest76.bj 节点2 10.11.32.77 hadooptest77.bj 节点3 10.11.32.81 hadooptest81.bj java版本要求:最低1.7 下载地址: curl -L -O https://download.elastic.co/elasticsearch/release/org/elas原创 2017-04-26 18:19:49 · 1044 阅读 · 0 评论 -
ElasticSearch系列02:操作实践
在Elasticsearch中,文档归属于一种类型(type),而这些类型存在于索引(index)中,我们可以画一些简单的对比图来类比传统关系型数据库: Relational DB -> Databases -> Tables -> Rows -> Columns Elasticsearch -> Indices -> Types -> Documents -> Fields El原创 2017-04-26 15:10:40 · 653 阅读 · 0 评论 -
ElasticSearch系列08:python操作Elasticsearch
Elasticsearch客户端列表:https://www.elastic.co/guide/en/elasticsearch/client/index.html Python API:https://www.elastic.co/guide/en/elasticsearch/client/python-api/current/index.html 参考文档:http://elasticse原创 2017-04-26 16:49:36 · 1147 阅读 · 0 评论 -
ElasticSearch系列04:核心概念
一、ES配置文件详解 elasticsearch.yml es的基本配置文件 详见elasticsearch中文.yml logging.yml 日志配置文件,es也是使用log4j来记录日志的,所以logging.yml里的设置按普通log4j配置来设置就行了。 二、ES中的核心概念 cluster*** 代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是原创 2017-04-26 15:51:01 · 506 阅读 · 0 评论 -
ElasticSearch系列06:ES优化建议
一、ES优化 调大系统的"最大打开文件数",建议32K甚至是64K ulimit -a (查看) ulimit -n 32000(设置) 修改配置文件调整ES的JVM内存大小 1:修改bin/elasticsearch.in.sh中ES_MIN_MEM和ES_MAX_MEM的大小,建议设置一样大,避免频繁的分配内存,根据服务器内存大小,一般分配60%左右(默认256M)原创 2017-04-26 15:59:21 · 1054 阅读 · 0 评论 -
Elasticsearch系列05:Elasticsearch集群问题处理
问题一:Elasticsearch集群脑裂问题 所谓脑裂问题(类似于精神分裂),就是同一个集群中的不同节点,对于集群的状态有了不一样的理解。 今天,Elasticsearch集群出现了查询极端缓慢的情况,通过以下命令查看集群状态: curl -XGET 'es-1:9200/_cluster/health' 发现,集群的总体状态是red,本来9个节点的集群,在结果中只显示了4个;但转载 2017-04-26 15:54:27 · 392 阅读 · 0 评论 -
ElasticSearch系列03:elasticsearch.yml(中文配置详解)
一、基本配置 elasticsearch的config文件夹里面有两个配置文 件:elasticsearch.yml和logging.yml,第一个是es的基本配置文件,第二个是日志配置文件,es也是使用log4j来记录日 志的,所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。 cluster.na原创 2017-04-26 15:20:52 · 916 阅读 · 0 评论 -
Elasticsearch系列07:数据迁移与备份
虽然ES提供了replicas shards的机制来保证数据的完整性不会因为几个节点的奔溃而被破坏,但是定期的数据备份以备不时之需依然重要。此外,通过备份与恢复也可实现数据在不同集群间的迁移(直接复制data目录下的索引文件的做法我尝试过,但没有成功)。 备份的方式在官方文档里有清楚的交代:先创建仓库(repository),再往仓库里添加一个快照(snapshot),查看备份状态,搞定。虽转载 2017-04-26 16:05:21 · 984 阅读 · 0 评论