SouthPark的专栏

Elasticsearch基础教程    翻译：潘飞（tinylambda@gmail.com）基础概念    Elasticsearch有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。    接近实时（NRT）        Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个

启动初始化时间长修改es配置，重启集群成本巨大。ES集群已有25T数据，27个节点，24个数据节点（热盘12和hot节点，慢盘12个stale节点，3个mater节点），数据节点的启动，加入集群后需要初始化全部索引，这个过程过程很慢。全部重启一次可能要一天，非常耗时。重启后经常遇到少量索引一直处于unassigned状态，导致集群一直是red状态。目标有时调整配置，希望能快

Flume1.6不兼容用flume从kafka消费消息，然后用ElasticsearchSink往ES写入数据。ES从1.7.1升级到5.4.1后，flume的代码不改启动后sink大量报错，所有数据都写入失败。JDK升到1.8，elasticsearch版本升到5.4.1，Log4j也加上，还是不行。 org.apache.logging.log4j log4j-api

Elasticsearch从1.7.1升到5.4.1后，java客户端遇到了一些错误。unsorportedClassVersion出现unsorportedClassVersion等类似问题。由于elasticsearch 5.0 以及以后版本 使用了Java lambda表达式等新特性，因此jdk 版本必须是1.8 以上版本（含1.8）log4j相关异常启动报错

每天定时迁移热盘数据到慢盘，过一段时间发现快盘越来越容易满，每天数据量没有太大变化。查看es存储目录的索引文件，发现部分索引迁移失败导致的。我们的日志索引是按"YYYY-mm-dd_项目名"命名，最近2天的数据存在热盘路径/data1/es/es_8351、es_8352、es_8353下。写个脚本，遍历下历史索引在快盘存储目录下的文件大小，如果已经迁移到慢盘，快盘下存储的索引信息一般只有

配置文件基本概念接近实时NRT集群cluster索引index文档document映射mapping类型type分片shards副本replicas数据恢复recovery数据源River网关gateway自动发现discoveryzen通信Transport分片和复制shards and replicaselasticsearch yml 详解参考链接1. 配置文件

elasticsearch 使用 命令 查看 节点,索引 等 占用内存情况 具体细节 参考官网文档 参考文档https://www.elastic.co/guide/en/elasticsearch/reference/5.3/cat.htmlhttps://www.elastic.co/blog/elasticsearch-command-line-debugging-with-

JDK版本    使用JDK1.8的最新版本jdk-8u131-linux-x64.tar.gz（官方推荐ES5.4.1使用jdk-8u131以上的版本，我们现在es是1.7.1，计划升到5.X，所以用最新的）    JVM堆大小设置    Elasticsearch很耗内存、cpu。标准的建议是把50%的内存给elasticsearch，剩下的50%给Lu

elasticsearch启动警告Unable to lock JVM memory (ENOMEM). This can result in part of the JVM being swapped out. Increase RLIMIT_MEMLOCK (ulimit).内存锁定值的限制(max locked memory)这个值只对普通用户起作用,对超级用户不起作

Elasticsearch大量unassigned shards

发现elasticsearch集群的状态是red，unassign的分片数很多，看了下都是些旧的日期的索引（应该是定时任务删除失败导致的）。curl -XGET ip:port/_cat/shards | grep UNASSIGNED数量有几百个，写个脚本处理下，先恢复成green。red状态好像会影响索引创建和数据迁移先把需要删除的索引导出到文件curl -XGET ip:por

ES版本升级生产环境用的是1.7，Elasticsearch5.x在性能上有了很大的提升，计划升级到5.4，先在线下部署验证，过程中发现很多配置项都改了，各种报错。一定要看官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/_installation.html，网上找到的很多都过时的低版本配置，要么不