Elasticsearch 2014年12月简报-优快云博客

本文链接：https://blog.youkuaiyun.com/gaoyingju/article/details/43305665

本文概述了Elasticsearch 1.4.2和1.3.7的发布细节，包括性能提升和bug修复等内容。同时介绍了Logstash 1.5.0 Beta1的新特性，如插件管理改进、性能提升、对Apache Kafka的支持等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. Elasticsearch Updates

1.1 Elasticsearch 1.4.2发布了

一些改进和bug fix，没有大变化:

(1) 根据磁盘剩余空间判断shard存储位置的逻辑在速度上有大幅提升，这也提升了cluster重启后的恢复速度。

(2) 提升了把Snapshot镜像到shared file system的速度。

(3) 减少了不必要的cluster state更新。

(4) index stats API 在有shard恢复的情况下不再阻塞。

1.2 Elasticsearch 1.3.7发布了

改进和bug fix，release note见:Elasticsearch 1.3.7 released

1.3 官方documents更新

Elasticsearch, Logstash, Kibana, Marvel的官方documents, tutorial现在都统一放在了这里：http://www.elasticsearch.org/guide/。以后看docs统统到这里！这里的logstash的documents比logstash.net的更详尽，以后logstash.net的documents也会逐渐停止更新。

2. Elasticsearch Ecosystem Updates

2.1 Logstash 1.5.0 Beta 1发布了

1.5.0最大的变化在插件管理上。

(1) 插件管理：插件与Logstash主程序分离了，使用 rubygems.org来发布插件，另外附带一个plugin命令来管理插件。所以现在Logstash与Elasitcsearch的插件管理方式相似了。

(2) 性能提升：grok filter的正则匹配做了优化，如官方测试了一下COMBINEDAPACHELOG，相比1.4.2,性能近乎提高了1倍。json的序列化与反序列化性能提升超过了1倍。

(3) Apache Kafka：增加了对最近很火的分布式消息系统kafka input,output的支持.

(4) 安全性：elasticsearch input, filter, output插件增加了验证和传输层的加密支持。(这是为Elasticsearch.com公司的另一款即将发布的安全产品Shield做准备的)transport encryption support.

(5) 改进和bug fix:

允许为event包含`metadata`,它不会被logstash output插件输出，这个新功能避免了在event上生成临时的`field`.([#1834](https://github.com/elasticsearch/logstash/issues/1834), [#LOGSTASH-1798](https://logstash.jira.com/browse/LOGSTASH-1798))。同时Logstash输出时默认去掉了`message.raw `。

科普：如何安装Kafka插件
 安装kafka input插件：
 $LS_HOME/bin/plugin install logstash-input-kafka
 安装kafka output插件：
 $LS_HOME/bin/plugin install logstash-output-kafka

2.2 Kibana 4 Beta3 发布了

2.2.1 interactive charts and dashboards

`Dashboard` Tab上添加了`filter`，条形图，饼图上的元素都可以点击来创建`filter`，`filter`的操控性比kibana3 更好。

2.2.2 scripted fields

用户可用脚本对若干field的值进行计算或字符串操作，并将结果输出到另外的field中。这个field是`scripted field`，可以像普通field一样在kibana中使用它。因为`scripted field`不存储在elasticsearch中，所以不能对其进行搜索。

2.2.3 highlighting and a new format for _source

在搜索的结果数据中，关键词被高亮，显得更突出。`_source`的展现方式也更加人性化。

2.2.4 hit links

看上图，如果要分享一条数据给其他人，可以点右侧的`Link to....`。以前只能分享整个`dashboard`的链接，现在可以分享单条数据的链接，但这个有啥用呢？我觉得倒不如能分享单个图表更有意义，像`keen.io`提供的api那样，方便把某个图表嵌入到任意页面中。

2.2.5 metric visualization

新增了`metric`类型，就是一个图表中只有一个大大的数字。

2.3 elasticsearch 的.NET client NEST 1.3.0发布了

详见release note: https://github.com/elasticsearch/elasticsearch-net/releases/tag/1.3.0

2.4 Marvel 1.3.0 发布了

主要更新如下：

(1) sense中加入了1.4.x新增的api自动补全提示。

(2) 增加了对HTTPS的支持。

(3) monitoring ui增加了对elasticsearch 1.4.0新增的 circuit breakers的监控，以及对circuit break limit, Query Cache, index throttling, index writerd的内存使用，version map的监控。

(4) Sense: 增加了禁掉mappings和index名称自动完成的设置。PS：以前没有此功能时，我们的es集群有200+ index, 打开sense会假死一段时间，因为浏览器要解析很多mappings.

(5) sense 新增API举例: Cluster Reroute API, Get Field Mappings API, cluster.routing.allocation.* settings, Scripted Metric Aggregation, simple_query_string query, Top Hits aggregation, Percentiles Rank aggregation, Disk Threshold Allocator settings

完整的更新列表见[marvel 1.3.0 released](http://www.elasticsearch.org/blog/marvel-1-3-0-released/)