mark's technic world

基础概念    Elasticsearch有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。    接近实时（NRT）        Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）。           集群（cluster）        一个集群就是由一个

在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。这些功能是由两个属性控制的。node.master和node.data默认情况下这两个属性的值都是true。下面详细介绍一下这两个属性的含义以及不同组合可以达到的效果。node...

1.1. 基本配置 elasticsearch的config文件夹里面有两个配置文 件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日 志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。cluster.na...

Slow LogeditSearch Slow LogeditShard level slow search log allows to log slow search (query and fetch phases) into a dedicated log file.Thresholds can be set for both the query phase of the execution,...

Slow LogeditSearch Slow LogeditShard level slow search log allows to log slow search (query and fetch phases) into a dedicated log file.Thresholds can be set for both the query phase of the execution,...

参看网址：https://www.elastic.co/guide/en/elasticsearch/reference/2.3/index-modules-slowlog.html1、通过修改elasticsearch.yml来启用慢查询：vim elasticsearch.yml###Search Slow Log ：查询慢日志配置，日志记录在以“_index_isearch_slowlog....

转载请注明出处：http://blog.youkuaiyun.com/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer写在前边的话Elastalert是Yelp公司用python2.6写的一个报警框架，github地址为 https://github.com/Yelp/elastalert环境介绍Ubu...

Elasticsearch 可以支持单个document中含有多个不同的数据类型。核心数据类型（Core datatypes）字符型（String datatype）：string数字型（Numeric datatypes）：long：64位存储 , integer：32位存储 , short：16位存储 , byte：8位存储 , double：64位双精度存储 , float：32位单精度存储...

删除一个索引编辑用以下的请求来 删除索引:DELETE /my_index你也可以这样删除多个索引：DELETE /index_one,index_twoDELETE /index_*你甚至可以这样删除 全部 索引：DELETE /_allDELETE /*对一些人来说，能够用单个命令来删除所有数据可能会导致可怕的后果。如果你想要避免意外的大量删除, 你可以在你的 elasticsearch....

#fluent-plugin-esslowqueryFluent parser plugin for Elasticsearch slow query log file.##Installation$ td-agent-gem install fluent-plugin-esslowquery##How to useEdit /etc/td-agent/td-agent.conf file.&lt...

template中规定了数据的存储格式、分片数量等信息，下边是一个elasticsearch中template例子：[html] view plain copyhttp://192.168.1.215:9200/_template/content_tpl  PUT  {      "template" : "content_*",      "settings" : {          "num...

head插件mapping的写入与查看修改mappingkopf插件mapping的写入与查看修改mapping参考head插件首先打开浏览器输入Elasticearch访问地址： ip:Elasticearch集群地址 portElasticearch端口号http://Ip:port/_plugin/head/12选中复合查询，如下图所示：mapping的写入与查看首先创建一个索引： 按照如...

在ElaticSearch里面，路由功能算是一个高级用法，大多数时候我们用的都是系统默认的路由功能，我们知道一个es索引可以分多个shard和每个shard又可以有多个replia，那么现在思考一个问题，我们添加进去的数据，是如何分布在各个shard上面的，而查询时候它是又怎么找到特定的数据呢。默认情况下，索引数据的分片规则，是下面的公式：shard_num = hash(_routing) % ...

本文地址http://blog.youkuaiyun.com/makefriend7/article/details/60323717首先放上官网地址https://www.elastic.co/guide/en/elasticsearch/plugins/5.2/index.html一，插件介绍插件，大家听名字就知道，就是在ES上插入一个东西，来增强ES的能力。这里先简单介绍一下插件的分类API exten...

elasticsearch-reindexhttps://github.com/karussell/elasticsearch-reindex开发语言：java部署方式：elasticsearc 插件，部署灵活性不高端口：9200支持夸集群索引复制elasticsearch-dumphttps://github.com/taskrabbit/elasticsearch-dump开发语言：JavaS...

mapping的写入与查看首先创建一个索引：curl -XPOST "http://127.0.0.1:9200/productindex"{"acknowledged":true} 12现在只创建了一个索引，并没有设置mapping，查看一下索引mapping的内容：curl -XGET "http://127.0.0.1:9200/productindex/_mapping?pretty"...

搜索引擎选型调研文档Elasticsearch简介*Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。但是Lu...

Elasticsearch扩展性非常好，有很多官方和第三方开发的插件，下面以分词、同步、数据传输、脚本支持、站点、其它这几个类别进行划分。分词插件Combo Analysis Plugin (作者 Olivier Favre, Yakaz)简介：组合分词器，可以把多个分词器的结果组合在一起。Smart Chinese Analysis Plugin (作者 elasticsearch 团队)简介：...

使用Elasticsearch时，了解字段的概念，是必不可少的。毕竟无论是es还是传统的数据库，都无法弱化字段的类型。背景知识在Es中，字段的类型很关键：在索引的时候，如果字段第一次出现，会自动识别某个类型，这种规则之前已经讲过了。那么如果一个字段已经存在了，并且设置为某个类型。再来一条数据，字段的数据不与当前的类型相符，就会出现字段冲突的问题。如果发生了冲突，在2.x版本会自动拒绝。如果自动映射...

In this article, we will discuss about “How to create a Spring Boot + Spring Data + Elasticsearch Example”.Tools used in this article :Spring Boot 1.5.1.RELEASESpring Boot Starter Data Elastic

一、拼音分词的应用拼音分词在日常生活中其实很常见，也许你每天都在用。打开淘宝看一看吧,输入拼音”zhonghua”,下面会有包含”zhonghua”对应的中文”中华”的商品的提示：拼音分词是根据输入的拼音提示对应的中文，通过拼音分词提升搜索体验、加快搜索速度。下面介绍如何在Elasticsearch 5.1.1中配置和实现pinyin+iK分词。二、IK分词器下

目前项目中使用的是elasticsearch-1.5.1版本，使用到的插件如下： 1. hq 监控，管理elasticsearch集群以及通过web界面来进行查询操作 项目地址：https://github.com/royrusso/elasticsearch-HQ 2. analysis-ik ik分词器，中文分词 项目地址：https://github.com/medcl/el

Elasticsearch推荐插件篇(head,sense,marvel)安装headhead插件可以用来快速查看elasticsearch中的数据概况以及非全量的数据，也支持控件化查询和rest请求，但是体验都不是很好。一般就用它来看各个索引的数据量以及分片的状态。[root@localnode1 bin]# ./plugin install mobz/ela

原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://467754239.blog.51cto.com/4878013/1700828大纲：一、简介二、Logstash三、Redis四、Elasticsearch五、Kinaba一、简介1、核心

Elasticsearch基础教程    翻译：潘飞（tinylambda@gmail.com）基础概念    Elasticsearch有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。    接近实时（NRT）        Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个

ES-Hadoop是连接快速查询和大数据分析的桥梁，它能够无间隙的在Hadoop和ElasticSearch上移动数据。ES Hadoop索引Hadoop数据到Elasticsearch，充分利用其查询速度，大量聚合能力来使它比以往更快，同时可以使用HDFS作为Elasticsearch长期存档。ES-Hadoop可以本地集成Hadoop生态系统上的很多流行组件，比如Spark、Hive、Pig、

Why Elasticsearch？由于需要提升项目的搜索质量，最近研究了一下Elasticsearch，一款非常优秀的分布式搜索程序。最开始的一些笔记放到github，这里只是归纳总结一下。首先，为什么要使用Elasticsearch？最开始的时候，我们的项目仅仅使用MySQL进行简单的搜索，然后一个不能索引的like语句，直接拉低MySQL的性能。后来，我们曾考虑过sphinx，并且s

搜索引擎选型调研文档Elasticsearch简介*Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说Lucene是当今最先进，最高效的

简介ElasticSearch是一个开源的分布式搜索引擎，具备高可靠性，支持非常多的企业级搜索用例。像Solr4一样，是基于Lucene构建的。支持时间时间索引和全文检索。官网：http://www.elasticsearch.org它对外提供一系列基于java和http的api，用于索引、检索、修改大多数配置。写这篇博客的的主要原因是ElasticSearch的网站只有一些简单的介绍

Elasticsearch 5.0下Java API使用指南一.2.X到5.XElasticsearch 2.x使用java api把elasticsearch安装包下的lib文件夹下的jar文件全部加入到工程类路径即可,换到5.x就不适用了.创建Clien的代码:Settings settings = Settings.builder().put("cluster.name"

下载新版的elasticsearch 地址 :Elasticsearch下载 下载完解压。然后这里默认有jdk环境的。并且要求是jdk1.8以上的环境的。 head插件下载 我传到网盘了 链接：http://pan.baidu.com/s/1eSq1g5O 密码：dflq 下载后解压到看图 进入安装目录的bin目录双击执行 elasticsearch.bat

一、基本配置 elasticsearch的config文件夹里面有两个配置文 件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日 志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。cluster.n

lasticSearch5.3安装IK分词器之前使用Elasticsearch安装head插件成功了，但是安装IK分词器却失败了。貌似是ElasticSearch5.0以后就不支持直接在elasticsearch.yml中配置IK了。原因下面会说明。 首先下载： https://www.elastic.co/downloads/elasticsearch https://g

Elasticsearch默认提供的分词器，会把每个汉字分开，而不是我们想要的根据关键词来分词。例如：[html] view plain copycurl -XPOST  "http://localhost:9200/userinfo/_analyze?analyzer=standard&pretty=true&text=我是中国人"  我们

分析器简介全文搜索引擎会用某种算法对要建索引的文档进行分析， 从文档中提取出若干Token(词元)， 这些算法称为Tokenizer(分词器)；这些Token会被进一步处理， 比如转成小写等， 这些处理算法被称为Token Filter(词元处理器), 被处理后的结果被称为Term(词)， 文档中包含了几个这样的Term被称为Frequency(词频)。 引擎会建立Term和原文档

Elasticsearch生成mapping的方式上有多种方式，我们可以把mapping做成配置文件，也可以用spring-data-elasticsearch基于注解生成。在基于注解生成这种方式上spring-data的注解还是不错的，但是如果想深度定制化一些参数spring-data却是不支持的，比如针对分词的string类型字段的fielddata加载设置。又如果项目中不想引

最近项目准备用到elasticsearch， 首先需要搞清楚elasticsearch的一些概念，在网上发现这篇文章不错，以通俗易懂的语言讲明白了mapping的概念。默认mappingelasticsearch(以下简称ES)是没有模式(schema)的，当我们执行以下命令：[sql] view plain copycurl -

项目清单elasticsearch服务下载包括其中插件和分词http://download.youkuaiyun.com/detail/u014201191/8809619项目源码资源文件app.properties[java] view plain copy

. Query creationGenerally the query creation mechanism for Elasticsearch works as described in Query methods . Here’s a short example of what a Elasticsearch query method translates into:

Elasticsearch的Aggregation功能也异常强悍。Aggregation共分为三种：Metric Aggregations、Bucket Aggregations、 Pipeline Aggregations。下面将分别进行总结。以下所有内容都来自官网：喜欢原汁原味的参看下方网址，不喜欢英文的参看本人总结。官网（权威）：https://www.elastic.co/guide/en...