wei_bo_cai的博客

ELK 之 logstash 利用 IP 获取地理位置 geoip摘要解决方案解析结果摘要在平常使用时，利用logstash获取日志信息，有时需要将日志中的IP地址转换成坐标或是实际的位置，这里提供一种可行的解决方案。（笔者实际生产环境中使用这种方案，仅供参考）解决方案将原始IP，利用Maxmind GeoLite2 databases数据库转换成geoip。可以参考官方文档这里利用两种过滤器，首先利用dissect解析日志，其次利用geoip将IP转换成坐标地址。input { fil

修改配置文件<!--用户可以在这里配置远程扩展字典 --><entry key="remote_ext_dict">location</entry> <!--用户可以在这里配置远程扩展停止词字典--><entry key="remote_ext_stopwords">location</entry>其中 location 是指一个 url，比如 http://192.168.1.147:8000/group/essay/sb

请求GET /_analyzePOST /_analyzeGET /<index>/_analyzePOST /<index>/_analyze参数路径里的参数：index，指定索引。如果指定，则analyzer或者 <field>参数将覆盖此值。如果未指定分析器或字段，则分析API使用默认分析器作为索引。如果未指定索引，或者该索引没有默认分析器，则分析API使用标准分析器。参数含义analyzer（可选，字符串）应应用于提供的

为一个字段指定分析器在创建索引时指定PUT my_index{ "mappings": { "properties": { "title": { "type": "text", "analyzer": "whitespace" } } }}为索引指定一个默认的分析器PUT my_index{ "settings": { "analysis": { "analyzer": {

Elasticsearch 自定义过滤器示例HTML strip Character Filter添加分析器参数标准分词器参数Lowercase token filter 小写标记过滤器创建分析器参数自定义组合使用一个更复杂的例子HTML strip Character Filter删除HTML从文本元素，并替换HTML实体与他们的解码值（例如，更换&用&）。html_strip使用的是Lucene的HTMLStripCharFilter。GET /_analyze{ "toke

Elasticsearch 数据类型 摘要字符串text datatype 文本数据类型keyword datatype 关键字数据类型Nested datatype 嵌套数据类型摘要Elasticsearch 支持大量的数据类型字符串text datatype 文本数据类型用于全文搜索的字段，例如电子邮件的正文或产品的描述。这些字段是可分析的，也就是说，它们通过分析器分析，以便 在被索引之前将字符串转换为单个术语的列表。通过分析过程，Elasticsearch 可以在每个全文字段中搜索单个单词。

运行、停止运行后，记得查看运行使用的配置文件，是否是你指定的配置文件systemctl start filebeatsystemctl stop filebeat开机启动默认情况下，系统启动时Filebeat服务会自动启动。要启用或禁用自动启动，请使用：systemctl enable filebeatsystemctl enable filebeat运行状态systemctl status filebeat日志journalctl -u filebeat.service

Elasticsearch function score query 得分方程查询摘要请求参数score functions 计算分数的函数script score 脚本函数weight 权重random 随机Field Value factorDecay function 衰减功能使用场景单个功能组合几个功能衰减功能使用示例摘要function_score将允许您修改由系统计算的匹配文档的相关性得分。例如，如果分数函数在计算上很费时，并且足以在过滤后的文档集上计算分数，则此功能很有用。用户必须声明一

Elasticsearch Range query -- 范围查询摘要参数field 下级参数请求示例摘要匹配在某个范围内的文档，主要针对数字、日期等类型字段参数field，想要搜索的字段field 下级参数gt，选填项。大于gte，选填项。大于等于lt，选填项。小于lte，选填项。小于等于format，选填项。用于转换日期查询中的日期格式。如果为指定，则使用默认格式。relation，选填项。指示范围查找匹配range的字段。INTERSECTS，默认值；使用具有与查找范围相交

Elasticsearch Prefix query 前缀查询摘要参数field 下级参数请求示例注意事项摘要返回包含指定前缀的所有文档；简单来说，就是文档某个field字段的前几个单词的前缀为value，则满足匹配条件。参数field，想要搜索的字段field 下级参数value 必选项，前缀请求示例GET blak_new/_search{ "query": { "prefix": { "addres": { "value": "str"

Elasticsearch fuzzy query -- 模糊查询摘要参数field 下级参数请求示例摘要返回包含与搜索字词相似的字词文档；为了找到相似的术语，fuzzy查询将在指定的编辑距离内创建一组搜索词的所有可能的变体或扩展。查询然后返回每个扩展的完全匹配。如果search.allow_expensive_queries 设置为false，则不会执行模糊查询。编辑距离，是将一个术语转换成另一个术语所需更改一个字符的次数（Levenshtein编辑距离衡量）。这些更改可以包括：更改字符，bo

这种查询返回包含字段索引值的文档。简单的来说，就是查询文档中是否包含field指定的字段；这个查询只有一个参数，field：要搜索的字段的名词如果为null或[]，会触发异常，parsing_exception: [exists] unknown token [VALUE_NULL] after [field]；如果为""，会触发异常，illegal_argument_exception查找缺少字段索引值的文档，可以使用bool查询中的must_not。请求示例GET blak_new/_s

第三章 Elasticsearch Query DSL -- 查询摘要查询和过滤的上下文（context）相关性得分查询上下文过滤上下文示例（下面这些查询参数，后续会详述）全文查询intervals 查询intervals的顶级参数match 规则参数aff_of 规则参数any_of 规则参数filter 规则参数prefix 规则参数wildcard 规则参数摘要Elasticsearch 提供了基于JSON的完整查询DSL（Domain Specific Language）来定义查询。将查询DSL