aganliang的专栏

运行 ./bin/logstash -f config/myconfig/# Sample Logstash configuration for creating a simple# Beats -> Logstash -> Elasticsearch pipeline.input{ stdin{} jdbc{ jdbc_connection_string => "jdbc:oracle:thin:@//ip:port/database" jdbc_user =&.

参考：https://github.com/mapbox/mapbox-gl-geocoderhttps://github.com/mapbox/carmen/blob/master/carmen-geojson.md使用nodejs环境，用webpack打包1.项目结构：2.package.json{ "name": "demo001", "version": "1.0.0", "description": "20200623", "main": "i..

geojson数据格式有GDAL通过ogr2ogr工具转换而来geojson格式并不满足es bulk api对json的格式要求:BULK API下面用py_es client来解析geojson，并使用bulk api导入espy_es client :https://elasticsearch-py.readthedocs.io/en/7.6.0/导入速度大概是：1500条/秒# aganliang 20200519# 使用ES python api插入geojson点...

input { stdin { } file { path => ["/home/aganliang/es/downloads/logstash-7.6.2/myconfig/data/poi-3.json"] start_position => "beginning" sincedb_path => "/dev/null" }}filter { json { source => "message" # target =...

mapping类似数据库中的schema的定义，mapping 定义索引中的字段名称，字段数据类型，索引的其他配置mapping会把json文档映射成lucene所需的扁平格式GET index/_mapping1.字段的数据类型简单类型：text/keyword,date,integer/floating,boolean,ipv4,ipv6复杂类型：对象和嵌套对象，object，特殊类型：geo_point,geo_shape，percolator2.dyna...

参考：https://www.cnblogs.com/cjsblog/p/10327673.html正向索引和倒排索引，都是索引，方便快速查找；两者实现原理不一样，应用场景不一样。正向索引是通过 key找到value倒排索引是通过value找到key倒排索引由以下几个部分组成：term：分词器分析后，形成的一个个单词叫做termterm dictionary：单词字典，term的集合term index：单词索引，可以快速找到这个单词，一般用B-Tree索引。是不是可以.

高级、复杂的查询，需要用到Query DSL# 基本语法POST /index/_search{ "sort":[{"order_date":"desc"}], "from":10, "size":20, "query":{ "match_all":{} }}# _source filteringPOST /index/_search{ "_source":["order_dat","order_num"], "from":10, "size".

#基本语法GET /movies/_search?q=2012&df=title&sort=year:desc&from=0&size=10&timeout=1s{ "profile":true}q 指定查询语句，使用Query String Syntaxdf 默认字段，不指定时，会对所有字段进行查询sort 排序 from 和size 用于分页profile 可以查看查询是如何被执行的# 泛查询，对所有字段查询GET /mo.

search API包括两种形式：URI Search 和 Request Body SearchURI Search 在URL中使用查询参数Request Body Search 使用ES提供的基于JSON格式的DSL(query domain spacific language)/_search 查询集群上所有的索引/index1/_search 查询索引1/index1,index2/_search 查询索引2/index*/_sea...

1.analysis 和 analyzeranalysis是指把全文本转换成一系列单词(term/token)的过程，也叫分词。analysis是通过分词器analyzer来实现的。2.ES自带分词器Standard Analyzer——默认分词器，按词切分，小写处理Simple Analyzer——按照非字母切分（符号被过滤），小写处理Sto Analyzer——小写处理，停用词过滤(the,a,is)Whitespace Analyzer——按照空格切分，不转小写K...

1.创建文档# 如果文档不存在，那么久索引新的文档。否则，现有文档会被删除，新的文档被索引。版本信息+1# indexPUT my_index/_doc/1{"user":"mike","comment":"you know,for search"}# create PUT my_index/_create/1{"user":"mike","comment":"you know,for search"}POST my_index/_doc(不指定ID，自动生成){"user"...

1.文档ES是面向文档的，文档是所有可搜索数据的最小单位，即关系型数据库中的一条记录比如日志文件中的日志项；一本电影的基本信息、一张唱片的详细信息；MP3播放器的一首歌、一篇PDF文档中的具体内容。文档会被序列化成json格式，保持在es中，json对象由字段组成，格式灵活，不需要预先定义格式，支持数组、支持嵌套字段类型包括：字符串、数值、布尔、日期、二进制、范围类型字段类型可以自己指定，或者通过ES自动推算每个文档都有一个unique ID你可以自己指定ID，或者通过es...

1.官网下载 https://www.elastic.co/cn/downloadses 不能用root运行，因此，需要另外建立用户，包括各种目录、文件都要在这个用户权限下。elasticsearch-7.6.2-linux-x86_64.tar.gztar -xvzf ***es基于java，当然需要安装最新的java2.配置文件elasticsearch.yml...

通过Composer安装好PHP客户端：安装指引<?phprequire 'vendor/autoload.php'; $client = Elasticsearch\ClientBuilder::create() ->setHosts(["localhost:9200"]) ->setRetries(0) ->build(); ...

Composer 是 PHP 的一个依赖管理工具。它允许你申明项目所依赖的代码库，它会在你的项目中为你安装它们。1.下载地址：Composer 下载2.点击安装，它会自动关联已经安装好的PHP，测试是否成功：3.在项目中新建composer.json文件：{ "require": { "elasticsearch/elasticsearch": "~6...

ELK stack采用6.2.3系列，配置conf文件读取多个本地json文件，导入到ES同一个索引的多个类型下面。 具体思路：Input中写入多个file插件，每一个file有自己的type。Output中，采用 if条件语句，按照不同type来导入到不同的索引的type下面。因为一个索引只能有一个类型。 PS:测试的时候，logstash仅仅...

官网下载页：ELK 官网 PS:安装路径不要存在空格等非法字符，要不，后面会报各种错误。一、ElasticSearch ES运行基于JVM，需要Java支持：JDK：Java version 1.8.0_131 or a later version，本人下载安装了1.8.0.161，安装指南，建议JDK的安装路径不要有空格等其他字符，以...

1.Elasticsearch安装配置完毕。2.下载IK 源码下载：https://github.com/medcl/elasticsearch-analysis-ik3.解压到到ES_HOME/plugins/ik目录下面(直接包含一个conf文件夹和一堆.jar包)4.重新启动ES5.启动 看到try load config ……IK相关信息，说明启动完成和安装IK插...