
es
鸭梨山大哎
life hard take it easy
展开
-
spark 读取elasticsearch数据
添加依赖<dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch-hadoop</artifactId> <version>6.8.7</version></dependency>案例测试import com.hm.util.SparkHe原创 2021-01-23 10:00:36 · 566 阅读 · 1 评论 -
elasticsearch 之index API
ES提供了多种操作数据的方式,其中较为常见的方式就是RESTful风格的API。利用Postman发起HTTP请求(当然也可以在命令行中使用curl命令)。比如 用命令行创建index,index名为demo$ curl -X PUT http://localhost:9200/demo{"acknowledged":true,"shards_acknowledged":true,"index":"demo"}也可以在创建时指定副本数量PUT /my-index-000001{ "se原创 2021-01-22 19:32:39 · 270 阅读 · 0 评论 -
spark写入数据到elasticsearch
本例中将DataFrame写入ES,之后利用kibana进行统计展示.import com.hm.util.SparkHelperimport org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}object Test { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkHelper.getSparkSession val op原创 2021-01-22 18:59:13 · 1117 阅读 · 0 评论 -
kiban可视化入门
前提已经安装好kiban进入webuihttp://node01:5601/点击左上角图标选择添加样例数据进去的话会看到一个仪表盘,是官方示例做好的.然后可以看一下每个图表是怎么做的,比如向查看下面这个图的做法可以点击 可视化,之后选择图表进入各坐标轴含义如下在这里可以设置各个坐标的字段以及聚合方式总结kiban可以实现数据的可视化...原创 2021-01-22 17:20:14 · 1238 阅读 · 0 评论 -
全文搜索引擎 Elasticsearch 入门概念
基本概念Node 与 ClusterElastic 本质上是一个分布式数据库,允许多台服务器协同工作,每台服务器可以运行多个 Elastic 实例。单个 Elastic 实例称为一个节点(node)。一组节点构成一个集群(cluster)。IndexElastic 会索引所有字段,经过处理后写入一个反向索引(Inverted Index)。查找数据的时候,直接查找该索引。所以,Elastic 数据管理的顶层单位就叫做 Index(索引)。它是单个数据库的同义词。每个 Index (即数据库)的名转载 2021-01-22 16:06:42 · 128 阅读 · 0 评论 -
elasticsearch及Kibana入门安装
安装[root@mypc02 mysoft]# tar -zxvf elasticsearch-6.3.1.tar.gz -C /usr/local创建用户组及用户groupadd elsearchuseradd elsearch -g elsearchpasswd elsearchchown -R elsearch:elsearch elasticsearch-6.3.1默认情况下,Elastic 只允许本机访问,如果需要远程访问,可以修改 Elastic 安装目录的config/el原创 2021-01-13 21:16:45 · 147 阅读 · 0 评论