LXWalaz1s1s的博客

如何优雅的将Hive的数据写入ES，每次新增一张表是否新增一个配置文件就能实现呢？当然可以，本篇文章就带你走进这个优雅的ETL Jar包；

文章目录1.需求2.ElasticSearch嵌套数据存储结构2.ElasticSearch嵌套数据写入2.ElasticSearch嵌套查询2.ElasticSearch嵌套Java API操作1.需求需求看板查看全国各省的城市，当选中江西省时，可以点进去查看江西省的各大城市；2.ElasticSearch嵌套数据存储结构  这个情况呢，可以存两个index，形成一对多的关系来查询；那这里说另一种结构，嵌套结构；  建表语句如下，citys_list就是一个嵌套结构，你可以认为citys_l

文章目录1.版本配置2.官网下载3.安装3.1 解压，设置软链3.2 修改配置3.3 启动，查询端口、网页访问1.版本配置OS:CentOS7ElasticSearch:7.7.1Kibana:7.7.1   注意:ELK架构中elasticsearch，kibana必须版本一致，如果不一致请下载同一样的版本；2.官网下载    Download Kibana    如图2.1，找到自己相应的版本下载，注意，一定要和自己的elasticsearch的版本一致；下载选择tar包下载吧；下载

背 景  之所以选择用ES，自然是看重了她的倒排所以，倒排索引又必然关联到分词的逻辑，此处就以中文分词为例以下说到的分词指的就是中文分词，ES本身默认的分词是将每个汉字逐个分开，具体如下，自然是很弱的，无法满足业务需求，那么就需要把那些优秀的分词器融入到ES中来，业界比较好的中文分词器排名如下，hanlp> ansj >结巴>ik>smart chinese analysis；   博主这里就选两种比较常用的讲解hanlp和ik ，hanlp在业界名声最响，ik是官方推荐和ES版

背 景  博主有次在给ES导数的时候，将Hive内的一个字段导入ES内，一直报错说什么null值异常，一开始一脸懵逼，后面经过查阅了官网发现原来ES不支持null值；  其实我们想想原理也很简单，因为ES是根据他的field来做倒排索引，如果给的是个null值，你让怎么排呢对吧？全文索引：也叫倒排索引，将需要匹配搜索条件的一段词语根据分词器进行分词，分出的单个词语放到一个分词库中，并且标注这个词隶属于哪一个行目标数据id；于是客户端在搜索时，根据搜索内容也进行分词到分词库中去检索，然后找打匹配的内容

背 景  ElasticSearch常用的字符串类型有keyword和text,那keyword支持排序但是不支持分词，而text类型字段，ES默认分词且不会建立正排索引。即使设置"fielddata": true建立正排索引后，对该字段的排序依然有问题：ES不会以整个字段文本排序，而是选择分词后的一个字段进行排序。  而有的需求，我不但要字段支持分词，也要该字段整体能排序，而不是分词后的字段排序，如设置的标签字段tag_key，我希望别人搜索标签的时候能支持分词，同时我也希望搜出来的标签是有序的；实

目 录项目实战——将Hive表的数据直接导入ElasticSearch  此篇文章不用写代码，简单粗暴，但是相对没有那么灵活；底层采用MapReduce计算框架，导入速度相对较慢！项目实战——Spark将Hive表的数据写入ElasticSearch（Java版本）  此篇文章需要Java代码，实现功能和篇幅类似，直接Java一站式解决Hive内用Spark取数，新建ES索引，灌入数据，并且采用ES别名机制，实现ES数据更新的无缝更新，底层采用Spark计算框架，导入速度相对文章1的做法较快的多！

目 录项目实战——将Hive表的数据直接导入ElasticSearch  此篇文章不用写代码，简单粗暴，但是相对没有那么灵活；底层采用MapReduce计算框架，导入速度相对较慢！项目实战——Spark将Hive表的数据写入ElasticSearch（Java版本）  此篇文章需要Java代码，实现功能和篇幅类似，直接Java一站式解决Hive内用Spark取数，新建ES索引，灌入数据，并且采用ES别名机制，实现ES数据更新的无缝更新，底层采用Spark计算框架，导入速度相对文章1的做法较快的多！

目 录项目实战——将Hive表的数据直接导入ElasticSearch  此篇文章不用写代码，简单粗暴，但是相对没有那么灵活；底层采用MapReduce计算框架，导入速度相对较慢！项目实战——Spark将Hive表的数据写入ElasticSearch（Java版本）  此篇文章需要Java代码，实现功能和篇幅类似，直接Java一站式解决Hive内用Spark取数，新建ES索引，灌入数据，并且采用ES别名机制，实现ES数据更新的无缝更新，底层采用Spark计算框架，导入速度相对文章1的做法较快的多！

ElasticSearch查询笔记目录  涉及的常用查询内容较多，将分多个章节进行笔记整理，具体如下：ElasticSearch查询学习笔记章节1——term，terms，match，id查询   主要是依据精准的查询条件来查询，查询速度快，也是最常用的几类查询方式，具体种类如下:term查询terms查询match_all查询match查询布尔match查询multi_match查询根据文档id查询（单个id）根据文档ids查询（多个id）ElasticSearch查询学

terms查询  实现要求，依据province字段查询所有北京，上海，杭州公司的短信内容  RESTFUL代码如下；# from size类似于musql的limit  Java代码如下；terms查询  实现要求，依据province字段查询所有北京，上海，杭州公司的短信内容  RESTFUL代码如下；# from size类似于musql的limit  Java代码如下；terms查询  实现要求，依据province字段查询所有北京，上海，杭州公司的短

ElasticSearch查询笔记目录  涉及的常用查询内容较多，将分多个章节进行笔记整理，具体如下：ElasticSearch的核心重点——ES的查询学习笔记章节一  主要是依据精准的查询条件来查询，查询速度快，也是最常用的几类查询方式，具体种类如下:term查询terms查询match_all查询match查询布尔match查询multi_match查询根据文档id查询（单个id）根据文档ids查询（多个id） ElasticSearch的核心重点——ES的查询学习笔记

ElasticSearch查询笔记目录  涉及的常用查询内容较多，将分多个章节进行笔记整理，具体如下：ElasticSearch的核心重点——ES的查询学习笔记章节一term查询terms查询match_all查询match查询布尔match查询multi_match查询根据文档id查询（单个id）根据文档ids查询（多个id） ElasticSearch的核心重点——ES的查询学习笔记章节二 更新中……    prefix查询前缀查询，可以通过一个关键字 去指定

  ElasticSearch（以下简称：ES）作为搜索引擎，那么她最核心的重点当然是查询，接下来就给大家整理下ES的一些常用的搜索实现，本笔记主要实现RESTFul风格的代码和Java API代码为主，至于更多的其它API，可参考官网的各类API来实现;  官网各类编程语言API：Elasticsearch Clients图1 ES官网常用的各类编程语言APIElasticSearch的版本  本人使用的ES版本是7.7.1，已经去除了type的概念。ElasticSearch测试的索引及数据

安装版本配置操作系统：CentOS7ES版本：7.9.2ES集群节点数：3个[node1,node2,node3]ES集群Master节点集群：[node1,node2]JDK版本：本人使用的是JDK 8；ES建议使用JDK 11,且如果不是JDK 11的话，启动的时候会有警告，但是不会报错，只是简单的警告而已，问题不大，可以忽略。官网下载官网下载：传送门地址  具体如图1，这里我们选择Linux的tar包模式下载，这个看个人习惯，ElasticSearch 也是支持rpm和docke

ElasticSearch数据结构  索引Index，分片和备份数  类型Type  文档Doc  属性Field  Kibana操作ElasticSearchJava操作ElasticSearch

ElasticHQ介绍  ElasticHQ 是一个基于浏览器的直观和功能强大的 ElasticSearch 管理和监控工具，它提供了对 ElasticSearch 的实时监控、全集群管理、搜索和查询等功能。  ElasticHQ 主要优点如下：能够实时监控ElasticSearch的集群和集群节点；能够管理索引、映射、分片、别名和节点；能够查询一个或多个索引；有REST风格的API，无需繁琐的JSON的数据格式；完全基于Web浏览器，无需安装或者下载任何软件，针对手机、平板电脑和其他小屏幕

背 景  应业务需求，要实现针对某产品的挑选搜索功能，决定采用ElasticSearch（以下简称ES）作为后端搜索引擎服务，然后将符合条件的结果在ES搜索出来反馈给前端展示，但是我的基础数据都是存在数据仓库的Hive表内，这就面临一个问题，如何将Hive表的数据直接导入到ES内；  查阅官网，确定这个步骤想法的可行性,官网的例子相对简单，没涉及到复杂数据类型以及嵌套结构，我也是结合官网例子，再根据ES的特性和走了很多弯路才成功了，最后直接单纯用SQL语句就搞定了，没有写任何Java/python代码就

背 景  用着MySQL，MongonDB等查询他不香吗？为啥要去搞这个ElasticSearch,这不是找虐吗？其实ElasticSearch盛行的原因有以下几点；海量数据查询时，MySQL性能确实有瓶颈，不能做到毫秒级别的实时相应；查询条件手残输入错误，MySQL极有可能查不到数据，ElasticSearch因为支持分词器，依然可以快速查询到结果，如我本来想买个热水壶,但是我输入时抖了下，写成了水壶热，MySQL可能就没有返回结果了，ElasticSearch可以有，原理后续解说。支持搜索的关

背 景  ElasticSearch在搜索处理经纬度的时候，需要根据经纬度来返回周边距离内的一些环境，一开始设置的经纬度为text,一直报错，坑死我了,拜访了很多大佬后，终于得出标准的解决方案；ES存储地理位置类型geo_point   地理位置需要声明为特殊的类型, 不显示在mapping中定义的话, 需要写成如下形式；{ "building" : { "location_map" : { "lat" : 40.12, "lo