weixin_40334693的博客

原创 spring boot elasticsearch ik ik分词 繁体 搭建方式已经shp文件上传的解决方案

请注意,如果你遇到以下几个问题,那么本篇文章会对你有作用: 通过docker部署elasticsearch+IK分词+拼音分词+繁体字分词 es-head安装后,在es6之后无法在es-head中查看数据 如何在在上传在es中的数据里进行拼音分词 spring boot+es如何上传shp数据 如果上以上几个问题,就可以进行查看这篇文档了 这里我会在下方贴自己的es和spring boot+e...

原创 基于es出现的地理数据插入报错解决方案

基于es出现的地理数据插入报错解决方案  这里出的错误是es中常见的geo_shape类型的插入出现: 话不多说直接上mapping curl XPOST { "mappings": { "shape": { "_all": { "enabled": false }, "properties": { "id": {...

原创 基于elasticsearch 6.8的地理位置信息查询

基于elasticsearch 6.8的地理位置信息查询  这篇文章主要有以下组成: 基于es完成类似附近好友查询 基于es完成类似某个点在面内或者相交查询 类似附近好友查询  话不多说,可能大多数人只需要相关的编码文档,而且网上又有很多的curl命令操作,所以这里有通过项目示例直接进行一个编码查询附近好友查询: 构建mapping文档 { "point": { "_all":...

原创 shell笔记

shell笔记 数字直接比较 命令 含义 -eq 等于,如:if [ $a -eq $b ] -ne 不等于,如:if [ $a -ne $b ] -gt 大于,如:if [ $a -gt $b ] -ge 大于等于,如:if [ $a -ge $b ] -lt 小于,如:if [ $a -lt $b ] -le 小于等于,如:if [ $a -le $b ] ...

原创 基于2.6.0-cdh-5.14.2的hadoop版本搭建

基于2.6.0-cdh-5.14.2的hadoop版本搭建 以下是构建dockerfile的的相关应用: kafka zookeeper hadoop hbase flink 1.9.1 scala 2.11.12 jdk 1.8 基础镜像位alpine 由于alpine的优势,我在其底层构建就使用了alpine相比于传统的系统镜像是优势,大大减小了空间 最终的状态: 如果你不愿意自己构建那...

原创 elasticsearch使用中文拼音混合搜索的痛点解决

在这里如果你想通过elasticsearch使用中文+拼音的分词,但是对于大家来说中文分词,拼音分词单独使用的时候会能合理运用,但是如果混合搜索就会出现一些问题,如果你有图中的这个样子的需求,那本文就是能帮助到你的了 我在这里是通过修改拼音插件分词的源码之后进行打包上传,然后安装之后就可以进行图中的搜索了. es的版本: elasticsearch 6.8.4 如果你正好是6.8.4,你就可以...

原创 flink编译

由于各种原因在自己的电脑上编译均不成功,而且开了vpn的情况 编译的版本:flink 1.8.1-hadoop-2.6.0-cdh-5.12.4 鉴于编译困难,分享到自己的网盘中,有需要的可以自行下载: 链接：https://pan.baidu.com/s/1iPMQPu_NvG4t9v8a9YwO2A 提取码：qbiq 里面一并有cdh版本的kafka ...

原创 通过IDEA部署java项目

​ 通过IDEA部署java项目 ​ 以下用到的有: IDEA插件: docker maven 虚拟技术: VM:centos 7 docker 1.13 以下是一个spring boot的实例项目作为实例: idea的setting中的docker,没有该插件自行安装,具体的配置有: 以下的参数请自行解决,我的如图示: 有人的docker开放外部端口并...

原创 关于在云服务器部署docker后,部署kafka,外网无法访问解决方式

关于在云服务器部署docker后,部署kafka,外网无法访问解决方式 这里主要测试的华为云服务器,但是我想所有的云服务器应该是大同小异的,其次是外网访问阶段,kafka部署后无法访问,以及在容器中更改了server.properties,重启容器还是不正确,通过查找发现服务器可以做以下修改之后就能成功使用kafka tools和代码访问kafka了 这里使用的kafka和zookeeper do...

原创 HBase初之体验:

原创 python基础知识综合--思维导图

原创 大数据常见问题总结:第一章节:

1.格式化:正常情况:格式化一次就好           bin/hdfs  namenode -format            生成fsimage             操作hdfs之后生成的edits       多次格式化之前,需要清空hadoop.tmp.dir参数下设置的路径下的所有文件和目录  出现格式化以下情况:       Usage: java NameNode [-bac...

原创 大数据晋级之路:hadoop的搭建:第二天

【hdfs上的节点】             主节点:namenode                    管理元数据                             文件属性                                    名称                                        位置                           ...

原创 大数据晋级之路:hadoop的搭建:第一天

Hadoop是什么,出现的原因,解决什么样的的问题: 1. 降低成本 2.框架,解决大数据的框架 3.当数据量增加,业务时间增长谷歌三大论文(hadoop时代的"三驾马车"):       Google File System       Google  Bigtable       Google  MapReduce个人觉得当做好奇点还是可以看一看的四大数据来源:     用户行为数据(推荐系统...