- 博客(14)
- 收藏
- 关注
RSS订阅原创 CDH6.x，各组件对应的版本号
CDH6.x，各组件对应的版本号https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_63_packaging.html
2022-03-25 17:33:51
1910
原创 elasticsearch动态配置
elasticsearch配置集群和节点的配置类型动态类型1.使用API设置或更新正在运行的集群的动态配置。2.elasticsearch.yml文件配置动态配置3.使用集群设置API进行更新可以是持久的，适用于集群重新启动，也可以是暂时的，集群重启后失效。可以指定设置一个null应用在动态更新API上，去重置永久或临时设置。4.相同配置参数优先级(高到底)1)临时设置(API)2)持久设置(API)3)elasticsearch.yml setting4)默认配置静态类型1.静
2021-06-25 17:56:32
1300
原创 elasticsearch之自定义IK分词器词库（二）
一、引言上篇博客主要介绍了，IK分词器的安装和使用，这篇章我们来谈谈如何构建定制的词库，来满足复杂的业务需求。二、本地自定义词库安装首先我们在elasticsearch-6.3.1/plugins/ik/config 目录下创建一个自己的文件xxx.dic在xxx.dic写入需要分词的词或短语，如下案例所示vim elasticsearch-6.3.1/plugins/ik/config/IKAnalyzer.cfg.xml，配置本地词库重启ES生效测试效果三
2021-04-22 16:19:36
7313
原创 elasticsearch之IK分词器安装使用（一）
一、背景elasticsearch自带的分词器对中文分词支持不是特别友好，在公司的一些业务场景中如果使用elasticsearch自带的分词器，在搜索应用中经常会匹配不上自己所需要的信息。二、主流分词器介绍常见的一些开源分词器对比分词器优势劣势Smart Chinese Analysis官方自带分词效果较差IKAnalyzer支持自定义词典词库需要自行维护，不支持词性识别结巴分词新词识别功能不支持词性识别Ansj中文分词分词精准度不错，支持词性识
2021-04-22 16:15:04
6909
原创 kafka性能调优（生产环境）
一、前言前段时间，公司项目测试，测试组发现kafka topic数据与发送量不一致，后来查看日志发现报了这个错误。Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTIONGot error produce response with correlation id xxx on topic-partiti
2021-04-20 10:23:48
16047
原创 Hbase协处理器构建二级索引（Elasticsearch存储）
一、HBase协处理器简介协处理器介绍二、实现思路2.1 Observer协处理器部分函数介绍（后续将使用这两个函数实现二级索引）postPut：该函数在 put 操作执 行后会被 Region Server 调用postDelete：该函数将在执行删除后被Region Server 调用思路：1.使用Elasticsearch作为索引库2.我们可以利用postPut回调函数，在往hbase插入数据时，执行Elasticsearch插入操作3.我们可以利用 postDelete回
2021-04-14 10:31:38
7190
原创 Spark Streaming 实时写入Hive
一、背景公司Flume版本过低，使用Flume时有数据丢失问题，但是暂时不方便更新框架。所以使用Spark Streaming替代Flume实现入库Hive功能。二、流程图Created with Raphaël 2.2.0kafkaSpark StreamingETLhive三、代码实现pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"
2021-02-01 17:06:08
10089
1
原创 为什么 byte的表数范围是 -128 ~ 127？（详尽解析）
问题： 为什么 byte的表数范围是 -128 ~ 127答：首先引出三个概念：原码：二进制表示数字，高位表示正负。反码：中间格式用于计算补码。 正数不变，负数，高位不变，其他位0置1，1置0。补码；计算机的数据都是以补码形式进行计算的（规定）。计算时，计算机会将原码转化为补码后进行计算。规则：正数不变，负数，高位不变在反码的基础上加1。总结：正数 原码、反码、补码相同。 负数，高位都不变，反码0置1,1置0，补码在反码基础上加1。解题：byte有八位 可以表
2020-09-02 17:16:57
967
2
原创 冒泡排序与二分发查找代码与解析
冒泡排序public class Arryss { public static void main(String[] args) { int [] num = {2,5,33,21,32,47,23,17}; //创建一个无序数组 for (int i = 0; i &amp;lt; num.length-1; i++) { //外层循环决定遍历几轮 for (int j...
2019-03-16 23:04:24
254
原创 前++ 后++ 前- - 后--的理解
1. 前++java中前加加的运算顺序是 先自加一再做运算：第一个例子 ：做的是赋值运算int a = 10;int b = ++a;这里的b是等于11；运算过程是a先加1，然后再将a的值赋值b；第二个例子：做的是比较运算int a = 9;int b = 10;System.out.println (++a ==b);这里的运行结果是ture； 很简单a先自加一 然后做...
2019-03-15 00:36:05
1097
原创 JDK、MAVEN环境搭建
写在前面：这篇博客是我第一篇博客，以后也会继续写，写博客主要是为两点：1、为了分享JAVA的知识2、为了巩固自己所学的如果你是完全和答主之前一样完全不懂得java的小白选手，那么我们得先了解JDK是什么？JDK是java的开发环境集成环境，其中包涵JRE和JVM.简单来说JDK就是可以让你的电脑编写和运行JAVA的必要环境。所以想学JAVA第一步必须是先搭建环境JDK的安装废话...
2019-03-09 00:48:12
327
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人