<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[TinyNasubi的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/TinyNasubi</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; TinyNasubi]]></copyright><item><title><![CDATA[ES查询文本字段为空字符串的数据，排查数据问题]]></title><link>https://blog.youkuaiyun.com/TinyNasubi/article/details/108315121</link><guid>https://blog.youkuaiyun.com/TinyNasubi/article/details/108315121</guid><author>TinyNasubi</author><pubDate>Wed, 02 Sep 2020 19:19:36 +0800</pubDate><description><![CDATA[在处理用户表的时候，发现用户名称少于用户总数，而且没有null值，
查询发现：用户表出现有用户名为空字符串的数据，即使用空字符串("")查询，能够匹配到数据;
排查清洗代码，并没有发现空字符串从何而来
查询计数语句
GET user_info_index/_doc/_count
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "user_name.keyword": {
      ]]></description><category></category></item><item><title><![CDATA[Kafka消费者参数踩坑记]]></title><link>https://blog.youkuaiyun.com/TinyNasubi/article/details/107519906</link><guid>https://blog.youkuaiyun.com/TinyNasubi/article/details/107519906</guid><author>TinyNasubi</author><pubDate>Wed, 22 Jul 2020 18:40:14 +0800</pubDate><description><![CDATA[一 参数分析
这里就涉及到的问题是，消费者在创建时会有一个属性max.poll.interval.ms，该属性意思为kafka消费者在每一轮poll()调用之间的最大延迟,消费者在获取更多记录之前可以空闲的时间量的上限。如果此超时时间期满之前poll()没有被再次调用，则消费者被视为失败，并且分组将重新平衡，以便将分区重新分配给别的成员。
循环调用poll拉取broker中的最新消息。每次拉取后，会有一段处理时长，处理完成后，会进行下一轮poll。引入该配置的用途是，限制两次poll之间的间隔，消息处理逻辑]]></description><category></category></item><item><title><![CDATA[Elasticsearch安装笔记]]></title><link>https://blog.youkuaiyun.com/TinyNasubi/article/details/107041992</link><guid>https://blog.youkuaiyun.com/TinyNasubi/article/details/107041992</guid><author>TinyNasubi</author><pubDate>Tue, 30 Jun 2020 18:32:53 +0800</pubDate><description><![CDATA[1 准备JDK
每个节点：
安装JDK1.8 并配置JAVA_HOME
2 创建ES用户
每个节点：
默认ES 6.x.x  不允许root用户运行的，否则ES运行的时候会报错，所以我们需要创建新的用户
[root@es-1  zywa]# groupadd es  
[root@es-1 zywa]# useradd es -g es  
[root@es-1 zywa]# passwd es  
更改用户 es 的密码 。  
新的 密码：  
重新输入新的 密码：  
passwd： 所有的身份验证令]]></description><category></category></item><item><title><![CDATA[使用Elasticdump迁移Elasticsearch数据--笔记]]></title><link>https://blog.youkuaiyun.com/TinyNasubi/article/details/105861808</link><guid>https://blog.youkuaiyun.com/TinyNasubi/article/details/105861808</guid><author>TinyNasubi</author><pubDate>Fri, 01 May 2020 10:10:44 +0800</pubDate><description><![CDATA[使用Elacticdump迁移Elasticsearch数据--笔记Elasticdump的默认参数预览源集群下载json文件上传json数据到目标集群Elasticdump报错总结上传的时候使用通配符* 匹配文件，报错如下索引未开启自动映射（严格模式），新增字段会报错
Elasticdump的默认参数预览
打开Elasticdump的安装所在目录，使用vim查看bin目录下的elasticdum...]]></description><category></category></item><item><title><![CDATA[通过SQL实现账号余额的历史拉链操作]]></title><link>https://blog.youkuaiyun.com/TinyNasubi/article/details/103928246</link><guid>https://blog.youkuaiyun.com/TinyNasubi/article/details/103928246</guid><author>TinyNasubi</author><pubDate>Mon, 02 Mar 2020 09:04:10 +0800</pubDate><description><![CDATA[1. 题目
在论坛看到的Oracle的SQL练习题，想到Hive也可以实现，就拿来试了一下~~

2.思路
可以通过分组函数 lead() over() 来取Start_dt 和End_dt
3.解答
1)建源表
create table acctno_bal(
Acctno bigint COMMENT ‘账号’,
Current_bal int COMMENT ‘余额’,
Txn_dt str...]]></description><category></category></item><item><title><![CDATA[hive任务 处理小文件合并的参数配置]]></title><link>https://blog.youkuaiyun.com/TinyNasubi/article/details/103299675</link><guid>https://blog.youkuaiyun.com/TinyNasubi/article/details/103299675</guid><author>TinyNasubi</author><pubDate>Fri, 29 Nov 2019 09:14:05 +0800</pubDate><description><![CDATA[hive 输出端 小文件合并 参数配置
一. 小文件产生
使用hive过程中经常会遇到小文件问题：①，在执行插入数据操作过程中，可能会产生小文件；②，map-only作业，可能会产生小文件；③，map-reduce作业，每个reduce输出一个文件，可能产生小文件
二. 小文件影响
① hdfs存储：存储过多小文件会产生大量元数据，会增加在NameNode中占有的空间，影响集群健康和拓展
② hi...]]></description><category></category></item><item><title><![CDATA[Hive中正则表达式替换函数 regexp_replace和正则表达式解析函数 regexp_extract的用法总结]]></title><link>https://blog.youkuaiyun.com/TinyNasubi/article/details/102726927</link><guid>https://blog.youkuaiyun.com/TinyNasubi/article/details/102726927</guid><author>TinyNasubi</author><pubDate>Thu, 24 Oct 2019 18:15:57 +0800</pubDate><description><![CDATA[Hive中 正则表达式替换函数 regexp_replace和正则表达式解析函数 regexp_extract的用法总结
Hive中有很多字符串相关的函数，其中有两个与正则表达式相关的比较特殊，近期使用的时候做了较多的测试，做个笔记，鼓励一下自己，每天进步一点点。
正则表达式替换函数 regexp_replace
正则替换是常用的字符串替换函数

语法：regexp_replace(string ...]]></description><category></category></item><item><title><![CDATA[SQL 函数 instr的用法]]></title><link>https://blog.youkuaiyun.com/TinyNasubi/article/details/102703826</link><guid>https://blog.youkuaiyun.com/TinyNasubi/article/details/102703826</guid><author>TinyNasubi</author><pubDate>Wed, 23 Oct 2019 16:42:23 +0800</pubDate><description><![CDATA[SQL 函数 instr的用法
转自： http://blog.sina.com.cn/s/blog_6094cbf30100frz0.html
INSTR(C1,C2,I,J) 在一个字符串中搜索指定的字符,返回发现指定的字符的位置;
C1   被搜索的字符串
C2   希望搜索的字符串
I    搜索的开始位置,默认为1
J    出现的位置,默认为1
SQL&gt;
select instr...]]></description><category></category></item><item><title><![CDATA[Hive-CDH参数修改指南--增加自定义参数--命令行显示当前数据-查询结果显示表头(类似修改源生Hive的hive-site.xml文件)]]></title><link>https://blog.youkuaiyun.com/TinyNasubi/article/details/102698153</link><guid>https://blog.youkuaiyun.com/TinyNasubi/article/details/102698153</guid><author>TinyNasubi</author><pubDate>Wed, 23 Oct 2019 12:07:22 +0800</pubDate><description><![CDATA[Hive-CDH参数修改指南(类似修改源生Hive的hive-site.xml文件)
问题描述
	默认配置下，每次启动Hive都要手动输入配置选项，
	才能实现:在命令行显示当前数据库(set hive.cli.print.current.db=true;)、查询结果显示表头(set hive.cli.print.header=true;)。
	而且CDH版的Hive直接修改hive-site.x...]]></description><category></category></item><item><title><![CDATA[Hive数据库中，利用rtrim()和regexp_replace()去掉字符串'1234034214sdf00000'最后几位的'0']]></title><link>https://blog.youkuaiyun.com/TinyNasubi/article/details/102687087</link><guid>https://blog.youkuaiyun.com/TinyNasubi/article/details/102687087</guid><author>TinyNasubi</author><pubDate>Tue, 22 Oct 2019 17:54:12 +0800</pubDate><description><![CDATA[需求场景：去掉字符串’1234034214sdf00000’后面几个’0’
场景分析：
①先用regexp_replace()把’0’替换为空格’ ’
②rtrim()去掉最后的空格’ ’
③将空格’ ‘替换为’0’
具体操作

#1 插入一条数据
insert into table testzhengze values(4,"1234034214sdf00000");

#2 查看数据
sel...]]></description><category></category></item><item><title><![CDATA[使用Elasticsearch查询某个内嵌字段是否为null空值的结果]]></title><link>https://blog.youkuaiyun.com/TinyNasubi/article/details/101285893</link><guid>https://blog.youkuaiyun.com/TinyNasubi/article/details/101285893</guid><author>TinyNasubi</author><pubDate>Tue, 24 Sep 2019 15:42:53 +0800</pubDate><description><![CDATA[@TOC
使用elasticsearch查询某个字段为空值的结果
查询某个字段为空值的结果，在MySQL或者Hive中，可以使用sql语句查询：“select * from 表名 where 字段名 is null”
在elasticsearch中查询语句如下
1 非内嵌字段的查询
原文地址：https://blog.youkuaiyun.com/zhang862520682/article/details/...]]></description><category></category></item></channel></rss>