大鹏_展翅-优快云博客

当我们用rlike 进行子查询的时候就会报如下错误，但mysql和oracle不会。当我们把子查询换成字符串的是时候就能正常执行所以得到结论就是hive 不支持rlike 、like以及regex的子查询。那我们要如何解决呢？这时候我们可以用hive的另外一个函数 locate ，用法：LOCATE(t1.SGTXT,t0.SGTXT) > 0 表示：t0.SGTXT包含t1.SGTXT如果是=0 就表示两个字符串不存在包含关系。那么我们就修改失去了为如下就可以正常执行：......

2022-07-07 17:00:01 1662 1

原创 hive insert into table ... select 语法数据覆盖

hive insert into table ... select 语法数据覆盖

2022-04-26 11:07:01 2957

原创 currentServerAddr:http://localhost:8848, err : Connection refused (Connection refused)

当我们把系统代码部署到服务器上的时候会出现的问题，当我们在本地开发的时候是不会出现问题的。因为我们本地开发的时候基本上nacos地址就是localhost出现问题的日志如下：nohup: ignoring input2022-02-24 14:50:25.598 INFO 13070 --- [ main] c.a.b.n.c.u.NacosConfigPropertiesUtils : nacosConfigProperties : com.alibaba.boo..

2022-02-24 16:01:10 11142 1

原创 SpringCloud Nacos 配置注册中心报错 Could not resolve placeholder xxx in value

我的需求是实时加载nacos里面的数据如下：代码中也进行了设置但是启动就会报错修改方法：修改nacos-config-spring-boot-starter的版本为0.2.4即可运行成功修改前：<dependency> <groupId>com.alibaba.boot</groupId> <artifactId>nacos-config-spring-boot-start.

2022-02-24 15:48:37 3564

原创 Postgresql中常用的时间戳与日期的相互转换

时间戳转日期、日期时间1.不带时区的时间格式。我开发中经常用的select to_char(to_timestamp(1628088734), 'yyyy-mm-dd hh24:mi:ss')如果想带毫秒：格式化为：'yyyy-mm-dd hh24:mi:ss.us2.带时区的select to_timestamp(1628088734)3.直接转成日期不带时间select to_timestamp(1628565420)::date日期转时间戳.

2021-08-11 17:00:01 44982 1

原创 PostgreSQL 创建分区表

PG 假如我们想像Hive那也创建动态分区是不能实现的。那么需要我们手动通过脚本来创建分区表，创建分区表必须要创建主表和分区表。主表：定义我们的一些约束，以及分区键，实质上不存储数据分区表：主要是用来存储数据的。所有列及约束都跟随主表注意：如果我们指定分区表不存在会报错，因此一定要提前创建好分区表，并且要数据不能有遗漏的分区键。列分区表就是我们指定数据库中字段的一列作为分区字段。1.如下创建分区表的主表关键字【partition by list...

2021-08-05 18:27:05 12135

原创 Maven maven-compiler-plugin:3.1:compile (default-compile) 或者 JDK无效版本。

对于以上报错分为两种情况：第一种：Fatal error compiling: 无效的目标发行版: 1.8 解决办法这种问题需要你在你的pom文件中加两点就可以解决：第一个点： <properties> <java.version>1.8</java.version>  <maven.compiler.source>${java.version}</mave

2021-07-06 11:35:19 7128 5

原创 flink状态，对象重用，触发器，数据覆盖相关问题

遇到的问题对于以上代码，我们进行keyby之后，我们new 了对象，我们会以为里面所有的数据都是独一份，和别的key是隔离的。所以利索当然的：这个类型对象的属性：ExitLessonCountMessage有classId，lessonId，studentId 我们也会认为是独一份和别的keyby之后的数据不重用。当我们入下图我们在定时器触发的时候。用了classId，lessonId，studentId 一直不是自己想要的数据，导致数据混乱，百思不得其解。原因分析：最后经

2021-04-03 17:07:40 2060 7

原创 sparkStreaming：Exception in thread “streaming-job-executor-0“ java.lang.Error: java.lang.Interrupted

偶尔服务器中报错如下，不是必现，这个问题有点丈二和尚摸不着头脑，摸不着头脑。各种尝试，最后把稳定定位在offset 保存不成功，导致程序保存。Exception in thread "streaming-job-executor-0" java.lang.Error: java.lang.InterruptedException at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1.

2021-02-22 14:08:26 2615 2

原创 Caused by: org.apache.flink.runtime.JobException: Recovery is suppressed by FixedDelayRestartBackoff

在写flink程序时报错，后来网上查了好多文章都是瞎忽悠，最后自己仔细检查代码发现，是自己的疏忽。其实核心问题是你env 设置的时间语义和你代码中使用的不一致。具体报错信息如下：Caused by: org.apache.flink.runtime.JobException: Recovery is suppressed by FixedDelayRestartBackoffTimeStrategy(maxNumberRestartAttempts=2, backoffTimeMS=20000

2021-02-07 18:40:12 21076 4

原创 Mysql中自定义开窗函数，row_number,dense_rank.

在数仓开发中或者数据分析中，我们经常用到开窗函数。但是在Mysql中没有我们该怎么办呢？如下是在实际开发中遇到的两个例子，给大家分享一下，希望能帮到大家自定义实现row_numberSELECT student_id, student_name , @i := @i + 1 AS rownumFROM student, ( SELECT @i := 0 ) t通过以上sql，可以看出其实很简单。只需要定义变量i，然后再每一列后面i自增+1即可。自定义实现den...

2021-01-22 14:14:47 731

原创 Flink Caused by:org.apache.flink.streaming.connectors.kafka.internal.Handover$ClosedException

Flink程序从kafka中读取数据进行计算，FLink程序一启动就报以下错误，看到错误很懵逼。加班到9点没解决，第二天提前来半小时，把如下错误信息又看了一遍。具体错误如下：错误信息1.20/12/17 09:31:07 WARN NetworkClient: [Consumer clientId=consumer-14, groupId=qa_topic_flink_group] Error connecting to node 172.16.40.233:9092 (id: -3 rack..

2020-12-17 09:43:40 4185 4

原创 Flink中内存的分配

我们通过Flink的执行UI界面可以看到两个参数：JVM Heap Size 和Flink Managed Memory两个内存，那我们来看一下是如何算的。JVM Heap Size：也是实际我们Task Manager实际可用的内存。那我们先算出TM可以用的总内存，包括堆内和堆外内存以我们本次测试程序为例：TM总内存：total-taskManager-memory=1536- max[600, 4096 * 0.25] = 936Mtotal-taskManager-mem..

2020-12-16 15:03:27 1699 3

原创用Liunx统计文件行数，切分、对id进行排序，去重（wc,head,sort,uniq）！

如下我们遇到一个文件2G以上文本编辑相互甩锅：此时内心很崩溃，但是我们先看一下文件一共有多少行。统计文件的行数可以用以下命令：wc -l 文件名wc -l lesson_20201205.log1200多万行数据。然后用 head -n 文件名 > 新文件$ head -1000000 lesson_20201205.log > lesson_20201205_100.log然后得到一个163M的100万行数据接下来我们把l..

2020-12-12 16:52:41 330

原创 flink Exception in thread “main“ org.apache.flink.api.common.functions.InvalidTypesException:

我们在写flink程序的时候，我们会用到元祖（Tuple）当上游算子用到Tuple时，下游用keyby（tuple->tuple.f0）就会报如下错误：解决办法：如下图必须用匿名内部类不能用lambda方法，因为不能为自动类型提取提供足够的信息。.keyBy(new KeySelector<Tuple2<Tuple8<String,String,String,String,String,String,String,String>,String>, Tup

2020-12-09 17:14:54 1089 1

原创 Liunx中AWK的几个用法

Liunx中AWK的几个用法：第一种：使用awk统计某个文件的空行，并打印ifconfig | awk '/^$/{print NR}'结果如下：第二种：使用awk统计某个文件夹下有多少个文件find /usr/bin -name *.sh | awk 'END{print NR}' 结果如下：第三种：使用awk截取某个文件夹下面的所有文件名：find /usr/bin -name *.sh | awk -F '/' '{print $NF}'最后入下图：...

2020-11-15 15:40:27 506

转载聚类、分类、回归、关联分析的不同，需要分析常见算法并用现实应用场景说明

聚类、分类、回归、关联分析1classification (分类)。分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。可以应用到应用分类、趋势预测中，如淘宝商铺将用户在一段时间内的购买情况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。regression (回归)。回归分析反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对...

2020-11-11 22:43:47 6412

原创 Spark插入Es如何自己设置id？

当我们插入向Es插入数据时，我们不自己插入id时，Es会自动帮我们生成随机id，有时候不方便我们查询，如下图：那么我们会想是不是在插入的时候，_id =6,就可以插入呢？**亲测不行：**请看上图 “6”会单独生成一列。那么具体解决办法如下：其实方法很简单。我们只需要在保存Es 的索引时指定_id的映射的字段就可以了。具体如下图：...

2020-11-08 09:47:07 1456

原创 Flink Caused by: org.apache.flink.runtime.JobException:错误

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Mar

2020-11-08 09:34:36 13256 1

zhangyupeng0528的博客

原创 flinkCDC mysql

原创 flink写入hudi MOR表

原创 kafka的两种消费点位设置

原创 hive 实现数字千分号展示

原创 HIVE 多个 decimal 类型相乘为null

原创安装redis后连接失败，不能远程访问

原创 gitkraken安装教程

原创 Hive rlike 不支持子查询，完美解决方案