- 博客(11)
- 收藏
- 关注
RSS订阅
原创 flink程序：Exceeded checkpoint tolerable failure threshould
@[TOC]Exceeded checkpoint tolerable failure threshould在写一个flink程序时报错，Exceeded checkpoint tolerable failure threshould百思不得其解，百度问题发现需要收费，简直无语最后找到问题所在我是使用了ListState，在第一次运行时他需要添加值，我设置初始值为null，而源码中要求不能为null一般电脑性能好的话是不会出现这个问题，但是在第一次运行时需啊哟时间去拿到值，而我设置的checkp
2020-10-26 21:46:38
3454
3
原创 hive执行drop表之后没有彻底删除
我执行drop表之后，客户端查看表已删除，但是我插入新的数据还是之前的旧数据纠结了一会，开始没发现是之前表的数据，一直以为是给我的文件里有隐藏字段，让其他同事也试了几遍之后还是一样的效果，有一个同事换了个库成功了我就上hdfs上看了一下，我删了表之后表文件还在，猜到问题可能出现在hive和hdfs的权限上突然想到之前恢复集群数据切换过hdfs用户，可能是那会切换了之后直接登录的hive，建表之后现在的用户没有权限删除在切换用户登录hive之后成功删除成功问题就在于你目前登录的用户不一定有最大的权限
2022-02-21 11:14:21
1215
原创 rar文件在Linux系统中解压
今日组长让上传rar文件至集群，洁牙师发生错误，.rar文件只能用rar解压同事已经按步骤装好了rar，但是命令一直无法使用，知道啊找到了这篇文章，在安装好后，要在rar文件夹下执行make命令，rar相关的命令才可以正常使用，以下是原文链接https://cloud.tencent.com/developer/article/1022639?from=14588...
2021-07-23 09:32:05
138
转载 hive中经纬度输入到es
这段时间处理一部分数据，是我之前把地址转换为经纬度的数据，之前是想着把经纬度直接用sql计算出距离，但是发现hive比较慢。最后调研发现es 直接有这个根据经纬度计算距离的功能，并且还能排序出来，最重要的是快很多。GET /liando/_search{ "query": { "bool":{ "filter":{ "geo_distance" : { "distance" : "100km",
2021-03-29 14:03:56
340
原创 distinct去重存在的问题
当表中数据的id一致，但是对应后面的数据不一致执行下面语句并不会达到去重的效果create table if not exists `test2` asselect distinct id,name,sex from test1;下面test3表里的数据就可以create table if not exists `test4` asselect distinct id,name,sex from test3;希望大家注意，我是在count的时候数据和两表join之后数据不对发现的.
2021-03-17 15:35:42
308
原创 assembly文件报错
assembly问件开始的两行uri报错，之前就解决过一次，但是忘了，这次根据问题提示找到了，解决方式如上图，按图示步骤将报错的URI写进ignore中就行虽然也不影响使用，但是对于强迫症的我来说看着很碍眼，所以记录一下跟我一样的强迫症就把它搞掉哈哈...
2021-03-14 21:18:43
923
原创 Server returns invalid timezone. Go to ‘Advanced‘ tab and set ‘serverTimezone‘ property manually
今天在使用DataGrip的连接mysql的时候报这个错Server returns invalid timezone. Go to 'Advanced' tab and set 'serverTimezone' property manually原因是时间不统一，mysql的默认时区事UTC设置一下之后就可以连上了show variables like ‘%time_zone%’;查看当前数据库的时区set global time_zone=’+8:00’;设置时区为东八区(linux
2021-03-02 16:13:53
75
原创 关于printf “\033c“命令
今天在跟同事工作交接的时候，看了同事写的脚本内容如下：#!/bin/bashprintf "\033c"这是一个清屏命令，不同于clean或是ctrl+l命令，这个命令是真的清屏，滚轮上翻不会出现之前的内容，但是命令用上下键还是可以调出来，很适合强破症的人使用。...
2021-02-26 15:19:20
1711
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人