Gsalary-优快云博客

原创 mysql 更新插入upsert

使用场景对MySQL中字段值进行更改，判断没有数据时便执行插入。由此可使用mysql以下两条语句replace into tablename (id,name) values (null,wang); insert into table (player_id,award_type,num) values (20001,0,1) on DUPLICATE key update num = ? 1.以上两条sql执行时需要保证数据表中有主键2.第一条sql语句执行流程为如果数据存在时会先.

2021-11-26 16:29:15 671

原创 idea启动程序时，报命令行过长的错误

错误问题运行 '程序' 时出错: !invalid format: `命令行过长。要为 {0}{1, choice, 0# 或也为 {2} ''''default'''' 配置|1#} 缩短命令行吗?`!解决**在你的项目中找到.idea -> libraries -> workspace.xml 打开找到如下代码**<component name="PropertiesComponent"> <property name="Git.Branch.Popup

2021-08-20 10:24:44 2438

原创 azkaban.executor.ExecutorManagerException: No active executors found

报错如下：2019/05/09 21:50:07.380 +0800 ERROR [ExecutorManager] [Azkaban] No active executors found2019/05/09 21:50:07.380 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main" 2019/05/09 21:50:07.380 +0800 ERROR [StdOutErrRedirect] [Azkaban]

2021-07-23 18:11:54 216

原创 Command line is too long. Shorten command line for 程序名 or also for Application default con

遇到问题不要慌找到你的 workspace.xml 文件然后再找到 <component name="PropertiesComponent"> 标签在此标签内加入<property name="dynamic.classpath" value="true" />

2021-07-21 15:57:39 135

原创 mysql在distinct后同时将其他字段返回

在需求中需要对某字段去重并返回其他字段时，可根据以下sql编写select 其他字段,其他字段,group_concat(distinct 去重字段) 别名,其他字段 from social_dynamic_base group by 去重字段;

2021-07-08 18:33:00 932

原创 sqoop将mysql数据导入hive表中时，数据条数不一致

sqoop将mysql数据导入hive表中时，数据条数不一致问题描述在使用sqoop将mysql数据导入到hive表中时，发现hive表中对应的数据多了几行null导致hive表中数据条数与mysql表中数据条数不一致。问题解决使用sqoop的命令如下：sqoop import \--connect jdbc:mysql://ip:3306/库名 \--username * \--password * \--table * \--num-mappers 1 \--fields-te

2021-05-13 11:24:12 951

原创使用 hive -e 执行HQL语句时报错

报错信息：FAILED: ParseException line 1:6 cannot recognize input near ‘’ ‘’ ‘’ in select clause出现这个问题时，是因为 hive -e 后面的HQL语句没有用双引号括起来，将HQL语句加上双引号就可以了

2021-03-11 13:52:41 1815

原创通过查询数据插入另一张表

Exception in thread “main” org.apache.flink.table.api.ValidationException: Field types of query result and registered TableSink myhive.库名.表名 do not match.这个问题出现的原因是因为在通过查询数据插入另一张表的时候，字段类型不符合插入的数据类型，请仔细检查一下字段类型...

2021-03-10 20:23:45 568

guoxinshui的博客