youhuakongzhi的博客

MySQL 中的 upsert 操作与时间戳自动更新MySQLMySQL 中的 upsert在 MySQL 中，是没有直接的 upsert 功能的，但是我们可以利用唯一约束进行重复时更新操作。示例：INSERT INTO test(id) VALUES(1) ON DUPLICATE KEY UPDATE id=2上述的 sql 语句在遇到重复的主键时，将会中断插入操作改为更新操作。时间戳自动更新有的时候，我们在表中会维护一个类似于 updateTime 的字段，每当对记录

Hive 删除表中部分数据1、hive表删除数据不能使用DELETEFROM table_name中SQL语句2、hive表删除数据要筛选出数据覆盖原来的数据INSERT OVERWRITE TABLE table_name PARTITION(dt='v3')SELECT column1,column2 FROM table_nameWHERE dt='v3' AND category is not null;二、无partiton表INSERT OVERWRITE T..

https://stackoverflow.com/questions/45107866/aws-athena-msck-repair-table-takes-too-long-for-a-small-datasethttps://athena.guide/articles/msck-repair-table/https://www.jianshu.com/p/c1b0dc86f9b0S3https://zhuanlan.zhihu.com/p/112057573

参考文章：https://crazyfzw.github.io/2018/07/18/RDBMS-INDEX/

摘自：https://segmentfault.com/a/1190000007943698增删改查是数据库最常用的4个命令，插入算是第二常用，第一是SELECT。插入数据的方式大概有4种 插入完整的行 插入行的一部分 插入多行数据（批量插入） 插入来自查询的数据 插入完整的行使用Insert将一条数据插入数据库是最简单也是最基本的操作。插入操作有两种写法。顺序插入顺序插入指的是：给出数据库名和需要插入数据，按照数据库字段排列顺序将数据插入数据库。.

sqoop import --connect \jdbc:mysql://IP:端口/数据库?useSSL=false \--driver com.mysql.jdbc.Driver \--hive-import \--hive-overwrite \--hive-database model_info \--hive-table schedule_cutpeak_node \--target-dir /user/sff/schedule_cutpeak_node/d=$partition_d

有的软件不支持left join 语句on 条件中有不等式操作（zepplin中支持，但是metabase中不支持）。解决办法（需要验证条件在on中的结果和在where中的结果是否一致）：1、把不相等条件拿到where语句中2、如果第一中方法不适用，可以在select字段中判断本人使用了第一种方法，发现所得出的结果是有差异的.-- 代码一select a.*, b.flag, b.date from test_a a left join(select flag, date..