每天把A表的数据写入到B表

最新推荐文章于 2020-12-03 03:07:14 发布
原创 最新推荐文章于 2020-12-03 03:07:14 发布 · 291 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#shell

本文介绍了一种使用Bash脚本实现的批量插入及更新MySQL数据库的方法。具体包括通过命令行执行SQL语句，利用条件判断来确定日期参数，并构造复杂的SQL语句以进行数据的批量处理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

#!/bin/bash
 source /etc/profile

if [ -z $1 ];
  then
  date=`date -d yesterday +"%Y-%m-%d"`
  else
  date=$1
 fi

 

echo "=================== ${date} start ==================="

 

#系统、服务器、动作都为全部的情况
sqlOne="
 INSERT INTO st_las_chart_ds
 (sdate,system,server,request,access_count,avg_duration,avg_response,system_tot_access_count,system_act_tot_access_count,system_avg_duration,system_avg_response)
 SELECT D1.sdate,'全部' AS system,'全部' server,'全部' AS request,0 AS access_count,0 AS avg_duration,0 AS avg_response,
  D1.tot_access_count AS system_tot_access_count,
  D1.act_tot_access_count AS system_act_tot_access_count,
  round(IFNULL(D1.tot_sum_duration/D1.tot_access_count,0),3) AS system_avg_duration,
         round(IFNULL(D1.tot_sum_response/D1.D1.tot_access_count,0),3) AS system_avg_response
 FROM(
 SELECT sdate,
  sum(sum_duration) tot_sum_duration,
  sum(CASE WHEN request LIKE '%.do' THEN sum_duration
  WHEN request LIKE '/rpc/%' THEN sum_duration
  WHEN request LIKE '/openrpc/%' THEN sum_duration
  WHEN request LIKE '/webservice/%' THEN sum_duration
  WHEN request LIKE '/ws/%' THEN sum_duration
  ELSE 0 END) act_tot_sum_duration,
         sum(sum_response) tot_sum_response,
  sum(access_count) tot_access_count,
  sum(CASE WHEN request LIKE '%.do' THEN access_count
  WHEN request LIKE '/rpc/%' THEN access_count
  WHEN request LIKE '/openrpc/%' THEN access_count
  WHEN request LIKE '/webservice/%' THEN access_count
  WHEN request LIKE '/ws/%' THEN access_count
  ELSE 0 END) act_tot_access_count
 FROM lasmyisam.st_las_request_ds
 WHERE sdate='${date}'
 GROUP BY sdate
 ) D1
 ON DUPLICATE KEY UPDATE
 access_count=values(access_count),
 avg_duration=values(avg_duration),
 avg_response=values(avg_response),
 system_tot_access_count=values(system_tot_access_count),
 system_act_tot_access_count=values(system_act_tot_access_count),
 system_avg_duration=values(system_avg_duration),
 system_avg_response=values(system_avg_response);"

 

mysql --host='test.com' -uroot -p123456789 -e "${sqlOne}" --default-character-set=utf8 testdb


echo "sqlOne: $sqlOne"

echo "===================DONE==================="

 

 

 

 

 

 

 

 

SSD时代的数据持久性新挑战：写入放大与FTL
AI天才研究院
07-03 794
当我们享受SSD带来的秒开应用、极速加载体验时，很少意识到这个"速度王者"正面临着独特的寿命挑战。本文将深入解析SSD的核心痛点——写入放大（Write Amplification），以及其幕后"管家"FTL（闪存转换层）的工作逻辑。通过生活化比喻、技术原理解析和真实案例，带你理解为何SSD会"越用越慢"，FTL如何平衡速度与寿命，以及未来技术如何破解这一难题。无论你是普通用户想延长SSD寿命，还是开发者想优化存储系统，本文都将为你提供关键洞见。写入放大（WAF）
f分布表完整图a=0.01_Matlab中的数据分析之概率分布与检验实例讲解
weixin_39610678的博客
11-20 6083
频数表和直方图一组数据(样本)往往是杂乱无章的，做出它的频数表和直方图，可以看作是对这组数据的一个初步整理和直观描述。将数据的取值范围划分为若干个区间，然后统计这组数据在每个区间中出现的次数，称为频数，由此得到一个频数表。以数据的取值为横坐标，频数为纵坐标，画出一个阶梯形的图，称为直方图，或频数分布图。若样本容量不大，能够手工做出频数表和直方图，当样本容量较大时则可以借助Matlab ...
插入数据a表到b表
滴水成海
12-23 786
<br /> <br /> <br />insert into p_web p (p.tid,p.title,p.fileurl,p.columnid,p.columnname)(select l.tid,l.linkname,l.linkurl,'3033' as columnid from p_link l where l.columnid=337)<br /> <br />insert into expertinfo <br />    (expertid,expertname,expertcode,
sql存储过程自动备份指定时间内A数据库表数据到B数据库表
05-28
sql 存储过程 自动备份指定时间内A数据库表数据到B数据库表
SQL将A表的现有数据添加到B表，通过A表现有数据更新B表
热门推荐
你要明白，任何问题都不是孤立存在的，一定有人曾经遇到过，并且已经有更好的解决办法了，只是我还不知道。我不应该在黑暗中独自前行，去重新发明轮子，也许我的顿悟，只是别人的基本功！我应该要站在巨人的肩膀上，学习更成熟的经验和方法，然后再来解决这个问题
03-22 3万+
1将所有的数据都添加到b表 insert into b select * from a; 1.1将A表中所有信息插入到B中。（A与B表结构相同，且当前数据库中未创建该表） select * into B from A 2.仅复制结构不复制数据 SELECT * INTO B FROM A WHERE 1=2 2将部分字段的信息添加到b表 将A表的产品名称添加到B表中的...
python导入数据到hive_python调用接口数据写入hive
weixin_39654067的博客
12-03 2000
该方法使用场景为：在hadoop集群进行接口调用，并且获取接口返回值进行解析，解析完成数据写入hive表其中存在的问题：测试环境和线上环境的一致性，还有接口调用不能一次性并发太高，自己把握这个量分模块说一下每个模块需要做的：1、调用get接口：请求本地接口进行测试，参数需要encode# -*- coding: utf-8 -*-import urllibimport urllib2# get接口...
Mysql使用存储过程和定时任务批量复制表数据到另一个表
holmes369的博客
03-25 3446
存储过程介绍 mysql从5.0开始提供存储过程功能，存储过程就是在数据库内部执行的函数方法，外部程序可直接调用数据库内部的存储过程，从而实现对数据库内部数据和逻辑的保密。 日常系统都会定时对一些表做删除和备份，这里也可以使用存储过程来实现。 mysql存储过程实现 这里我们实现一个可以把表A的指定时间数据备份到表B的存储过程 DELIMITER $$ create PROCEDURE backA...
kettle_动态表（每日新建表、表格式统一）数据同步
sky08050025的专栏
03-19 8509
使用场景：库A为使用库，每日动态创建成生表A_(格式固定)，间隔时间后，新建表同步到库B中。步骤：1、动态获取需要创建的表名；2、创建表相关作业如下：总作业： 其中：“获取GO表”转换如下,表输入（表名为动态有规律生成）：“创建GO同步表”作业如下： 此作业流程 分以下几步：（1）、将表名设置为变量（ 2）、检查表名是否存在，不存在则创建，false则同步数据 同步数据如下：其中创建表时，可以使用...
A.CTable开源框架Mybatis增强自动创建表/更新表结构/实现类似hibernate共通的增删改查-mybatis-enhance-actable
孙琛斌的专栏
07-07 2万+
mybatis-enhance-actable-1.3.1.RELEASE 不用再为mybatis无法自动创建表，不提供基本的增删改查而苦恼啦！有了A.CTable这将不再成为你苦恼的理由，而且学习简单，只要进行简单的配置，然后稍微看下源码注解就可以上手了，最新版本集成了tk.mybatis能够更好的支持日常的CUDR。
查询A表数据插入到B表中
baiping1991的专栏
07-05 2755
---插入语句 INSERT INTO DT_CK_CZRY_MX             select t.czy_dm ,t.czy_mc ,'','','','','','','','','','','','','2370193000005','行政服务大厅',''   from DT_CK_CZRY t  where t.dt_dm = '2370193000005'    an
如何将A表查出来的数据放到B表中
yeah_nn的博客
06-01 1万+
My sql 语法 INSERT INTO B SELECT id,username,PASSWORD,NAME,sex ,#{0},#{1} FROM ASql server 语法    insert into b(id,name,password,sex) select id,name,password,'纯爷们' from a;
定时将数据库A中的表同步到另一个数据库
yuger_2018的博客
10-29 1万+
https://blog.youkuaiyun.com/l1028386804/article/details/80341251 转载自以上连接，详细内容请移步此连接 以下是核心配置 需要注意的是 这里是一个表 一个表进行的同步，多张表时均需要在标签中进行配置，另外目标数据库中的表结构需要建好 需要更新的字段都要再 和 中； 另外注意数据库的地址和用户名以及密码都要改为自己使用的。 &lt;?xml v...
用B表中昨天是Price的数据，更新A表中Price昨天为空的数据
最新发布
07-15
<think>我们有两个表：A表和B表。需要根据B表中的Price数据更新A表中昨天Price为空的记录。 假设： - A表和B表都有一个可以关联的字段，比如商品ID（item_id）或订单ID（order_id）等。这里由于问题没有明确给出关联字段，我们假设关联字段为`item_id`。 - 更新条件：更新A表中昨天（即业务日期为昨天）且Price为空的记录，用B表中对应item_id的Price来更新。 步骤： 1. 确定更新日期：假设业务日期字段为`dt`，那么昨天的日期可以用`date_sub(current_date, 1)`表示（这里使用Hive SQL的日期函数，如果是其他数据库，函数可能不同）。 2. 关联条件：A表和B表通过`item_id`关联。 3. 更新条件：A表的`dt`为昨天，且A表的Price为空（NULL），同时B表在相同`item_id`下有非空的Price。 注意：由于引用[1]中提到全量存储和拉链存储，但这里更新操作是针对具体某一天（昨天）的数据，我们假设A表是按天分区的，并且我们只更新昨天的分区。 根据上述分析，我们可以写出如下的SQL更新语句（以Hive SQL为例，因为引用中提到了分区，且是数据仓库常见的场景）： 但是注意，Hive在较新版本才支持UPDATE（且需要配置事务支持），在数据仓库中更常见的做法是重写整个分区。但问题要求更新，所以这里提供两种方式： 方式1：使用Hive的UPDATE语句（如果支持的话）： ```sql UPDATE A SET Price = B.Price FROM B WHERE A.dt = date_sub(current_date, 1) -- 只更新昨天的分区 AND A.Price IS NULL AND A.item_id = B.item_id AND B.Price IS NOT NULL; -- 确保B表的价格不为空 ``` 方式2：如果表数据量较大，且采用分区存储，更常见的做法是重写整个分区（即使用INSERT OVERWRITE重新写入昨天的分区）。但这样需要先准备好整个分区的数据，包括不需要更新的行。 重写分区的步骤： 1. 将A表昨天分区的数据中，Price为空且B表有对应记录的行，用B表的Price替换；其他行保持不变。 2. 然后将整个分区的数据重新写入。 假设A表有字段：item_id, Price, dt（分区字段） 那么重写分区的SQL可能如下： ```sql INSERT OVERWRITE TABLE A PARTITION (dt = date_sub(current_date, 1)) SELECT A.item_id, COALESCE(A.Price, B.Price) AS Price, -- 如果A表Price为空，则用B表的Price，否则用A表自己的 -- ... 其他字段 FROM A LEFT JOIN B ON A.item_id = B.item_id WHERE A.dt = date_sub(current_date, 1); ``` 但是注意：上面的方法会覆盖整个分区的数据，而且使用了LEFT JOIN，如果A表中一条记录在B表中有多条，则会出现重复，导致数据错误。所以需要确保B表的item_id是唯一的，或者使用聚合（如取最新的一个）。 更安全的做法是，先获取A表昨天分区的所有数据，然后对于Price为空的记录，去B表获取对应的Price（如果B表有多个，则取一个，比如取最大的或最小的，根据业务决定）。这里假设我们取B表最新的记录（假设B表有日期字段，取最大的日期对应的Price），如果没有日期字段，则任意取一个（比如MAX或MIN）。 因此，我们可以这样写： ```sql -- 先创建临时数据：将A表昨天分区的数据与B表关联，并填充Price WITH temp_data AS ( SELECT A.item_id, COALESCE(A.Price, B.Price) AS Price, -- ... 其他字段 FROM A LEFT JOIN ( -- 对B表按item_id去重，这里使用row_number()取每个item_id最新的一条（假设B表有日期字段update_time） SELECT item_id, Price, ROW_NUMBER() OVER (PARTITION BY item_id ORDER BY update_time DESC) as rn FROM B ) B ON A.item_id = B.item_id AND B.rn=1 WHERE A.dt = date_sub(current_date, 1) ) -- 然后覆盖写入A表的昨天分区 INSERT OVERWRITE TABLE A PARTITION (dt = date_sub(current_date, 1)) SELECT * FROM temp_data; ``` 但是，如果A表的数据量很大，且我们只需要更新一部分记录，使用覆盖整个分区的方式可能效率较低。因此，在实际操作中，需要权衡。 另外，根据引用[2]提供的表名，这里并没有直接提到A表和B表，所以具体表名和字段需要根据实际情况调整。 考虑到问题描述中只提到了更新A表中昨天Price为空的记录，且使用B表的Price，我们假设关联字段是item_id，并且B表中每个item_id只有一条记录（或者我们取一条）。 因此，如果系统支持UPDATE，且数据量不大，使用UPDATE是最直接的。如果不支持，则采用重写分区的方式。 根据引用[1]中提到的全量存储和拉链存储，如果A表是全量存储（每天分区是全量快照），那么重写整个分区是合理的。如果是拉链存储，则更新操作需要修改start_dt和end_dt，比较复杂，但问题中只要求更新昨天的记录，而昨天分区的记录在拉链表中可能还没有结束（即end_dt为未来一个很大的日期），所以需要更新拉链表中的该条记录，并插入新的记录？这比较复杂，且问题没有说明是拉链表，所以我们按照全量存储处理。 结论：根据问题的描述，我们采用全量存储的方式，使用重写分区的方法来更新数据。 但是，如果A表不是分区表，或者没有分区，那么只能使用UPDATE语句（如果支持）或者使用MERGE INTO语句（如果数据库支持）。 由于问题没有明确说明表结构，我们假设是分区表（按天分区），所以采用重写分区的方式。 注意：重写分区前，最好备份数据，以防出错。 因此，最终的解决方案（采用重写分区）如下： 步骤： 1. 创建一个临时视图，包含昨天分区的所有数据，并将其中Price为空的记录用B表对应的Price填充（如果B表有的话）。 2. 将临时视图的数据覆盖写入A表的昨天分区。 具体SQL（Hive）如下： ```sql -- 设置分区 SET dt = date_sub(current_date, 1); -- 使用动态分区覆盖写入 INSERT OVERWRITE TABLE A PARTITION (dt = '${hiveconf:dt}') SELECT A.item_id, -- 如果A表的Price为空，则用B表的Price，否则保留A表的Price CASE WHEN A.Price IS NULL THEN B.Price ELSE A.Price END AS Price, -- ... 其他字段 FROM A LEFT JOIN ( -- 对B表按item_id去重，取每个item_id的一条记录（这里假设取Price不为空且最新的一条，如果没有时间字段，则取任意一条） SELECT item_id, Price FROM ( SELECT item_id, Price, ROW_NUMBER() OVER (PARTITION BY item_id ORDER BY update_time DESC) as rn FROM B WHERE Price IS NOT NULL -- 只取Price不为空的记录 ) t WHERE rn = 1 ) B ON A.item_id = B.item_id WHERE A.dt = '${hiveconf:dt}'; ``` 注意： - 这里使用了子查询对B表去重，确保每个item_id只取一条记录（最新的一条）。 - 如果B表没有时间字段，则无法按时间排序，可以去掉排序，这样取的是任意一条（但这样可能不符合业务，需要根据业务调整）。 - 如果B表没有重复的item_id，则不需要去重。 如果B表没有时间字段，且允许重复，那么我们可以使用聚合函数（如MAX或MIN）来取一条： ```sql SELECT item_id, MAX(Price) as Price -- 或者MIN(Price)，根据业务决定 FROM B WHERE Price IS NOT NULL GROUP BY item_id ``` 这样也可以保证每个item_id只有一条记录。 因此，根据B表的结构选择去重方式。 最后，由于问题中要求更新的是昨天Price为空的记录，所以我们在关联后，只更新了昨天分区的数据，并且只将Price为空的替换掉。其他记录保持不变。 请根据实际表结构和业务需求调整SQL。 相关问题： 1. 在数据仓库中，更新历史数据有哪些常见的方式？ 2. 全量存储和拉链存储各有什么优缺点？ 3. 在Hive中执行覆盖分区操作需要注意哪些事项？</think>根据需求，您需要使用B表中的Price数据更新A表中昨天Price为空的记录。以下是分步解决方案： ### 1. **确定关联字段** 首先需要确认A表和B表之间的关联字段（如商品ID、订单ID等）。假设两表通过`item_id`字段关联，且A表有日期分区字段`dt`。 ### 2. **更新SQL语句（Hive语法示例）** ```sql INSERT OVERWRITE TABLE A PARTITION (dt = '${yesterday}') SELECT A.item_id, COALESCE(A.Price, B.Price) AS Price, -- 优先取B表Price A.other_columns -- 其他字段保留原值 FROM A LEFT JOIN B ON A.item_id = B.item_id WHERE A.dt = '${yesterday}' AND A.Price IS NULL; -- 仅处理空值记录 ``` ### 3. **关键逻辑说明** 1. **关联条件** `LEFT JOIN B ON A.item_id = B.item_id`：通过商品ID关联两表[^2] 2. **空值替换** `COALESCE(A.Price, B.Price)`：当A表Price为空时使用B表值填充 3. **分区限定** `WHERE A.dt = '${yesterday}'`：仅更新昨天分区的数据（需替换为实际日期） 4. **覆盖写入** `INSERT OVERWRITE`：重写分区保证数据一致性[^1] ### 4. **注意事项** - **数据去重**：若B表存在重复`item_id`，需先聚合处理（如`MAX(B.Price)`） - **性能优化**：对A表分区裁剪（`dt='${yesterday}'`）可加速查询 - **空值保护**：添加`WHERE B.Price IS NOT NULL`避免引入新空值 - **业务验证**：更新后需确认消费者认可的价值一致性[^3] ### 5. **替代方案（UPDATE语法）** 若数据库支持事务更新： ```sql UPDATE A SET Price = B.Price FROM B WHERE A.item_id = B.item_id AND A.dt = '${yesterday}' AND A.Price IS NULL; ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值