增量同步遇到的坑
- 上游(业务系统)手动导入数据,导入的时间使用了事件时间而不是程序时间
- 注意时区
并行度
-
Sqoop的底层运行任务是MR中的Map,没有Reduce,默认4个MapTask
-
数据导入时,建议并行度设为1:
--num-mappers 1
并行度>1时,会产生多个文件 -
数据量较大时,可以增加并行度,并指定切分的键:
--split-by
列式存储导出问题
-
问题描述:
- 数仓表采用列式存储,Sqoop导出时可能出问题 解决方案:
-
1、应用层数据量不多,不采用列式存储(首选)
2、创建 常规存储的 临时表,再导出
Sqoop数据导出一致性问题
-
场景:
- HIVE数据导出到MySQL时,使用4个Map任务,其中2个任务失败,导致MySQL只存了另两个任务的数据 原因:
- Sqoop将导出过程分解为多个事务 解决方案:
-
添加
--staging-table选项,指定表名(是个辅助表),使阶段数据在单个事务中移动到目标表
--staging-table 用于辅助的表名 \
--clear-staging-table \
--staging-table不和--update-mode allowinsert同时使用用于辅助的表要预先创建好- 不写
--columns默认是全部列,但在--staging-table情况下建议加上--columns --clear-staging-table会清空用于辅助的表的数据- MySQL表设置主键可防止重复写入
- 更多报错信息请用
yarn logs -applicationId查看
上游业务系统数据库按月分表
- sqoop的Python脚本设置动态表名即可
from datetime import date, timedelta
# 今天
today = date.today()
# 上个月最后一天
last_day_of_last_month = today - timedelta(days=today.day)
# 上个月
month = last_day_of_last_month.month
# 上个月最后一天所在年份
year = last_day_of_last_month.year
# 年月
ym = '%4d%2d' % (year, month)
print(ym)
# 动态表名
tb_name = TB_NAME + ym
源头管理
1、源表规范
- 表和字段必须要有注释
- 遵循范式(见过一些不遵循范式的,表关联绕圈,乱的不行)
- 单机低并发场景,可使用外键
不使用外键的话,须要给列添加外键的注释
2、源表字段变更通知
源表字段变更时,要求按以下格式通知大数据部门
| 变更日期 | 库 | 库名 | 表名 | 变更操作 | 变更字段 |
|---|---|---|---|---|---|
| 2021-10-24 | MySQL | b1 | t1 | 删除字段 | f5 |
| 2021-10-24 | MySQL | b1 | t2 | 增加字段 | f3,f4 |
| … |
3、源MySQL元数据概览
https://blog.youkuaiyun.com/Yellow_python/article/details/124276995
数据同步信息管理
| 源地址 | 源类型 | 源库名 | 源表名 | 主键 | 表注释 | 是否允许update操作 | 是否允许delete操作 | 行的创建时间字段 | 行的更新时间字段 | 同步工具 | 目标类型 | 目标路径 | 目标库 | 目标表 | 目标表类别 | 分区策略 | 同步周期 | 同步策略 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| host01 | MySQL | 商品信息 | 是 | Sqoop | HIVE | 维度表 | 按天 | 天 | 全量 | |||||||||
| host01 | MySQL | 用户信息 | 是 | create_time | update_time | Sqoop | HIVE | 维度表 | 按天 | 天 | 新增及变化 | |||||||
| host01 | MySQL | 子订单流水 | 否 | create_time | Sqoop | HIVE | 事务型事实表 | 按天 | 天 | 增量 | ||||||||
| host01 | MySQL | 库存 | 是 | Sqoop | HIVE | 周期型快照事实表 | 按天 | 天 | 全量 | |||||||||
| host01 | MySQL | 订单状态 | 是 | create_time | update_time | Sqoop | HIVE | 累积型快照事实表 | 按天 | 天 | 新增及变化 | |||||||
| … | Maxwell | HDFS | … |
是否允许update操作和是否允许delete操作需要联系后端同事帮忙填写
MySQL导入数据到的HIVE建表策略
- 表名:
ods_源类型_源表名_同步策略
同步策略:full表示全量同步,i表示增量同步(默认每天增量)
例如:sku_info=>ods_mysql_sku_info_full;sub_order=>osd_mysql_sub_order_i - 建表数据类型:
多数情况下用STRING
度量值要用数值
金额用DECIMAL(16,2),表示:16位有效数字,其中小数部分2位
(Java)程序生成的时间戳用BIGINT
其它度量值转换规则如下:
| MySQL | 范围 | HIVE | 范围 |
|---|---|---|---|
| INT | -2,147,483,648 ~ 2,147,483,647 | INT | -2,147,483,648 ~ 2,147,483,647 |
| INT UNSIGNED | 0 ~ 4,294,967,295 | BIGINT | -9,223,372,036,854,775,808 ~ 9,223,372,036,854,775,807 |
| BIGINT | -9,223,372,036,854,775,808 ~ 9,223,372,036,854,775,807 | BIGINT | -9,223,372,036,854,775,808 ~ 9,223,372,036,854,775,807 |
| TINYINT | -128 ~ 127 | TINYINT | -128 ~ 127 |
| TINYINT UNSIGNED | 0 ~ 255 | SMALLINT | 2-byte signed integer -32,768 to 32,767 |
FLOAT和FLOAT UNSIGNED | FLOAT | ||
DOUBLE和DOUBLE UNSIGNED | DOUBLE | ||
| DECIMAL | DECIMAL | ||
| BIT | STRING |
- 建议
bit类型数据,用bin函数转成字符串,再导入到HDFS
create table t1 (a bit(1),b bit(4));
insert into t1 values (0,9),(1,7);
select a,b,bin(a),bin(b) from t1;

Appendix
| en | 🔉 | cn |
|---|---|---|
| premium | ˈpriːmiəm | n. 保险费;额外价值;津贴;奖品,奖金 |
| schema | ˈskiːmə | n. (计划或理论的)纲要,图解 |
| navi | navigation | abbr. 导航系统 |
| navigation | ˌnævɪˈɡeɪʃn | n. 导航;航海;水上运输;浏览;航海术;内河水道(尤指运河) |
| unsigned | ˌʌnˈsaɪnd | adj. 无符号的;未签名的 |
| decimal | ˈdesɪml | adj. 十进位的,小数的;n. 小数;十进制 |
| staging | ˈsteɪdʒɪŋ | n. 上演;分段运输;v. 表演;展现;分阶段进行;筹划(stage 的 ing 形式) |
| stage | steɪdʒ | n. 阶段;舞台;vt. 上演;主办 |
1096



被折叠的 条评论
为什么被折叠?



