flink车联网项目：维表离线同步（第69天）

系列文章目录

3.3 维表离线同步
3.3.1 思路
3.3.2 示例
3.3.3 其他表开发
3.3.4 部署
3.3.1.1 将表提交到生成环境
3.3.1.2 添加虚拟节点
3.3.1.3 配置计算节点
3.3.1.4 添加虚拟结束节点
3.3.1.5 提交到生产环境
3.3.1.6 发布
3.3.1.7 运维中心
3.3.1.8 补数据
3.3.1.9 补数据实例
3.3.1.10 查询数据

---

前言

本文为flink车联网项目：维表离线同步，后续章节为：ods层具体实现

3.3 维表离线同步

3.3.1 思路

这部分就是把实时的维表每天定时同步到离线MaxCompute表中，从而解决维表变化的问题。在离线计算的时候，就可以直接访问MaxCompute的离线表。
一般定时调度的时间是每天凌晨，这样就相当于将每天凌晨的维表快照信息做为昨天最后的状态信息。写到分区时，用 date_sub(current_date, 1) 即可计算时间。
因为阿里云Flink中虽然支持批处理，但是目前没有调度功能，所以写出到MaxCompute表的工作需要使用DataWorks来完成。以下部分在DataWorks中完成。

3.3.2 示例

（1）创建dim业务流程
打开DataWorks控制台,打开dwxxx项目，点击数据开发，进入DataStudio.

在业务流程右键，新建业务流程，名称为dim

（2）创建临时查询
点击临时查询，新建ODPS SQL，路径为临时查询，名称为create_table

同样的方法，创建名称为query的临时查询
（3）创建MaxCompute分区表
在临时查询create_table中运行。
– 按日分区维表
drop table if exists mc_dim_car_info_i;
create table if not exists mc_dim_car_info_i
(
id bigint,
car_status bigint comment ‘车辆状态 1:启用 0:禁用’,
is_inspection bigint comment ‘是否验车 1:是 0:否’,
audit_status bigint comment ‘普通车辆审核状态 0:数据初始化 1:待初审 3:初审未通过 5:待终审 7:终审通过 8:终审未通过 10:信息已失效’,
net_audit_status bigint comment ‘网约车辆审核状态 0:数据初始化 1:待初审 3:初审未通过 5:待终审 7:终审通过 8:终审未通过 10:信息已失效’,
audit_desc string comment ‘车辆审核描述’,
audit_date timestamp comment ‘车辆普通信息最后审核时间’,
net_audit_date timestamp comment ‘车辆网约信息最后审核时间’,
car_level_id bigint comment ‘车辆等级id’,
car_level_name string comment ‘车辆等级名称’,
car_source bigint comment ‘车辆来源: 0.数据初始化 1.自营 2.加盟’,
register_channel bigint comment ‘注册渠道,1:app 2: 第三方渠道 3:管理系统’,
car_city_no bigint comment ‘车辆所在地城市编号’,
car_city_name string comment ‘城市名称’,
car_plate_no string comment ‘车牌号’,
car_plate_color bigint comment ‘>> 已修改 车牌颜色(1.蓝色 2.黄色 3.黑色 4.白色 5.绿色 6.其他) -->原sql 9.其他’,
car_brand_id bigint comment ‘车辆品牌id’,
car_brand string comment ‘车辆品牌’,
car_color bigint comment ‘车辆颜色（1.黑色 2.白色 3.蓝色 4.金色 5.银色 6.棕色 7.灰色 8.黄色 9.粉色 10.红色 11.紫色 12.绿色）’,
car_seats bigint comment ‘核定载客人数’,
car_owner_type bigint comment ‘车辆归属类型（行驶证信息）:1.个人私家车 2.出租车企业 3.平台自有车’,
car_producer_brand string comment ‘车辆厂牌（行驶证信息）’,
car_producer_brand_model string comment ‘车辆品牌型号（行驶证信息）’,
vehicle_type string comment ‘车辆类型（行驶证信息）’,
car_owner string comment ‘车辆所有人’,
car_character bigint comment ‘车辆性质: 1.非营运 2.租赁 3.预约出租客运 4.出租客运 5.营转非’,
vin string comment ‘车架号’,
engine_no string comment ‘发动机号’,
fuel_type bigint comment ‘车辆燃料类型(1.汽油 2.柴油 3.天然气 4.液化气 5.电动 6.其他)’,
displacement bigint comment ‘发动机排量(ml)’,
inspection_status bigint comment ‘车辆年检状态 1:未年检 2:已年检 3:年检未通过’,
total_distance bigint comment ‘行驶总里程(km)’,
engine_power bigint comment ‘发动机功率，单位kw’,
wheel_base bigint comment ‘车辆轴距(m)’,
gps_brand string comment ‘卫星定位装置品牌’,
gps_model string comment ‘卫星定位装置型号’,
gps_imei string comment ‘卫星定位imei’,
net_car_lic_no string comment ‘网络预约汽车运输资格证号’,
net_car_lic_issue_agency string comment ‘网络预约汽车运输资格证颁发机构’,
net_car_lic_oper_area string comment ‘经营区域’,
net_car_lic_verified bigint comment ‘网约车汽车运输资格证三方验证:1.通过 2.未验证 3.未通过’,
net_car_lic_verified_remark string comment ‘网约车汽车运输资格证三方验证备注’,
is_push bigint comment '是否向交委推送:1：未推送；2：推送 3:驳回 ',
is_p