- 博客(3)
- 收藏
- 关注
RSS订阅原创 数据抽取--增量
根据ods.customer_inf表中modified_time作为增量字段，只将新增的数据抽入，字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前日期的前一天日期（分区字段格式为yyyyMMdd）。抽取ds_db01库中customer_inf的增量数据进入Hive的ods库中表customer_inf。使用hive cli执行show partitions ods.customer_inf命令；
2023-11-07 07:30:00
420
原创 技能大赛数据抽取--添加静态分区，分区字段为etl_date，类型为String，且值为当前日期的前一天日期（分区字段格式为yyyyMMdd）
分区字段为etl_date，类型为String，且值为当前日期的前一天日期（分区字段格式为yyyyMMdd）
2023-11-06 17:18:45
138
1
原创 Exception in thread “main“ org.apache.spark.sql.AnalysisException: Cannot write incompatible data to
SQL 增加了一个安全策略，不对非同类型的数据进行强制转换，然后就会出现这个错误。
2023-11-06 17:13:49
1678
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人