离线数据处理任务二：数据清洗

open_test01

已于 2023-10-10 17:43:26 修改

阅读量4k

点赞数 12

分类专栏：大数据离线、实时处理笔记资料文章标签： hive hadoop 数据仓库

于 2023-04-06 21:54:11 首次发布

本文链接：https://blog.youkuaiyun.com/dafsq/article/details/129938134

版权

大数据离线、实时处理笔记资料专栏收录该内容

12 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何使用Scala编写Spark工程代码，将Hive中的ods库数据全量抽取到dwd库中，涉及数据清洗、合并、分区处理，并通过Hive CLI展示具体操作，如用户信息、商品信息、区域信息和订单信息的处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive数据库和表的创建

给dim添加最新状态记录

任务

接着上一篇数据抽取的任务继续需用到上篇ods数据抽取的数据继续练习

hive数据库和表的创建

1、创建dwd数据库

create database dwd;

2、创建dim_user_info 表，分区字段etl_date

CREATE TABLE `dim_user_info`  (
  `id` bigint,
  `login_name` string,
  `nick_name` string,
  `passwd` string,
  `name` string,
  `phone_num` string,
  `email` string,
  `head_img` string,
  `user_level` string,
  `birthday` timestamp,
  `gender` string,
  `create_time`