二、数据仓库电商项目——ODS层

原创 已于 2022-08-19 20:23:07 修改 · 2k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据仓库 #hadoop #hive

于 2021-05-14 11:06:04 首次发布
本文详细介绍了大数据平台中的ODS层（Operational Data Store）的构建过程，包括其主要职责、特点，如保持数据原貌、数据压缩和分区表创建。通过示例展示了用户行为日志数据如何从HDFS到ODS层的落盘，并创建LZO索引。同时，文章还展示了如何使用Hive创建和加载业务数据到ODS层，涉及订单、用户、商品等多个表的建表语句和数据加载脚本，以及数据的增量更新和全量导入策略。

ODS层 

      ODS层是整个阶段最简单一层分层，主要职责是建立数据原始层，将数据都保存在HDFS上，经过步骤1我们建立出来了两个数据文件夹，一个是db，一个是log，分别代表业务数据、用户行为数据。

 ODS层的特点：

            （1）保持数据原貌不做任何修改，起到备份数据的作用。

            （2）数据采用压缩，减少磁盘存储空间（例如：原始数据100G，可以压缩到10G左右）

            （3）创建分区表，防止后续的全表扫描

ODS层用户行为日志数据，日志文件—>HDFS—>ODS落盘 

      在用户行为数据中，

需要创建两张表，一张是启动数据表，一张是事件行为表。在最后进行脚本的编写。

分解需求：当前需要建立两张表ods_start_log，ods_event_log，采用LZO压缩。落盘路径为：/warehouse/gamll/ods/ods_start_log

创建启动日志表ods_start_log 

CREATE DATABASE gmall;
use gmall;

DROP TABLE IF EXISTS ods_start_log;
CREATE EXTERNAL TABLE ods_start_log (line string)
partitioned by (dt string)
STORED AS INPUTFORMAT  "com.hadoop.mapred.DeprecatedLzoTextInputFormat"
OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat"
LOCATION '/warehouse/gamll/ods/ods_start_log';

LOAD DATA INPATH '/origin_data_cdh/gmall/log/topic_start/2020-11-19' INTO TABLE ods_start_log PARTITION (dt='2020-11-19');
LOAD DATA INPATH '/origin_data_cdh/gmall/log/topic_start/2020-11-20' INTO TABLE ods_start_log PARTITION (dt='2020-11-20');

SELECT * FROM ods_start_log WHERE dt='2020-11-19' LIMIT 2;

创建LZO索引：

sudo -u hdfs hadoop jar /opt/module/LZO/hadoop-lzo-0.4.15-cdh5.8.3.jar  com.hadoop.compression.lzo.LzoIndexer /warehouse/gamll/ods/ods_start_log/dt=2020-11-19

创建事件日志表ods_event_log 同上

创建脚本 hdfs_to_ods_log.sh

#!/bin/bash

# 定义变量方便修改
APP=gmall
# 如果是输入的日期按照取输入日期；如果没输入日期取当前时间的前一天
if [ -n "$1" ] ;then
   do_date=$1
else
   do_date=`date -d "-1 day" +%F`
fi
echo "===说明：ods层用户行为日志导入==="
echo "===日志日期为 $do_date==="
sql="
load data inpath '/origin_data_cdh/gmall/log/topic_start/$do_date' overwrite into table ${APP}.ods_start_log partition(dt='$do_date');

load data inpath '/origin_data_cdh/gmall/log/topic_event/$do_date' overwrite into table ${APP}.ods_event_log partition(dt='$do_date');
"

sudo -u hive hive -e "$sql"

#创建索引
echo "===说明：$do_date ods层  启动日志  创建LZO索引......==="
sudo -u hdfs hadoop jar /opt/module/LZO/hadoop-lzo-0.4.15-cdh5.8.3.jar  com.hadoop.compression.lzo.LzoIndexer /warehouse/gamll/ods/ods_start_log/dt=$do_date
echo "===说明：$do_date ods层  事件日志  创建LZO索引......==="
sudo -u hdfs hadoop jar /opt/module/LZO/hadoop-lzo-0.4.15-cdh5.8.3.jar  com.hadoop.compression.lzo.LzoIndexer /warehouse/gamll/ods/ods_event_log/dt=$do_date

ODS层业务数据 

将MySQL数据库中的业务数据通过sqoop全部罗盘到HDFS上，格式整齐，并且建立了LZO索引，现在我们想将这些数据通过Hive清洗成ODS层的数据

电商表结构（24张表）： 

订单表（增量及更新）

MySQL中的order_info

在这里插入图片描述

建表过程中筛选的字段，你会发现并不是所有的字段，数据清洗只挑选有用的字段。

drop TABLE IF EXISTS ods_order_info;
CREATE EXTERNAL TABLE ods_order_info(
id STRING COMMENT '订单号',
fina_total_amount DECIMAL(10,2) COMMENT '订单金额',
order_status STRING COMMENT '订单状态',
user_id STRING COMMENT '用户id',
out_trade_no STRING COMMENT '支付流水号',
create_time STRING COMMENT '创建时间',
operate_time STRING COMMENT '操作时间',
province_id STRING COMMENT '省份id',
benefit_reduce_amount DECIMAL(10,2) COMMENT '优惠金额',
original_total_amount DECIMAL(10,2) COMMENT '原始金额',
feight_fee DECIMAL(10,2) COMMENT '运费金额'
)comment '订单表'
PARTITIONED BY (dt STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY'\t'
STORED AS 
 INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
 OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION '/warehouse/gamll/ods/ods_oder_info';

订单详情表表（增量）

drop table if exists ods_order_detail;
create external table ods_order_detail( 
    `id` string COMMENT '订单编号',
    `order_id` string  COMMENT '订单号', 
    `user_id` string COMMENT '用户id',
    `sku_id` string COMMENT '商品id',
    `sku_name` string COMMENT '商品名称',
    `order_price` decimal(10,2) COMMENT '商品价格',
    `sku_num` bigint COMMENT '商品数量',
    `create_time` string COMMENT '创建时间'
) COMMENT '订单详情表'
PARTITIONED BY (`dt` string)
row format delimited fields terminated by '\t' 
STORED AS
  INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
location '/warehouse/gmall/ods/ods_order_detail/';

SKU商品表（全量表）

drop table if exists ods_sku_info;
create external table ods_sku_info( 
    `id` string COMMENT 'skuId',
    `spu_id` string   COMMENT 'spuid', 
    `price` decimal(10,2) COMMENT '价格',
    `sku_name` string COMMENT '商品名称',
    `sku_desc` string COMMENT '商品描述',
    `weight` string COMMENT '重量',
    `tm_id` string COMMENT '品牌id',
    `category3_id` string COMMENT '品类id',
    `create_time` string COMMENT '创建时间'
) COMMENT 'SKU商品表'
PARTITIONED BY (`dt` string)
row format delimited fields terminated by '\t'
STORED AS
  INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
location '/warehouse/gmall/ods/ods_sku_info/';

用户表（增量及更新）

drop table if exists ods_user_info;
create external table ods_user_info( 
    `id` string COMMENT '用户id',
    `name`  string COMMENT '姓名',
    `birthday` string COMMENT '生日',
    `gender` string COMMENT '性别',
    `email` string COMMENT '邮箱',
    `user_level` string COMMENT '用户等级',
    `create_time` string COMMENT '创建时间',
    `operate_time` string COMMENT '操作时间'
) COMMENT '用户表'
PARTITIONED BY (`dt` string)
row format delimited fields terminated by '\t'
STORED AS
  INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
location '/warehouse/gmall/ods/ods_user_info/';

商品一级分类表（全量）

drop table if exists ods_base_category1;
create external table ods_base_category1( 
    `id` string COMMENT 'id',
    `name`  string COMMENT '名称'
) COMMENT '商品一级分类表'
PARTITIONED BY (`dt` string)
row format delimited fields terminated by '\t'
STORED AS
  INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
location '/warehouse/gmall/ods/ods_base_category1/';

支付流水表（增量）

drop table if exists ods_payment_info;
create external table ods_payment_info(
    `id`   bigint COMMENT '编号',
    `out_trade_no`    string COMMENT '对外业务编号',
    `order_id`        string COMMENT '订单编号',
    `user_id`         string COMMENT '用户编号',
    `alipay_trade_no` string COMMENT '支付宝交易流水编号',
    `total_amount`    decimal(16,2) COMMENT '支付金额',
    `subject`         string COMMENT '交易内容',
    `payment_type`    string COMMENT '支付类型',
    `payment_time`    string COMMENT '支付时间'
)  COMMENT '支付流水表'
PARTITIONED BY (`dt` string)
row format delimited fields terminated by '\t'
STORED AS
  INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
location '/warehouse/gmall/ods/ods_payment_info/';

省份表（特殊)

drop table if exists ods_base_province;
create external table ods_base_province (
    `id`   bigint COMMENT '编号',
    `name`        string COMMENT '省份名称',
    `region_id`    string COMMENT '地区ID',
    `area_code`    string COMMENT '地区编码',
    `iso_code` string COMMENT 'iso编码'
   )  COMMENT '省份表'
row format delimited fields terminated by '\t'
STORED AS
  INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
location '/warehouse/gmall/ods/ods_base_province/';

地区表（特殊）

drop table if exists ods_base_region;
create external table ods_base_region (
    `id`   bigint COMMENT '编号',
    `region_name`        string COMMENT '地区名称'
   )  COMMENT '地区表'
row format delimited fields terminated by '\t'
STORED AS
  INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
location '/warehouse/gmall/ods/ods_base_region/';

drop table if exists ods_base_province;
create external table ods_base_province (
    `id`   bigint COMMENT '编号',
    `name`        string COMMENT '省份名称',
    `region_id`    string COMMENT '地区ID',
    `area_code`    string COMMENT '地区编码',
    `iso_code` string COMMENT 'iso编码'
   )  COMMENT '省份表'
row format delimited fields terminated by '\t'
STORED AS
  INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
location '/warehouse/gmall/ods/ods_base_province/';

 订单状态表（增量）

drop table if exists ods_order_status_log;
create external table ods_order_status_log (
    `id`   bigint COMMENT '编号',
    `order_id` string COMMENT '订单ID',
    `order_status` string COMMENT '订单状态',
    `operate_time` string COMMENT '修改时间'
)  COMMENT '订单状态表'
PARTITIONED BY (`dt` string)
row format delimited fields terminated by '\t'
STORED AS
  INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
location '/warehouse/gmall/ods/ods_order_status_log/';

SPU商品表（全量）

drop table if exists ods_spu_info;
create external table ods_spu_info(
    `id` string COMMENT 'spuid',
    `spu_name` string COMMENT 'spu名称',
    `category3_id` string COMMENT '品类id',
    `tm_id` string COMMENT '品牌id'
) COMMENT 'SPU商品表'
PARTITIONED BY (`dt` string)
row format delimited fields terminated by '\t'
STORED AS
  INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
location '/warehouse/gmall/ods/ods_spu_info/';

退单表（增量）

drop table if exists ods_order_refund_info;
create external table ods_order_refund_info(
    `id` string COMMENT '编号',
    `user_id` string COMMENT '用户ID',
    `order_id` string COMMENT '订单ID',
    `sku_id` string COMMENT '商品ID',
    `refund_type` string COMMENT '退款类型',
    `refund_num` bigint COMMENT '退款件数',
    `refund_amount` decimal(16,2) COMMENT '退款金额',
    `refund_reason_type` string COMMENT '退款原因类型',
    `create_time` string COMMENT '退款时间'
) COMMENT '退单表'
PARTITIONED BY (`dt` string)
row format delimited fields terminated by '\t'
STORED AS
  INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
location '/warehouse/gmall/ods/ods_order_refund_info/';

ODS层加载数据脚本

1）创建脚本hdfs_to_ods_db.sh

#!/bin/bash

APP=gmall
hive=/opt/module/hive/bin/hive

# 如果是输入的日期按照取输入日期；如果没输入日期取当前时间的前一天
if [ -n "$2" ] ;then
    do_date=$2
else 
    do_date=`date -d "-1 day" +%F`
fi

sql1=" 
load data inpath '/origin_data/$APP/db/order_info/$do_date' OVERWRITE into table ${APP}.ods_order_info partition(dt='$do_date');

load data inpath '/origin_data/$APP/db/order_detail/$do_date' OVERWRITE into table ${APP}.ods_order_detail partition(dt='$do_date');

load data inpath '/origin_data/$APP/db/sku_info/$do_date' OVERWRITE into table ${APP}.ods_sku_info partition(dt='$do_date');

load data inpath '/origin_data/$APP/db/user_info/$do_date' OVERWRITE into table ${APP}.ods_user_info partition(dt='$do_date');

load data inpath '/origin_data/$APP/db/payment_info/$do_date' OVERWRITE into table ${APP}.ods_payment_info partition(dt='$do_date');

load data inpath '/origin_data/$APP/db/base_category1/$do_date' OVERWRITE into table ${APP}.ods_base_category1 partition(dt='$do_date');

load data inpath '/origin_data/$APP/db/base_category2/$do_date' OVERWRITE into table ${APP}.ods_base_category2 partition(dt='$do_date');

load data inpath '/origin_data/$APP/db/base_category3/$do_date' OVERWRITE into table ${APP}.ods_base_category3 partition(dt='$do_date'); 

load data inpath '/origin_data/$APP/db/base_trademark/$do_date' OVERWRITE into table ${APP}.ods_base_trademark partition(dt='$do_date'); 

load data inpath '/origin_data/$APP/db/activity_info/$do_date' OVERWRITE into table ${APP}.ods_activity_info partition(dt='$do_date'); 

load data inpath '/origin_data/$APP/db/activity_order/$do_date' OVERWRITE into table ${APP}.ods_activity_order partition(dt='$do_date'); 

load data inpath '/origin_data/$APP/db/cart_info/$do_date' OVERWRITE into table ${APP}.ods_cart_info partition(dt='$do_date'); 

load data inpath '/origin_data/$APP/db/comment_info/$do_date' OVERWRITE into table ${APP}.ods_comment_info partition(dt='$do_date'); 

load data inpath '/origin_data/$APP/db/coupon_info/$do_date' OVERWRITE into table ${APP}.ods_coupon_info partition(dt='$do_date'); 

load data inpath '/origin_data/$APP/db/coupon_use/$do_date' OVERWRITE into table ${APP}.ods_coupon_use partition(dt='$do_date'); 

load data inpath '/origin_data/$APP/db/favor_info/$do_date' OVERWRITE into table ${APP}.ods_favor_info partition(dt='$do_date'); 

load data inpath '/origin_data/$APP/db/order_refund_info/$do_date' OVERWRITE into table ${APP}.ods_order_refund_info partition(dt='$do_date'); 

load data inpath '/origin_data/$APP/db/order_status_log/$do_date' OVERWRITE into table ${APP}.ods_order_status_log partition(dt='$do_date'); 

load data inpath '/origin_data/$APP/db/spu_info/$do_date' OVERWRITE into table ${APP}.ods_spu_info partition(dt='$do_date'); 

load data inpath '/origin_data/$APP/db/activity_rule/$do_date' OVERWRITE into table ${APP}.ods_activity_rule partition(dt='$do_date'); 

load data inpath '/origin_data/$APP/db/base_dic/$do_date' OVERWRITE into table ${APP}.ods_base_dic partition(dt='$do_date'); 
"

sql2=" 
load data inpath '/origin_data/$APP/db/base_province/$do_date' OVERWRITE into table ${APP}.ods_base_province;

load data inpath '/origin_data/$APP/db/base_region/$do_date' OVERWRITE into table ${APP}.ods_base_region;
"
case $1 in
"first"){
#$hive -e "$sql1"
#$hive -e "$sql2"
   sudo -u hive  hive -e "$sql1"
   sudo -u hive  hive -e "$sql2"
};;
"all"){
#$hive -e "$sql1"
   sudo -u hive  hive -e "$sql1"
};;
esac

拿order_info举例，因为Sqoop导入的数据： 

在这里插入图片描述

所以我们导入数据的时候它会按照格式进行按坑就位~： 

LOAD DATA INPATH '/origin_data_cdh/gmall/db/order_info/2020-11-19' 
overwrite into table test.ods_order_info_test PARTITION (dt='2020-11-19');

数据仓库进阶之路
weixin_49880348的博客
12-20 1130
猫耳朵 /一个数据人的自留地 作者介绍 @猫耳朵 数据产品经理萌新。 开发经验丰富，专注于数据产品。 —————— BEGIN —————— 本文主要围绕架构、分层、建模三个方面，进一步加深对数仓的了解。 1 数据仓库的架构 从整体上来看，数据仓库体系架构可分为：数据采集层、数据计算层、数据服务层和数据应用层，如下图。 1）数据采集层 数据采集层的任务就是把数据从各种数据源中采集和存储到数据库上，期间有可能会做一些 ETL（即抽取、转换、装载）操作。 其中，日志所占份额最大，存储在备份服务器上的业务数据库
数仓分层——ODS、DW、ADS
麦当当的博客
05-07 1万+
ODS（Operational Data Store，运营数据存储）是数据仓库体系结构中的一个重要组成部分，通常作为数据仓库架构中的第一个层次或者与原始数据层紧密相关。ODS 层主要用于存储和处理来自业务应用系统的实时、操作性数据，提供给业务用户和决策者进行日常的操作性查询和分析。数据来源： ODS 层的数据主要来自于组织内部的业务应用系统，如企业资源计划（ERP）、客户关系管理（CRM）、销售、采购、库存管理系统等。这些系统产生的数据通常是实时、操作性的，包含了组织的日常业务活动的详细信息。数据存储。
数据仓库和数据集市之ODS、CDM、ADS、DWD、DWS
最新发布
FeelTouch Labs
11-09 1264
数据仓库分层架构解析 本文系统介绍了数据仓库的分层架构设计，主要包括： 基础数据层（ODS）：最接近数据源的层级，进行ETL处理后保留原始数据特征，负责数据清洗、去重等预处理工作 数据仓库层（DW）： DWD（明细层）：保持与ODS相同粒度，进行数据质量处理 DWM（中间层）：轻度汇总，提高指标复用性 DWS（服务层）：主题宽表，支持业务查询和分析 应用层（APP）：面向业务应用的最终数据产品 维表层（DIM）：包含高低基数维度数据 分层设计通过"空间换时间"提升效率，实现数据解耦、口径
离线数仓-数据仓库系统
kkddd35的博客
03-10 4709
数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。只有将数据有序的组织和存储起来之后，数据才能得到高性能、低成本、高效率、高质量的使用。高性能：良好的数据模型能够帮助我们快速查询所需要的数据。低成本：良好的数据模型能减少重复计算，实现计算结果的复用，降低计算成本。高效率：良好的数据模型能极大的改善用户使用数据的体验，提高使用数据的效率。高质量：良好的数据模型能改善数据统计口径的混乱，减少计算错误的可能性。事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。
电商数仓(ods 层)
a1786742005的博客
04-30 5324
一、ods 层介绍 1、保持数据原貌不做任何修改，起到备份数据的作用。 2、数据采用 LZO 压缩，减少磁盘存储空间。100G 数据可以压缩到 10G 以内。 3、创建分区表，防止后续的全表扫描，在企业开发中大量使用分区表。 4、创建外部表，在企业开发中，除了自己用的临时表，创建内部表外，绝大多数场景都是创建外部表。 二、用户行为数据 1、启动日志表 ods_start_log // 创建启动日志...
大数据项目实战之数据仓库：电商数据仓库系统——第7章 数仓开发之ODS层
yiluohan0307的专栏
04-17 1575
大数据项目实战之数据仓库：电商数据仓库系统——第7章 数仓开发之ODS层
数据仓库之电商数仓-- 3.1、电商数据仓库系统(ODS层、DIM层、DWD层)
热门推荐
FunnyPrince_的博客
10-20 1万+
目录一、数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名1.3.2 脚本命名1.3.3 表字段类型二、数仓理论2.1 范式理论2.1.1 范式概念2.1.2 函数依赖2.1.3 三范式区分2.2 关系建模与维度建模2.2.1 关系建模2.2.2 维度建模⭐️2.3 维度表和事实表⭐️2.3.1 维度表2.3.2 事实表2.4 维度模型分类2.5 数据仓库建模⭐️????2.5.1 ODS层2.5.2 DIM层和DWD层2.5.3 DWS层与DWT层2.5.4
Hive实战 —— 电商数据分析(全流程详解 真实数据)
Byyyi耀的博客
01-24 1万+
Hive实战 —— 电商数据分析
大数据项目实战之数据仓库：电商数据仓库系统——第9章 数仓开发之DWD层
yiluohan0307的专栏
05-25 1359
第9章 数仓开发之DWD层
四、电商数据仓库系统——第6章 数据仓库环境准备
我的笔记
03-29 560
大数据自学笔记——电商数仓5.0搭建
数据集成在ODS项目的应用模式
dinongxu8804的博客
12-22 189
ODS（The operational data store），也叫运营数据存储，是用于支持企业日常的全局应用的数据集合，它是介于DB和DW 之间的一种数据存储技术。从专家给出的定义上来讲，它是一个面向主题的、集成的、当前的并且是可"挥发"的数据集合，它反映了在某一个时间切片瞬间，经营分析系统和外围系统用以相互交换数据的集合，主要用于经营分析系统与外围系统关键数据一致性校验、以及经营...
ODS
iteye_17234的博客
02-17 1108
ODS（英语：Operational Data Store)是一种数据架构或数据库设计的概念，出现原因是来自于当需要集成来自多个系统的数据，结果又要给一或多个系统使用时。 集成来自多个系统的数据，应先创建数据模型（data model）。由于ODS并不属于特定的系统，因此其数据模型的设计应为主题导向式（subject-oriented），实现方法与数据仓库无异。为求快速建置以及呈现来源系统数据...
【数据仓库】【第十章】ODS层
weixin_43589563的博客
01-06 5058
1.创建数据库 现在数仓环境已经搭建好了； 数据也都已经采集到hdfs上了； 1）启动hive [atguigu@hadoop102 hive]$ bin/hive 2）显示数据库 hive (default)> show databases; 3）创建数据库 hive (default)> create database gmall; 4）使用数据库 hive (default)> use gmall; ODS层 1.用户行为数据 （1）建表分析 一行数据是什么：一条日志 有哪些字段：
ADS-B数据站系统
qq_17741681的博客
09-12 2435
ADS-B数据站系统 --南京牧星人航空科技 适用场景 通过接收各地面站设备汇总过来的目标数据，并进行相应的处理、存储与融合，最终将解析的目标数据按某一固定格式推送至显示终端。 数据通信 支持TCP/IP协议 系统时间性能 系统平均无故障时间（MTBF）应大于10000h，平均故障修复时间（MTTR）应小于0.5h。 监视数据处理功能 a)数据站系统能够接收、处理符合ASTERIX CAT021格式的ADS-B数据。b)数据站系统能够对AD
项目描述之ODS
oycn2010的专栏
06-08 352
计划3－5年创建一个较完善的ODS系统，第一期建设先选取2个主数据（BOM&ITEM、HR员工基本信息和部门基本信息）和Order ODS，快速见效积累经验，指导后续建设；Order ODS以优先满足一线需求为主，并结合欧洲地区部PO-TOOLS项目进行。主要遵循以下原则： ODS是一个数据集中池，数据从各可信源系统抓取到ODS，原则上不做复杂逻辑的数据转换，但可做简单的数据转换（例如：...
如何成为大数据分析师进阶指南
yuuEva的博客
09-23 547
　　大数据分析师负责了解海量数据集中揭示的趋势和见解。公司通常聘请大数据分析师来帮助您做出决策或改善业务实践。本指南逐步介绍了成为大数据分析师的必要步骤，并包含详细的职位描述，薪资信息和未来的职位前景。 　　 　　启动大数据分析师职业的三个步骤 　　步骤1：获得信息技术，计算机科学或统计专业的学士学位 　　辅修或研究应用统计或数据分析。还要参加强调项目管理和数据库管理的计算机科学课程。寻找熟悉大数据分析师职业道路的顾问或职业顾问。 　　步骤2：获得大数据分析师的经验 　　如果您没有任何.
数仓ODS层建设
m0_61607827的博客
04-23 1788
一、ODS层辨析 ODS全称是Operational Data Store，即操作数据存储。 1. Inmon VS Kimball Bill.Inmon的定义：ODS是一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时性的、操作性的、集成的全体信息的需求。常常被作为数据仓库的过渡，也是数据仓库项目的可选项之一。而Kimball的定义：操作型系统的集成，用于当前、历史以及其它细节查询(业务系统的一部分)；为决策支持提供当前细节数据(数据仓库的一部分)。 2. ODS VS DB
数仓搭建 ODS 层
weixin_45417821的博客
10-22 1082
1q
数据仓库ODS层详解- 功能、设计与最佳实践
一个8年大数据开发工程师的碎碎念
07-28 1万+
数据仓库ODS层是大数据分析的基石,为企业决策提供可靠数据源。本文深入探讨ODS层设计原则、实施要点和最佳实践,涵盖金融、零售等行业应用。重点关注云环境下ODS层部署策略,以及实时数据集成、数据湖技术等创新趋势。文章还分析了数据体量增长、实时性需求等挑战,提供实用解决方案。whether助您构建高效、安全、可扩展的ODS层,为数字化转型奠定坚实基础。#数据仓库 #ODS层 #大数据分析 #云计算 #数据湖
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

四月天03

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值