大数据项目之电商数仓、业务数据介绍、业务数据模拟、生成业务数据、业务数据建模

Hadoop业务数据模拟与建模
最新推荐文章于 2024-09-27 19:29:02 发布
原创 最新推荐文章于 2024-09-27 19:29:02 发布 · 1.6k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #mysql #数据库 #数据仓库 #服务器

本文介绍如何在Hadoop环境下模拟业务数据，并通过EZDML工具进行业务数据建模，包括配置MySQL连接、生成指定日期的业务数据及数据库表关系的建立。

文章目录

6. 业务数据介绍

6.5 业务数据模拟

6.5.1 连接MySQL

在这里插入图片描述

6.5.2 建表语句

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

注意：完成后，要记得右键，刷新一下对象浏览器，就可以看见数据库中的表了。

6.5.3 生成业务数据

6.5.3.1 在hadoop102的/opt/module/目录下创建db_log文件夹
[summer@hadoop102 module]$ mkdir db_log/

在这里插入图片描述

6.5.3.2 把gmall2020-mock-db-2021-11-14.jar和application.properties上传到hadoop102的/opt/module/db_log路径上

在这里插入图片描述

最低0.47元/天 解锁文章
大数据项目 --- 电商数仓(一)
m0_47489229的博客
12-03 2523
黑白颠倒,这个疫情赶快好吧.
大数据项目之电商数仓（用户行为数据仓库）
魔法革1996
03-29 3845
第1章 数仓分层概念 1.1 为什么要分层 1.2 分层结构图 数据分层原理 1、ODS层（原始数据层） 原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。 2、DWD层（明细数据层） 结构和粒度与ODS层保持一致，对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据），也有公司叫DWI。 3、DWS层（服务数据层） 以DWD为...
大数据项目之电商数仓（业务数据仓库）
热门推荐
魔法革1996
03-26 1万+
第1章 电商业务与数据结构简介 1.1 电商业务流程 1.2 电商表结构 电商业务流程 1.2.1 电商常识（SKU、SPU） SKU=Stock Keeping Unit（库存量单位）。即库存进出计量的基本单元，可以是以件，盒，托盘等为单位。SKU这是对于大型连锁超市DC（配送中心）物流管理的一个必要的方法。现在已经被引申为产品统一编号的简称，每种产品均对应有唯一的...
大数据项目之电商数仓（用户行为数据采集）
魔法革1996
03-28 5032
第1章 数据仓库概念 第2章 项目需求 2.1 项目需求分析 2.2 项目框架 2.2.1 技术选型 2.2.2 系统架构图设计 2.2.3 系统数据流程设计 2.2.4 框架版本选型 产品 版本 Hadoop 2.7.2 Flume 1.7.0 ...
大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）
key_honghao的博客
01-21 3805
1、数据需求：用户分析日志log、业务数据db2、采集需求：日志采集系统（flume）、业务数据同步系统（Maxwell，datax）3、数据仓库建模：维度建模4、数据分析：对设备、会员、商品、地区、活动等电商核心主题进行统计，统计的报表指标接近100个。5、即席查询：用户在使用系统时，根据自己当时的需求定义的查询，通常使用即席查询工具。6、集群监控：对集群性能进行监控，发生异常及时报警。7、元数据管理：存储所有表对象的详细信息，通过元数据管理有助于开发人员理解管理数据。
33 大数据项目之电商数仓（电商数据仓库系统）
09-14 4374
文章目录第 1 章 数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范第 2 章 数仓理论2.1 范式理论2.2 关系建模与维度建模2.3 维度表和事实表（重点）2.4 数据仓库建模（绝对重点）第 3 章 数仓搭建-ODS 层3.1 创建数据库3.2 ODS 层（用户行为数据）3.3 ODS 层（业务数据）第 4 章 数仓搭建-DWD 层4.1 DWD 层（用户行为启动表数据解析）4.2 DWD 层（用户行为事件表数据解析）4.3 DWD 层（用户行为事件表获取）4.4 DWD
大数据电商数仓项目--实战（一）数据准备
最新发布
m0_73745224的博客
09-27 2037
Hive 引擎包括：默认MR ，tez ，sparkHive on Spark 既作为 存储 元数据 又负责 SQL的解析优化 语法是HQL语法Spark on Hive ：Hive只作为存储元数据，Spark 负责SQL解析优化 语法是Spark SQL语法什么是拉链表：拉链表，记录每条信息的生命周期，一旦一条记录的生命周期结束，就重新开始一条新的记录，并把当前日期放入生效开始日期。
数据仓库之电商数仓-- 3.1、电商数据仓库系统(ODS层、DIM层、DWD层)
FunnyPrince_的博客
10-20 1万+
目录一、数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名1.3.2 脚本命名1.3.3 表字段类型二、数仓理论2.1 范式理论2.1.1 范式概念2.1.2 函数依赖2.1.3 三范式区分2.2 关系建模与维度建模2.2.1 关系建模2.2.2 维度建模⭐️2.3 维度表和事实表⭐️2.3.1 维度表2.3.2 事实表2.4 维度模型分类2.5 数据仓库建模⭐️????2.5.1 ODS层2.5.2 DIM层和DWD层2.5.3 DWS层与DWT层2.5.4
大数据数仓5.0业务数据模拟与数据库配置
“大数据数仓5.0业务数据”...它涵盖了从数据建模、模拟生成、系统配置到实际应用的全生命周期管理思想，适用于高校教学、企业培训、项目原型开发等多种场景，对于理解现代数据仓库的设计理念与技术实现具有重要价值。
大数据开发之离线数仓项目（2业务数据采集平台）（可面试使用）
key_honghao的博客
02-01 1249
字段名字段说明id活动id活动名称活动类型（1：满减，2：折扣）活动描述start_time开始时间end_time结束时间创建时间。
大数据项目之电商数仓（2用户行为数据仓库）.docx
08-03
此数仓项目文档详细介绍从项目需求分析到数据生成模块、数据采集模块、数仓各分层搭建再到业务实现的过程，其中各种环境的配置很细致，很有价值学习一下。
尚硅谷大数据项目之电商数仓（2用户行为数据仓库）.rar
09-16
尚硅谷大数据项目之电商数仓（2用户行为数据仓库），你值得拥有，欢迎一起学习和交流！！！
模拟电商数据库练习文件
10-26
MySQL配套的文件，在终端运行导入即可。仿电商商城的数据库，后面所有的步骤都基于此文件。
大数据项目之电商数仓（脚本篇）
FreedomZzzzz的博客
05-05 7043
脚本存放目录 /user/local/bin/ 1.xsync集群分发脚本 参考这篇博客安装 https://blog.youkuaiyun.com/yhblog/article/details/84066218 #!/bin/bash #获取输入参数的个数.没有参数直接退出 pcount=$# if((pcount==0));then echo no args; exit; fi #2.获取文件名称 p...
大数据项目之电商数仓（用户行为数仓一）
weixin_38255444的博客
04-06 1601
大数据项目之电商数仓（用户行为数仓） 一：数仓分层概念 1、数据仓库分层： ​ ODS：原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不变 ​ DWD：明细数据层，结构和粒度与原始数据保持一致，对ODS层数据进行清洗（去除空值，脏数据，超过极限范围数据） ​ DWS：服务数据层，以DWD为基础，进行轻度汇总 ​ ADS层：数据应用层，为各种统计报表提高数据 2、数仓命名规范...
32 大数据项目之电商数仓（业务数据采集平台）
08-26 903
文章目录第 1 章 电商业务简介1.1 电商业务流程1.2 电商常识（SKU、SPU）1.3 电商业务表结构1.3.1 订单表（order_info）1.3.2 订单详情表（order_detail）1.3.3 SKU 商品表（sku_info）1.3.4 用户表（user_info）1.3.5 商品一级分类表（base_category1）1.3.6 商品二级分类表（base_category2）1.3.7 商品三级分类表（base_category3）1.3.8 支付流水表（payment_info）1
大数据项目之电商数仓-业务数据仓库
fang19970714的博客
06-17 1123
电商业务流程简介 电商术语 SKU，库存量单位，即库存进出计量的基本单元，可以是以件，盒，托盘等为单位。SKU这是对于大型连锁超市DC（配送中心）物流管理的一个必要的方法。现在已经被引申为产品统一编号的简称，每种产品均对应有唯一的SKU号。 SPU，标准化产品单元。是商品信息聚合的最小单位，是一组可复用、易检索的标准化信息的集合，该集合描述了一个产品的特性。 常用的表：订单表、订单详情表、商品表、用户表、商品一级分类表、商品二级分类表、商品三级分类、支付流水表 数仓理论：表的分类 实体表：实体表，一般
大数据项目---电商数仓（二）
m0_47489229的博客
01-16 747
数据仓库
36 大数据项目之电商数仓（集群监控Zabbix）
09-21 420
文章目录第 1 章 Zabbix 入门1.1 Zabbix 概述1.2 Zabbix 基础架构第 2 章 Zabbix 部署2.1 集群规划2.2 准备工作2.2.1 关闭集群2.2.2 关闭防火墙（3 台节点，已关闭）2.2.3 关闭 SELinux（hadoop102）重启生效2.3 配置 Zabbix yum 源（3 台节点）2.3.1 安装 yum 源2.3.2 修改为阿里云镜像2.4 安装 Zabbix2.5 配置 Zabbix2.5.1 创建 zabbix 数据库2.5.2 导入 Zabbix
评论 10
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Redamancy_06

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值