助力工业物联网，工业大数据之ODS层及DWD层建表语法【七】_ods层建表语句

最新推荐文章于 2025-01-15 13:31:17 发布
最新推荐文章于 2025-01-15 13:31:17 发布
阅读量845 收藏 21
点赞数 22
分类专栏： 2024年程序员学习 文章标签： 物联网 嵌入式硬件 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2401_85015094/article/details/138934425
版权

收集整理了一份《2024年最新物联网嵌入式全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升的朋友。
img
img

如果你需要这些资料，可以戳这里获取

需要这些体系化资料的朋友，可以加我V获取：vip1024c （备注嵌入式）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人

都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

	+ 定义类
	
	 
	```
	class 类名:
		# 属性：变量
		# 方法：函数
	
	```
	+ 定义变量
	
	 
	```
	key = value
	
	```
	+ 定义方法
	
	 
	```
	def funName(参数):
		方法逻辑
		return
	
	```
* 面向对象：将所有事物以对象的形式进行编程，万物皆对象


	+ 对象：是类的实例
* **对象类**：专门用于构造对象的，一般称为Bean，**代表某一种实体Entity**


	+ 类的组成
	
	 
	```
	class 类名:
		# 属性：变量
		# 方法：函数
	
	```
	+ 业务：实现人购买商品
	
	
		- 人
		
		 
		```
		class Person:
			# 属性
			id = 1
			name = zhangsan
			age = 18
			gender = 1
			……
			
			# 方法
			def eat(self,something):
				print(f"{self.name} eating {something}")
		        
		    def buy(self,something)
		    	print(f"{self.name} buy {something}")
		
		```
		
			* 每个人都是一个Person类的对象
		- 商品
		
		 
		```
		class Product:
			# 属性
			id = 001
			price = 1000.00
			size = middle
			color = blue
			……
			
			# 方法
			def changePrice(self,newPrice):
				self.price = newPirce
		
		```
* **工具类**：专门用于封装一些工具方法的，utils，**代表某种操作的集合**


	+ 类的组成：一般只有方法
	
	 
	```
	class 类名:
		# 方法：函数
	
	```
	+ 字符串处理工具类：拼接、裁剪、反转、长度、转大写、转小写、替换、查找
	
	 
	```
	class StringUtils:
	    
		def concat(split,args\*):
			split.join(args)
	        
		def reverse(sourceString)
	    	return reverse(sourceString)
	    
		……
	
	```
	+ 日期处理工具类：计算、转换
	
	 
	```
	class TimeUitls:
			
		def computeTime(time1,time2):
			return time1-time2
			
		def transTimestamp(timestamp):
			return newDateyyyy-MM-dd HH:mm:ss)
			
		def tranfData(date)
			return timestamp
	
	```
* **常量类**：专门用于定义一些不会发生改变的变量的类


	+ 类的组成：一般只有属性
	
	 
	```
	class 类名:
		# 属性：不发生变化的属性
	
	```
	+ 定义一个常量类
	
	 
	```
	class Common:
		ODS_DB_NAME = "one_make_ods"
		……
	
	```
	
		- file1.py：创建数据库
		
		 
		```
		create database if not exists Common.ODS_DB_NAME;
		
		```
		
			* file2.py：创建表
			
			 
			```
			```
			create table if not exists Common.ODS_DB_NAME.tbname
			```
			
			```
			
				+ file3.py：插入数据到表中
				
				 
				```
				insert into table  Common.ODS_DB_NAME.tbname
				
				```
				+ 问题1：容易写错
				+ 问题2：不好修改

02：课程目标

  • 目标：自动化的ODS层与DWD层构建
  • 实现
    • 掌握Hive以及Spark中建表的语法规则
    • 实现项目开发环境的构建
    • 自己要实现所有代码注释
    • ODS层与DWD层整体运行测试成功

03：数仓分层回顾

  • 目标：回顾一站制造项目分层设计
  • 实施

image-20210821102418366

+ ODS层 ：原始数据层


	- 来自于Oracle中数据的采集
	- 数据存储格式：AVRO
	- ODS区分全量和增量
	- 实现
	
	
		* 数据已经采集完成
		
		 
		```
		/data/dw/ods/one_make/full_imp
		/data/dw/ods/one_make/incr_imp
		
		```
		* step1：创建ODS层数据库：one\_make\_ods
		* step2：根据表在HDFS上的数据目录来创建分区表
		* step3：申明分区
+ DWD层


	- 来自于ODS层数据
	- 数据存储格式：ORC
	- 不区分全量和增量的
	- 实现
		* step1：创建DWD层数据库：one\_make\_dwd
		* step2：创建DWD层的每一张表
		* step3：从ODS层抽取每一张表的数据写入DWD层对应的表中

  • 小结

    • 回顾一站制造项目分层设计

04：Hive建表语法

  • 目标：掌握Hive建表语法
  • 实施
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
(
    col1Name col1Type [COMMENT col_comment],
    co21Name col2Type [COMMENT col_comment],
    co31Name col3Type [COMMENT col_comment],
    co41Name col4Type [COMMENT col_comment],
    co51Name col5Type [COMMENT col_comment],
    ……
    coN1Name colNType [COMMENT col_comment]

)
[PARTITIONED BY (col_name data_type ...)]
[CLUSTERED BY (col_name...) [SORTED BY (col_name ...)] INTO N BUCKETS]
[ROW FORMAT row_format]
	row format delimited fields terminated by 
	lines terminated by
[STORED AS file_format]
[LOCATION hdfs_path]
TBLPROPERTIES


+ EXTERNAL：外部表类型（删除表的时候，不会删除hdfs中数据）
	- 内部表、外部表、临时表
+ PARTITIONED BY：分区表结构
	- 普通表、分区表、分桶表
+ CLUSTERED BY：分桶表结构
+ ROW FORMAT：指定分隔符
	- 列的分隔符：\001
	- 行的分隔符：\n
+ STORED AS：指定文件存储类型
	- ODS：avro
	- DWD：orc
+ LOCATION：指定表对应的HDFS上的地址
	- 默认：/user/hive/warehouse/dbdir/tbdir
+ TBLPROPERTIES：指定一些表的额外的一些特殊配置属性

  • 小结

    • 掌握Hive建表语法

05：Avro建表语法

  • 目标：掌握Hive中Avro建表方式及语法

  • 路径

    • step1：指定文件类型
    • step2：指定Schema
    • step3：建表方式

  • 实施

    • Hive官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-CreateTable

    • DataBrics官网：https://docs.databricks.com/spark/2.x/spark-sql/language-manual/create-table.html

    • Avro用法：https://cwiki.apache.org/confluence/display/Hive/AvroSerDe

    • 指定文件类型

      • 方式一：指定类型
      stored as avro
      • 方式二：指定解析类
      --解析表的文件的时候，用哪个类来解析
ROW FORMAT SERDE
  'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
--读取这张表的数据用哪个类来读取
STORED AS INPUTFORMAT
  'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
--写入这张表的数据用哪个类来写入
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'

    • 指定Schema

      • 方式一：手动定义Schema
      CREATE TABLE embedded
COMMENT "这是表的注释"
ROW FORMAT SERDE
  'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
STORED AS INPUTFORMAT
  'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
TBLPROPERTIES (
  'avro.schema.literal'='{
 "namespace": "com.howdy",
 "name": "some\_schema",
 "type": "record",
 "fields": [ { "name":"string1","type":"string"}]
 }'
);
      • 方式二：加载Schema文件
      CREATE TABLE embedded
COMMENT "这是表的注释"
ROW FORMAT SERDE
  'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
STORED as INPUTFORMAT
  'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
TBLPROPERTIES (
 'avro.schema.url'='file:///path/to/the/schema/embedded.avsc'
);

    • 建表语法

      • 方式一：指定类型和加载Schema文件
      create external table one_make_ods_test.ciss_base_areas
comment '行政地理区域表'
PARTITIONED BY (dt string)
stored as avro
location '/data/dw/ods/one\_make/full\_imp/ciss4.ciss\_base\_areas'

img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上物联网嵌入式知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、电子书籍、讲解视频，并且后续会持续更新

需要这些体系化资料的朋友，可以加我V获取：vip1024c （备注嵌入式）

如果你需要这些资料，可以戳这里获取

dw/ods/one_make/full_imp/ciss4.ciss_base_areas’

[外链图片转存中…(img-j0lT7cqq-1715800869470)]
[外链图片转存中…(img-fJ2tYQHs-1715800869470)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上物联网嵌入式知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、电子书籍、讲解视频，并且后续会持续更新

需要这些体系化资料的朋友，可以加我V获取：vip1024c （备注嵌入式）

如果你需要这些资料，可以戳这里获取

剑指数据仓库-项目篇(三) - 数据建模的三种模型&&ods层到dwd层介绍
SparkOnYarn的博客
04-11 4996
一、上次课回顾 二、数仓的各项理论知识 2.1、什么是数据仓库 2.2、数仓分层-星型模型 2.3、数仓分层-雪花模型 2.4、数仓分层-星座模型 三、ERP项目架构 3.1、数仓分层流程图 一、上次课回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/105430370 主要讲了ERP的一些模块（基础信息维护、采购、销售、零售流程维...
Hive的dwd层建表语句及加载数据
qq_56870570的博客
09-16 1973
数仓-DWD层 1）对用户行为数据解析。 2）对业务数据采用维度模型重新建模。 订单明细事实表（事务型事实表） 建表语句： DROP TABLE IF EXISTS dwd_order_detail; CREATE EXTERNAL TABLE dwd_order_detail ( `id` STRING COMMENT '订单编号', `order_id` STRING COMMENT '订单号', `user_id` STRING COMMENT '用户id',
Hive的ods层建表语句及加载数据
qq_56870570的博客
09-16 3527
数仓搭建-ODS层 1）保持数据原貌不做任何修改，起到备份数据的作用。 2）数据采用LZO压缩，减少磁盘存储空间。100G数据可以压缩到10G以内。 3）创建分区表，防止后续的全表扫描，在企业开发中大量使用分区表。 4）创建外部表。在企业开发中，除了自己用的临时表，创建内部表外，绝大多数场景都是创建外部表。 例如 创建用户表： DROP TABLE IF EXISTS ods_user_info; CREATE EXTERNAL TABLE ods_user_info( `id`
创建dwd层表
Werkple的博客
09-19 439
DROP TABLE IF EXISTS DWD_APL_GLB_DTL; CREATE EXTERNAL TABLE DWD_APL_GLB_DTL ( gid string ,eventid String ,ts bigint ,event Map < String,String > ,uid String ,phoneNbr String ,sessionId String ,imei String ,mac String ,imsi String ,osName String ,osVe
助力工业物联网，工业大数据之ODS层及DWD层建表语法【七】
Maynor的博客
04-13 1042
一站制造项目的数仓设计为几层以及每一层的功能是什么？一站制造项目的数据来源是什么，核心的数据表有哪些？一站制造项目中在数据采集时遇到了什么问题，以及如何解决这个问题？什么是Avro格式，有什么特点？如何实现对多张表自动采集到HDFS？需求效果：将所有增量和全量表的数据采集到HDFS上全量表路径：维度表：数据量、很少发生变化增量表路径：事实表：数据量不断新增，整体相对较大Schema文件的存储目录Shell：业务简单，Linux命令支持Python：业务复杂，是否Python开发接口语法定义类。
实时数仓（一）行为数据ods到dwd层
qq_44665283的博客
03-23 1971
行为数据ods到dwd层 采集的日志数据已经保存到 Kafka 中，作为日志数据的 ODS 层，从 Kafka 的ODS 层读取的日志数据分为 3 类, 页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据，但是有着完全不一样的数据结构，所以要拆分处理。将拆分后的不同的日志写回 Kafka 不同主题中，作为日志 DWD 层。 (1) 识别新老用户工具类 本身客户端业务有新老用户的标识，但是不够准确，需要用实时计算再次确认。 package com.yyds.utils; import org.ap
数仓建模（六）从ODS到DWD、DWS、ADS
最新发布
引用原创内容标明出处即可
01-15 2586
在数据仓库建设中，ODS、DWD、DWS、ADS是大家经常接触的术语，它们代表了数据流转的不同阶段。这些术语虽然专业，但其背后的含义却相对直观。通过深入理解这些概念，大家可以更高效地设计和优化数据仓库架构。本文将以通俗语言解析这些术语，并分析它们在数据仓库中的具体作用。
助力工业物联网，工业大数据之ODS层及DWD层建表语法【七】_ods层建表语句(1)
2401_84164527的博客
05-04 780
Hive官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-CreateTable。DataBrics官网：https://docs.databricks.com/spark/2.x/spark-sql/language-manual/create-table.html。(img-XrhleQmG-1714753243906)]：掌握Hive中Avro建表方式及语法。
数仓建模，什么是宽表？如何设计？好处与不足
lz_N_one的博客
07-27 7265
数仓建模，什么是宽表？如何设计？好处与不足，如何运用宽表
ODS+DWD层详细介绍
m0_66177444的博客
04-28 1356
DWD（Data WareHouse Detail）数据明细层，主要是将从业务数据库中同步过来的ODS层数据进行清洗和整合成相应的事实表。去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。（3）创建分区表，防止后续的全表扫描，减少集群资源访问数仓的压力，一般按天存储在数仓中。数据脱敏：对身份证，手机号等敏感信息脱敏，加*，使用spark 脱敏。
企业级大数据项目【2】数仓-流量域ODS-DWD开发篇
涛哥大数据小屋
01-21 3784
1数仓整体说明 什么数仓：一个面向分析的，反映历史变化的数据仓库； 数仓的技术手段： 1)传统数仓一般都是采用关系型数据库软件； 2)大数据领域中则尚无一站式解决方案，通常需要用到很多技术组件来实现不同环节： 使用HDFS做存储 使用 spark、mapreduce 作为底层计算引擎 使用hive或者sparksql，作为sql引擎 另外，还有impala/presto纯内存运算引擎，kylin，clickhouse 等各类组件 1.1技术选型 数据采集：flume 存储平台：hdfs 基础设施：hiv
ods层数据到dwd层的处理需求说明
m0_59887059的博客
03-28 2035
目录 1 清洗过滤 2 数据解析 3 SESSION分割 1 清洗过滤 去除json数据中的废弃字段，因为前端开发人员更新了埋点设计方案之后，可能有些没有用的字段也会保留 json格式不正确的 过滤掉缺少关键字段的记录(deviceId、properties、eventId、sessionId缺任何一个都不行)sessionid是一个会话的key，浏览器第一次访问服务器会在服务器端生成一个session，有一个sessionid和它对应。tomcat生成的sessionid叫做jses
详解数仓分层设计架构 ODS-DWD-DWS-ADS
hellozhxy的博客
08-09 3644
这样对于不同层次的数据操作，创建不同层次的任务，可以放到不同层次的任务流中进行执行（大公司一个集群通常每天的定时任务有几千个等待执行，甚至上万个，所以划分不同层次的任务流，不同层次的任务放到对应的任务流中进行执行，会更加方便管理和维护）。每周的订单次数作为一行，粒度为每周。明细表用于存储ODS层原始表转换过来的明细数据，DWD 层的数据应该是一致的、准确的、干净的数据，即对源系统数据ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。
hive在数仓ODS层到DWD层建模方法
LastYHM的博客
10-22 5311
数仓建模的原因: 当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。二者的主要区别对比如下表所示。 创建数仓主要完成OLAP的业务需求,将原始数据导入到ODS层之后,就需要将原
（38）DWD层事实表创建
song_quan_的博客
07-13 911
1.支付事实表（事务型事实表） 1）建表语句 hive (gmall)> drop table if exists dwd_fact_payment_info; create external table dwd_fact_payment_info ( `id` string COMMENT 'id', `out_trade_no` string COMMENT '对外业务编号', `order_id` string COMMENT '订单编号', `user_id.
大数据-249 离线数仓 - 电商分析 DWD层建表与脚本 DWS层建表与脚本
永远好奇，无限进步！
12-13 5389
订单表是周期性事实表，为保留订单状态，可以使用拉链表进行处理订单产品表普通的事实表，用常规的方法进行处理（如果有数据清洗、数据转换的需求 ODS=>DWD。如果没有数据清洗、数据转换的需求，保留在ODS，不做任何变化）-3 用户拒收-2 未付款订单-1 用户取消0 等待发货1 配送中2 用户确认收货订单从创建到最终完成，是有时间限制的，业务上也不允许订单一个月之后，订单状态仍然在发生变化。
离线数仓——（DWD层订单表，DWD层订单产品表，DWS层订单明细表，DWS层订单明细宽表，ADS层订单分析表）
qq_43408367的博客
02-25 829
订单从创建到最终完成，是有时间限制的；业务上也不允许订单在一个月之后，状态仍然在发生变化；2. 如果没有数据清洗、数据转换的业务需求，保留在ODS，不做任何变化【没有业务处理了】订单的状态不可能永远处于变化之中（订单的生命周期一般在15天左右）为保留订单状态，可以使用拉链表进行处理；分区的条件：订单创建日期；订单产品表普通的事实表，用常规的方法进行处理；DWD要处理的表有两张：订单表、订单产品表。分区的目的：订单一旦终止，不会重复计算。与维表不同，订单事实表的记录数非常多。订单是一个拉链表，而且是分区表。
计算dwd层全局明细表
Werkple的博客
09-19 235
INSERT INTO TABLE DWD_APL_GLB_DTL PARTITION(dt=‘2019-10-29’) SELECT CASE WHEN uid is not null and trim(uid)!=’’ THEN uid WHEN imei is not null and trim(imei)!=’’ THEN imei WHEN mac is not null and trim(mac)!=’’ THEN mac WHEN imsi is not null and trim
数仓中怎么把数据从ODS层加载到DWD层？写一段代码
10-17
dwd_df = pd.DataFrame(ods_df, columns=dwd_schema.keys()) engine = create_engine('sqlite:///dwd_database.db') dwd_df.to_sql(name='dwd_table', con=engine, if_exists='append', index=False) ``` 在这个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值