- 博客(6)
- 收藏
- 关注
RSS订阅原创 物流离线数仓项目--第6部分 ( 包含导出ADS层数据到MySQL、调度及可视化 )
本文介绍了报表数据导出、工作流调度和可视化三个模块的实现。首先在MySQL中创建tms_report数据库及15张报表数据表，使用DataX工具将HDFS数据导出到MySQL；然后部署DolphinScheduler集群模式，配置工作流依赖关系，实现数据同步任务的自动化调度；最后安装Superset可视化平台，对接MySQL数据源，通过创建图表和仪表盘实现数据可视化展示。整个流程完成了从数据仓库到可视化展示的完整链路构建。
2025-10-11 10:02:11
601
原创 物流离线数仓项目--第5部分 ( 包含DWS层和ADS层的建表及数据加载语句 )
本文介绍了物流数仓项目中DWS层和ADS层的设计与开发过程。DWS层主要构建了交易域和物流域的多个汇总表，包括机构货物类型粒度下单表、转运站揽收表、发单表等1日和n日汇总表，通过提前计算复杂高频需求提升查询效率。ADS层基于DWS层数据，开发了运单统计、运输分析、城市机构分析等8个主题的报表，采用文本格式存储便于数据导出。文中详细展示了各层表的建表语句、数据装载逻辑和自动化脚本，包括首日初始化与每日增量更新策略，为后续数据可视化和业务分析提供高质量数据基础。
2025-10-10 20:51:15
439
原创 物流离线数仓项目--第4部分 ( 包含DWD层的数据装载脚本 )
本文介绍了物流管理系统(TMS)中数据仓库的DWD层数据装载脚本，包含首日装载和每日增量装载两部分。首日装载脚本处理全量数据初始化，支持按表名或"all"参数加载所有表；每日装载脚本处理增量数据，默认加载前一天数据，也支持指定日期。脚本实现了多个业务过程的事实表装载，包括订单创建、支付成功、取消订单、运输关键节点（接收、分派、转运完成、妥投成功、签收）等。每个SQL都包含完整的数据转换逻辑，如字段映射、字典关联、时间格式处理等，确保数据质量。脚本采用模块化设计，通过case语句实现按需加
2025-10-10 20:51:07
102
原创 物流离线数仓项目--第3部分 ( 包含DWD层建表及加载数据 )
本文介绍了数据仓库DWD层设计与实现，主要包括交易域和物流域各类事务事实表的创建与数据装载。在交易域方面，详细说明了运单明细、支付成功、取消运单等事务事实表的设计要点、建表语句和数据处理流程；在物流域方面，涵盖了揽收、发单、转运完成、派送成功等关键环节的事实表构建。所有表均采用ORC列式存储和Snappy压缩格式，并按照日期分区策略进行数据组织。文章提供了完整的SQL示例，包括首日装载和每日增量装载逻辑，为构建高效的数据仓库明细层提供了实用指导。
2025-10-10 20:50:58
718
原创 物流离线数仓项目--第2部分 ( 包含数仓环境搭建及ODS层表相关 )
本文介绍了数据仓库环境准备和ODS、DIM层开发过程： 环境准备 配置Hive on Spark环境，解决兼容性问题 调整YARN资源配置，优化ApplicationMaster资源比例 解决Hive中文乱码问题，修改MySQL元数据字符集 配置DataGrip连接Hive开发环境 ODS层开发 设计增量表和全量表，采用不同存储格式 增量表采用JSON格式，全量表采用文本格式 编写数据装载脚本hdfs_to_ods.sh实现自动化加载 DIM层开发 创建9个维度表，包括小区、机构、地区等 采用ORC列式存储
2025-10-10 20:50:49
519
原创 物流离线数仓项目--第1部分 ( 包含采集平台及离线数仓设计 )
本文详细记录了一个物流业务数据采集与分析项目的开发过程。项目基于尚硅谷同名项目，内容包括服务器环境准备、组件安装配置、数据同步策略、维度建模理论以及数据仓库分层设计等。 项目采用Hadoop生态体系构建，包括HDFS、Hive、Flume、Kafka、Flink-CDC等组件。数据采集分为全量同步和增量同步，分别使用DataX和Flink-CDC实现。数据仓库设计遵循维度建模理论，分为ODS、DWD、DIM、DWS、ADS五层。 作者在开发过程中修正了原项目的多处错误，并提供了详细的组件安装步骤、配置文件等
2025-10-10 20:50:36
710
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人