剑指数据仓库-项目篇（五）

最新推荐文章于 2025-10-01 04:22:57 发布

Spark on yarn

最新推荐文章于 2025-10-01 04:22:57 发布

阅读量672

点赞数

CC 4.0 BY-SA版权

分类专栏：剑指数据仓库-项目篇

本文链接：https://blog.youkuaiyun.com/SparkOnYarn/article/details/105766853

剑指数据仓库-项目篇专栏收录该内容

6 篇文章 ¥9.90 ¥99.00

订阅专栏

本文介绍了在数据仓库项目中如何利用Superset进行指标计算、部署与管理。涉及内容包括：Hive数据导入到MySQL，Superset部署与图表编辑，以及物理删除和逻辑删除策略。同时，提到了数仓项目的作业内容，如ER了解、数据导入、Superset可视化等。

一、进行指标计算

1.1、部署Superset
1.2、指标计算
1.3、物理删除和逻辑删除

二、数仓项目作业

一、进行指标计算

使用SQOOP把Hive中ads_bill_sum_count这张表的数据导入到MySQL中dw数据库中的ads_bill_sum_count表中，SQL如下：

sqoop export --connect jdbc:mysql://sz5i5j-01:3306/ruozedata_dw --username root --password 960210 --table ads_b

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Spark on yarn

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

剑指数据仓库-项目篇(一) - ERP系统各个模块介绍&&系统的核心-仓库

SparkOnYarn的博客

04-08

747

一、ERP系统安装部署二、ERP系统各个模块介绍 2.1、系统管理 2.2、基础资料 2.3、商品管理 2.4、采购管理 2.5、销售管理 2.6、零售管理三、ERP系统核心-仓库一、ERP系统安装部署 https://blog.youkuaiyun.com/SparkOnYarn/article/details/105368283 二、ERP系统各个模块介绍 2.1、系统管理用户、角色、权限...

剑指数据仓库-ERP项目环境准备

SparkOnYarn的博客

04-08

359

一、下载IDEA+Maven安装包二、IDEA安装+激活三、Maven安装+配置阿里云镜像四、IDEA导入ERP项目+初始化DB脚本+本地运行一、下载IDEA+Maven安装包 1、IDEA下载 https://blog.youkuaiyun.com/weixin_42032199/article/details/96601459 网上自行下载处理后进行安装 2、Maven下载 http://m...

参与评论您还未登录，请先登录后发表或查看评论

Superset嵌入式部署：iframe集成与单点登录方案

最新发布

gitblog_00285的博客

10-01

441

你是否在将Superset数据可视化仪表盘集成到现有系统时遇到过权限管理复杂、用户体验割裂的问题？本文将详细介绍如何通过iframe嵌入和单点登录方案，快速实现Superset与自有应用的无缝集成，让你的用户无需重复登录即可访问权限范围内的仪表盘。读完本文后，你将掌握Superset嵌入式部署的完整流程，包括环境配置、iframe集成代码实现以及单点登录配置。 ## 环境准备与配置 ### 启用...

剑指数据仓库-Hadoop一

SparkOnYarn的博客

03-20

493

一、上次课程回顾二、初识Hadoop 2.1、最基础的MySQL语法 2.2、MySQL中union联合查询&&join连接&&求和统计三、SQL语句实操四、本次课程作业一、上次课程回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/104904205 二、初识Hadoop Hadoop的官网：h...

剑指数据仓库-SQL01

SparkOnYarn的博客

03-16

558

一、上次课程回顾二、MySQL语法一 2.1、/etc/hosts文件配置三、本次课程面试题&&作业 3.1、本次课程补充一、上次课程回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/104876632 软连接（软件升级、日志迁移），日志迁移场景，磁盘爆了，把50G硬盘的数据移动到2T硬盘中去，ln -s进行软...

剑指数据仓库-Hive01

SparkOnYarn的博客

03-28

524

一、前情回顾二、Hive01 2.1、Hive产生背景（Schema信息） 2.2、初识Hive 2.3、解析wordcount.java 2.4、Map Task的启动个数由谁来决定？ 2.4、生产上文件格式、压缩格式的考量？ 2.5、WordCount流程图解析（Shuffle）三、作业一、前情回顾 Hadoop：狭义：单单指apache hadoop软件（最最重要基础的一个部分）...

剑指数据仓库-项目篇(三) - 数据建模的三种模型&&ods层到dwd层介绍

SparkOnYarn的博客

04-11

5215

一、上次课回顾二、数仓的各项理论知识 2.1、什么是数据仓库 2.2、数仓分层-星型模型 2.3、数仓分层-雪花模型 2.4、数仓分层-星座模型三、ERP项目架构 3.1、数仓分层流程图一、上次课回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/105430370 主要讲了ERP的一些模块（基础信息维护、采购、销售、零售流程维...

剑指数据仓库-项目篇(四) - DWS层&&ADS层指标计算

SparkOnYarn的博客

04-12

3576

一、项目回顾二、数仓的各项理论知识 2.1、什么是数据仓库 2.2、数仓分层-星型模型 2.3、数仓分层-雪花模型 2.4、数仓分层-星座模型三、ERP项目架构 3.1、数仓分层流程图一、项目回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/105454067 二、ODS --> DWD层是怎么做的选择ruozeda...

剑指数据仓库-项目篇(二) - 数仓的各项理论知识&&订单表设计案例

SparkOnYarn的博客

04-10

935

一、上次回顾二、数仓的各项理论知识 2.1、什么是数据仓库 2.2、基础资料 2.3、商品管理 2.4、采购管理 2.5、销售管理 2.6、零售管理三、ERP系统核心-仓库一、上次回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/105388526 简单回顾：基础资料、商品类别（SKU）、供应商、商家+用户、采购流程、销售仓库 ...

数据仓库的部署

chenrizhong的专栏

09-02

3342

数据仓库的部署主要涉及用户培训、服务支持访问数据仓库的硬件和工具（一）部署的主要工作下图为数据仓库部署阶段的主要任务：（1）、完成用户认可用户的认可在部署阶段不只是一个形式而是绝对必需的，在关键用户没有对数据仓库表示满意前不要强行进行部署

剑指数据仓库-Shell命令一

SparkOnYarn的博客

03-10

741

Linux Shell命令一 1.1、环境准备 1.2、linux基础命令开始修改配置文件二、出现的问题及解决 2.1、解决SecureCRT对话框session超时 2.2、Linux上的日志如何下载到windows 2.3、本次课程作业 Linux Shell命令一 1.1、环境准备建议自行购买一台阿里云、京东云主机，安装Xshell CRT安装包、SecureCRT安装...

如何将Superset图表嵌入html

11-22

superset配置图表免登陆访问，之后可将图表嵌入到html系统中

Apache Superset集成Echarts

别来无恙づ的博客

06-14

4677

一、环境准备 1.1 软件环境 npm，nodejs 二、主要步骤 2.1、添加漏斗图模型 cd venv/lib/python2.7/site-packages/superset vi viz.py 在class TableViz(BaseViz):上方加入以下代码： class EchartsFunnelViz(BaseViz): """ Funnel Chart""...

Superset整合keycloak系统

程序员的世界

04-25

1683

上面介绍的内容是在本地直接运行，如果在docker中需要将superset_config.py文件合并到superset/config.py中，主要原因是环境变量问题。keycloak规定：每一个要接入keycloak的三方系统必须要有一个client与之相对应，所以上来就要创建一个，假设名字为superset。本篇主要介绍superset如何整合单点登陆系统keycloak，现在网上的博客大部分都是失效了，这里我相当于更新一下，避免大家再走弯路。三、linux docker环境修改。

centos7.9上面搭建superset开发环境

月夜楓

10-15

1099

装anaconda环境下载anaconda 进入到anaconda官网下载linux版本：https://www.anaconda.com/download/#linux 安装anaconda#按照漫长的提示，完成安装anaconda [cyxinda@centos7 superset]$ bash Anaconda3-2021.05-Linux-x86_64.sh # 加载环境变量 [cyxinda@centos7 superset]$ source ~/.bashrc [cyxinda@cent.

【商业智能图表superset】数据源行变为列

木头大左的博客

09-07

583

目录 1、数据源为posgresql 2、数据源为clickhouse 场景是数据源按月计算的，但是想按1号，2号，3号，的列来查看，这里要先汇总，按姓名group by，将行转换为列，数据源不同时，对时间的函数不一样。 1、数据源为posgresql postgres的抽取时间中月的第几天：extract(day from update_time) SELECT person_no AS person_no, org_name AS org_name, extra

比较好用的行转列方法

duanrui1的博客

02-23

778

--练习题 stu_no,stu_name,course,score 1,段瑞,hive,100 1,段瑞,spark,130 1,段瑞,flink,120 1,段瑞,hadoop,100 1,段一,hive,150 1,段一,spark,140 1,段一,flink,150 1,段一,hadoop,160 1,段二,hive,210 1,段二,spark,220 1,段二,flink,240 1,段二,hadoop,220 -- 查询出如下结果 stu_no,stu_

superset安全与权限（3）

京河小蚁的博客

12-22

2510

目录提供的角色 Admin Alpha Gamma Sql_lab Public 管理每个数据源访问的Gamma 自定义权限限制对数据源子集的访问 Superset中的安全性由Flask AppBuilder（FAB）处理。FAB是一个“简单快速的应用程序开发框架，建立在Flask之上”。FAB提供身份验证、用户管理、权限和角色。请阅读其安全文件https://flas...

superset：自定义标签乱码解决

不花的花和尚的博客

05-24

2078

展示在springboot系统内乱码，但是iframe放到html却不乱码。 frame放到html却不乱码：起初怀疑是前端的问题，但却不是，我拿出了后端返回给前端的url，直接访问也是乱码的，后来考虑是因为之前为了实现前端superset可以通过时间实时查询，后端做了对superset的默认url的处理，比如重新拼接timerange啊等等以及其他过滤条件。 ...