电商数仓superset

最新推荐文章于 2024-09-01 16:56:02 发布

原创

最新推荐文章于 2024-09-01 16:56:02 发布 · 2.5k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#oracle #hive #kafka #flume #hadoop

1 Superset入门

1.1 Superset概述

Apache Superset是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图表展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。

1.2 Superset应用场景

由于Superset能够对接常用的大数据分析工具，如Hive、Kylin、Druid等，且支持自定义仪表盘，故可作为数仓的可视化工具。

2 Superset安装及使用

Superset官网地址：http://superset.apache.org/

2.1 安装Python环境

Superset是由Python语言编写的Web应用，要求Python3.7的环境。

2.1.1 安装Miniconda

conda是一个开源的包、环境管理器，可以用于在同一个机器上安装不同Python版本的软件包及其依赖，并能够在不同的Python环境之间切换，Anaconda包括

Conda、Python以及一大堆安装好的工具包，比如：numpy、pandas等，Miniconda包括Conda、Python。

此处，我们不需要如此多的工具包，故选择MiniConda。

1）下载Miniconda（Python3版本）

下载地址：https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

2）安装Miniconda

（1）执行以下命令进行安装，并按照提示操作，直到安装完成。

bash Miniconda3-latest-Linux-x86_64.sh

（2）在安装过程中，出现以下提示时，可以指定安装路径

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GwBKDjZz-1651731893856)(C:\Users\11244\AppData\Roaming\Typora\typora-user-images\image-20220504073454057.png)]$

（3）出现以下字样，即为安装完成

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rCwoMi0g-1651731893857)(C:\Users\11244\AppData\Roaming\Typora\typora-user-images\image-20220504073523362.png)]$

3）加载环境变量配置文件，使之生效

source ~/.bashrc

4）取消激活base环境

Miniconda安装完成后，每次打开终端都会激活其默认的base环境，我们可通过以下命令，禁止激活默认base环境。

conda config --set auto_activate_base false

2.1.2 创建Python3.7环境

1）配置conda国内镜像

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --set show_channel_urls yes

2）创建Python3.7环境

conda create --name superset python=3.7(请使用python3.6，使用python3.7和3.8在安装superset环节都遇到了各种问题，换成python3.6解决)

说明：conda环境管理常用命令

创建环境：conda create -n env_name

查看所有环境：conda info --envs

删除一个环境：conda remove -n env_name --all

3）激活superset环境

conda activate superset

激活后效果如下图所示

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JA6plYKP-1651731893858)(C:\Users\11244\AppData\Roaming\Typora\typora-user-images\image-20220504084421108.png)]$

说明：退出当前环境

conda deactivate

4）执行python命令查看python版本

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z9RxRZHP-1651731893858)(C:\Users\11244\AppData\Roaming\Typora\typora-user-images\image-20220504084541478.png)]$

2.2 Superset部署

2.2.1 安装依赖

安装Superset之前，需安装以下所需依赖

sudo yum install -y gcc gcc-c++ libffi-devel python-devel python-pip python-wheel python-setuptools openssl-devel cyrus-sasl-devel openldap-devel

2.2.2 安装Superset

1）安装（更新）setuptools和pip

pip install --upgrade setuptools pip -i https://pypi.douban.com/simple/

说明：pip是python的包管理工具，可以和centos中的yum类比

2）安装Supetset

pip install apache-superset -i https://pypi.douban.com/simple/

说明：-i的作用是指定镜像，这里选择国内镜像

注：如果遇到网络错误导致不能下载，可尝试更换镜像

pip install apache-superset --trusted-host https://repo.huaweicloud.com -i https://repo.huaweicloud.com/repository/pypi/simple

3）初始化Supetset数据库

superset db upgrade

初始化数据库报错：

Traceback (most recent call last):
  File "/opt/module/miniconda3/envs/superset/bin/superset", line 5, in <module>
    from superset.cli.main import superset
  File "/opt/module/miniconda3/envs/superset/lib/python3.8/site-packages/superset/__init__.py", line 18, in <module>
    from flask import current_app, Flask
  File "/opt/module/miniconda3/envs/superset/lib/python3.8/site-packages/flask/__init__.py", line 14, in <module>