Superset部署与集成kylin

Superset从配置到使用系列之四:集成Superset到自己的前端项目中 需求描述 数据看板页面如果不用登录就可以访问 集成进来的页面,样式如何修改?比如隐藏头部菜单 数据看板去除登录 分享面板,拿到链接,如果此时直接在其他浏览器访问,就会直接跳转到登录页面 解决思路 1、权限不够就需要赋予权限,找到需要赋权的对象 通过查看源代码可以发现这些访问都是通过public角色的; 2、角色权限 Admin:拥有所有权限; Alpha:能访问所有数据源,增加或者更改数据源,但不能更改其他用户权限; Gamma:必须结合其他能访问数据源的角色才能访问数据。这个角色所能访问 阅读详情

Superset是什么

superset是一个Apache开源的数据探查与可视化平台,怎么说呢,我们只需要安装它,配置他的一些文件,就可以连接数据库,进行图表展示。

Superset介绍

后端:整个项目的后端是基于Python的,用到了Flask、Pandas、SqlAlchemy。

前端:用到了npm、react、webpack,这意味着你可以在手机也可以流畅使用。。 


功能介绍:

1、我们可以通过连接数据库,去对数据库中的单个表进行配置,展示出柱状图,折线图,饼图,气泡图,词汇云,数字,环状层次图,有向图,蛇形图,地图,平行坐标,热力图,箱线图,树状图,热力图,水平图等图,官网上是不可以操作多个表的,不过我们可以操作视图,也就是说在数据库建好视图,也可以在superset中给表新增一列进行展示。

2、配置好了我们想要的图表之后我们可以把它添加到仪盘表进行展示,还可以去配置缓存,来加速仪盘表的查询,不必要没次都去查询数据库。

3、我们可以查看进行查询表的sql,也可以把查询导出为json,csv文件。它有自己的sql编辑器,我们可以在里面来编写sql。

 

 

下载安装

Superset目前主要使用python2.7跟python3.4+来进行测试,不推荐使用python3(亲测安装过程中遇到很多坑),不支持python2.6(公司虚拟机默认是2.6.6),我是在python2.7.15上装的,linux系统下都会自带一个python,因为linux也依赖于python,我的linux系统自带了一个python2.6.6,我就又下载python2.7.15了,建议不要在windows上进行安装superset,我在windows下安装了几次都报错,因为有些插件没有windows版本的。

PS:在python2.7.15与linux系统自带版本替换时要改链接

[root@finai9 bin]# rm -rf python

[root@finai9 bin]# ln -s /usr/local/bin/python2 /usr/bin/python

[root@finai9 bin]# python -V

Python 2.7.15

 

1、操作系统的依赖

Superset的数据库连接信息存储在元数据库,因此,他们使用了cryptography 密码库来对连接信息进行加密,但是这个库有操作系统级别依赖。所以我们需要安装这个密码库所需要的依赖:

 

sudo yum upgrade python-setuptools

sudo yum install gcc libffi-devel python-devel python-pip python-wheel openssl-devel libsasl2-devel openldap-devel

以上依赖也可以 在安装过程中根据报什么错选择性安装

 

2、安装python

下载官网:https://www.python.org/downloads/

如果是gz包就tar -zxvf解压,如果是zip包就unzip解压

解压完后

[root@finai9 softwares]# cd Python-2.7.15/
./configure

make:

make install

 

3、Python virtualenv环境

pip 是一个安装和管理 Python 包的工具,pip依赖于pip仓库,默认为:http://pypi.python.org/,只要里面有就可以安装。

建议在virtualenv环境中安装superset(这样可以避免与其它python版本起冲突,还有就是下面安装superset时有几十个依赖便于区分),python3已经自带了virtualenv,python2你需要安装它,使用pip来安装:

 

pip install virtualenv (pip安装的所有包默认在 /usr/local/lib/python2.7/site-packages目录下)

 

安装了virtualenv环境之后,可以使用pip list来看一下pip装的一些工具,我们可以创建一个名字为venv(这里我用的是venv_python2.7,名字可以随便取)的virtualenv环境,然后切换到venv环境下:

virtualenv venv_python2.7  (ps:在哪个目录 下执行该命令就在哪建)

 

然后是激活

cd /venv_python2.7/bin

source activate

ps:一旦你激活你的virtualenv你所做的一切都只限于virtualenv。 要退出virtualenv只需输入deactivate。

进去虚拟环境有以下特点:前面会带venv_python2.7

(venv_python2.7) [root@finai9 superset]# superset runserver

 

下面是把pip跟setuptools更新到最新

pip install --upgrade setuptools pip

 

4、在virtualenv环境下使用pip来安装superset

pip install superset直接安装的话会安装最新的版本,但是好像最新版0.29.1版本(0.23.X以上版本需python3),如果想安装指定版本:pip install superset==xxx。如果网络不好的话会安装的有点久,而且可能会直接报错,连接超时;或者如果你是公司内网的话也是无法下载的,此时你需开通网络跨区访问权限(我自己的就是内网,需下面连个域名的权限:☛ pypi.org ; ☛ files.pythonhosted.org  端口http是80  https是443)

 

pip install superset==0.20.5

 

如果目录下有了superset的目录,说明你一已经安装好了。

 

1.创建用户,会让你输入用户名,姓氏,名字,邮箱,密码

fabmanager create-admin --app superset

 

2.初始化数据库

superset db upgrade

 

3.加载一些数据到sqlite数据库中进行展示

superset load_examples

 

4.初始化superset

superset init

 

5.启动superset服务,默认端口是8088,我们也可以去superset的配置文件去更改

superset runserver

 

创建管理员用户,执行完这一步会在mysql数据库里刷出几张表

fabmanager create-admin --app superset

初始化数据库:

superset db upgrade

数据库初始化失败了,修改superset/migrations/versions/2591d77e9831_user_id.py脚本

将def upgrade():

  with op.batch_alter_table('tables') as batch_op:

batch_op.add_column(sa.Column('user_id', sa.Integer()))

batch_op.create_foreign_key('user_id', 'ab_user', ['user_id'], ['id'])

改为def upgrade():

  with op.batch_alter_table('tables') as batch_op:

batch_op.add_column(sa.Column('user_id', sa.Integer(), sa.ForeignKey("ab_user.id")))

重新打包安装,然后重新upgrade即可。

 

加载样例

superset load_examples

初始化

superset init

启动

nohup superset runserver >> /bd/softwares/venv_python2.7/superset.log 2>&1 &

六、访问服务

浏览器输入http://10.9.5.9:8088即可。

 

Superset修改时区为"Asia/Shanghai"

 

1.找到superset的安装目录;

ps -ef|grep superset 找到superset的安装目录

2.进入安装目录下的找到config.py文件,修改入选

DRUID_TZ = tz.tzutc() 为DRUID_TZ = tz.gettz(‘Asia/Shanghai’)

即可

这样superset的时区就切换到东八区了.

使用

下面是官网订单案例使用测试

 

运行$KYLIN_HOME/bin/sample.sh 就会在hive自动创建五张表。当然你可以用vim打开sample.sh看看这个脚本文件到底是怎么样执行的。

 

导入后,可以在hive查看具体信息。红线框住的部分,这5张表构成一个星型模型,kylin_sales是事实表,其他的作为维度表。

 

创建MySQL数据源

 

 

 

 

 

创建Kylin数据源

 

 

 

Superset嵌入外部系统操作方式调研 阅读详情

相关推荐

别只刷题了!我用834分经验告诉你,华为HCIP大数据考试(H13-723)这样准备更高效

本文分享了华为HCIP大数据认证(H13-723)834分通关的高效备考经验。通过分析考试动态、题库验证技巧和章节优先级策略,帮助考生超越单纯刷题,系统化掌握核心知识点。特别强调实时流处理和离线批处理等重点章节,提供黄金90分钟临场发挥策略,助力考生一次性通过考试。

weixin_38168786的博客 460

大数据可视化技术之Superset

是一个开源的数据探查与可视化平台(曾用名 Panoramix、Caravel ),该工具在可视化、易用性和交互性上非常有特色,用户可以轻松对数据进行可视化分析。Superset 也是一款企业级商业智能 Web 应用程序。是一个开源的、现代的、轻量级BI分析工具,能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘,且拥有友好的用户界面,十分易用。

m0_59651968的博客 1679

汇川伺服驱动器参数优化实战指南

本文详细介绍了汇川伺服驱动器参数优化的实战技巧,涵盖控制模式选择、电子齿轮比调整、刚性匹配与振动抑制等关键内容。通过实际案例和实用技巧,帮助工程师快速掌握伺服驱动器参数调校方法,提升设备运行精度和稳定性。特别针对高精度定位和高速响应场景提供了专业指导。

weixin_29070721的博客 736

关于superset集成到自己的项目中

superset、superset用户接入、superset集成、superset二次开发

m0_52061286的博客 3106

通信原理与MATLAB(八):2PSK的调制解调

通信原理和MATLAB

菜yuan~的博客 3万+

vmware vsphere 证书过期告警处理方法

vSphere Clinet 管理页面出现“证书告警” ,检查证书未发现现有证书有过期现象

m0_51902127的博客 3639

基于Kettle+Clickhouse+Superset构建实时大数据

1、ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以掌握一个ETL工具的使用,必不可少。Kettle作为ETL工具是非常强大和方便的。Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。Kettle中文名称叫水壶,该项目的主程序员MATT希望把各种数据放到一个壶里,然后以一种指定的格式流出。Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。2、Clickhouse 是俄罗斯的“百度”Yandex公司在2016年开源的,一款针对大数据实时分析的高性能分布式数据库,与之对应的有hadoop生态hive,Vertica和百度出品的palo。这是战斗民族继nginx后,又开源的一款“核武器”。Hadoop 生态体系解决了大数据界的大部分问题,当然其也存在缺点。Hadoop 体系的最大短板在于数据处理时效性。基于 Hadoop 生态的数据处理场景大部分对时效要求不高,按照传统的做法一般是 T + 1 的数据时效。即 Trade + 1,数据产出在交易日 + 1 天。ClickHouse 的产生就是为了解决大数据量处理的时效性。独立于Hadoop生态圈。3、Superset 是一款由 Airbnb 开源的“现代化的企业级 BI(商业智能) Web 应用程序”,其通过创建和分享 dashboard,为数据分析提供了轻量级的数据查询和可视化方案。 Superset 的前端主要用到了 React 和 NVD3/D3,而后端则基于 Python 的 Flask 框架和 Pandas、SQLAlchemy 等依赖库,主要提供了这几方面的功能:01、集成数据查询功能,支持多种数据库,包括 MySQL、PostgresSQL、Oracle、SQL Server、SQLite、SparkSQL 等,并深度支持 Druid。02、通过 NVD3/D3 预定义了多种可视化图表,满足大部分的数据展示功能。如果还有其他需求,也可以自开发更多的图表类型,或者嵌入其他的 JavaScript 图表库(如 HighCharts、ECharts)。03、提供细粒度安全模型,可以在功能层面和数据层面进行访问控制。支持多种鉴权方式(如数据库、OpenID、LDAP、OAuth、REMOTE_USER 等)。 基于Kettle+Clickhouse+Superset构建亿级大数据实时分析平台课程将联合这三大开源工具,实现一个强大的实时分析平台。该系统以热门的互联网电商实际业务应用场景为案例讲解,对电商数据的常见实战指标处理使用kettle等工具进行了详尽讲解,具体指标包括:流量分析、新增用户分析、活跃用户分析订单分析、团购分析。能承载海量数据的实时分析,数据分析涵盖全端(PC、移动、小程序)应用。项目代码也是具有很高的商业价值的,大家可以根据自己的业务进行修改,便可以使用。本课程包含的技术:开发工具为:IDEAKettleClickhouseSupersetBinlogCanalKafkaHbaseHadoopZookeeperFlinkSpringBootSpringCouldPythonAnconaMySQL等 课程亮点:1.与企业对接、真实工业界产品2.强大的ETL工具Kettle全流程讲解实现3.ClickHouse高性能列式存储数据库4.Superset现代化的企业级BI可视化5.数据库实时同步解决方案6.集成Flink实时数据转换解决方案7.主流微服务SpringBoot后端系统8.互联网大数据企业热门技术栈9.支持海量数据的实时分析10.支持全端实时数据分析11.全程代码实操,提供全部代码和资料12.提供答疑和提供企业技术方案咨询 

本地大模型部署实战:LM Studio与Ollama的易用性与性能深度评测

本文对两款主流本地大模型部署工具LM Studio和Ollama进行了深度评测。LM Studio凭借图形化界面和内置模型库,为新手提供了开箱即用的便捷体验,并支持OpenAI兼容API,易于生态集成。Ollama则以命令行驱动,轻量高效,凭借其原生API和Modelfile自定义能力,在自动化集成和性能方面表现突出。文章从易用性、模型生态、性能及扩展性多维度对比,帮助用户根据自身技术背景和使用场景做出最佳选择。

weixin_29039773的博客 529

Apache Superset技术实践

Apache Superset技术实践

super_chenzhou 3708

微软登录OAuth 2.0授权流程

OAuth 2.0是一个关于授权的开放网络标准,它允许第三方应用获取用户数据,是目前最流行的授权机制。微软身份平台支持OAuth 2.0授权码流程,使得客户端应用程序能够获得对受保护资源(如网络API)的授权访问。这一流程在保障用户数据安全的前提下,实现了应用的便捷登录与数据共享。当用户在一个支持OAuth 2.0的应用上,希望使用微软账号进行登录时,OAuth 2.0授权流程即被触发。

qq_36569837的博客 4092

2、欧洲期权的赫斯顿模型

本文详细介绍了赫斯顿随机波动率模型在欧洲期权定价中的应用。模型通过引入随机方差过程,克服了布莱克-斯科尔斯模型中波动率恒定的局限性,更贴近市场实际。文章阐述了模型的动态结构、风险中性转换、期权定价公式及其半封闭解的计算方法,并提供了基于VBA的数值实现方案。通过梯形法则与高斯积分等数值方法对比,分析了不同积分策略的精度与效率。同时验证了当波动率为零时,赫斯顿模型退化为布莱克-斯科尔斯模型的一致性。最后讨论了模型的优势、挑战及实际应用建议,强调了数值积分稳定性和参数估计的重要性。

tequila的博客 350

superset连接mysql_superset搭建(及连接kylin)之填坑

今天在安装kylin与superset过程中,遇到两个大坑,在下面的安装过程中有详细讲解。首先简单介绍一下这两个组件:Superset 是一个数据探索和可视化平台,设计用来提供直观的,可视化的,交互式的分析体验。Superset 提供了两种分析数据源的方式:1. 用户可以以单表形式直接查询多种数据源,包括 Presto、Hive、Impala、SparkSQL、MySQL、Postgres、Ora...

weixin_28720573的博客 800

Django框架中settings文件的部署建议

为了更好地管理开发和生产环境的配置,建议将settings文件分为多个文件,分别用于不同的环境。然后,通过在启动应用程序时指定不同的settings文件,来加载相应的配置。在Django框架中,settings.py文件是非常重要的配置文件,它包含了项目的各种设置和选项。在Django框架中,settings.py文件是非常重要的配置文件,它包含了项目的各种设置和选项。可以使用Python的。为了更好地管理开发和生产环境的配置,建议将settings文件分为多个文件,分别用于不同的环境。

WELL_CODER的博客 129

官方教程:Apache Kylin和Superset集成,开源组件完美打造OLAP系统

Superset 是一个数据探索和可视化平台,设计用来提供直观的,可视化的,交互式的分析体验。 Superset 提供了两种分析数据源的方式: 1. 用户可以以单表形式直接查询多种数据源,包括 Presto、Hive、Impala、SparkSQL、MySQL、Postgres、Oracle、Redshift、SQL Server、Druid 等。本文后续内容也会详细介绍Superset如何支...

yangbosos的博客 1089

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Apache Kylin集成superset

Superset是一款开源的数据可视化工具,目前可以与各种数据源进行集成,包括mysql、druid等。本文主要讲解在非root用户下如何安装和配置superset,来实现对apache kylin的访问。

skyyws的博客 4491

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

13.6 Apache Kylin和Superset集成,使用开源组件,完美打造OLAP系统

Superset 是一个数据探索和可视化平台,设计用来提供直观的,可视化的,交互式的分析体验。 Superset 提供了两种分析数据源的方式: 1. 用户可以以单表形式直接查询多种数据源,包括 Presto、Hive、Impala、SparkSQL、MySQL、Postgres、Oracle、Redshift、SQL Server、Druid 等。本文后续内容也会详细介绍Superset...

kk25114的博客 503

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

官方教程:Apache Kylin和Superset集成,使用开源组件,完美打造OLAP系统

本文转自Apache Kylin公众号apachekylin. Superset 是一个数据探索和可视化平台,设计用来提供直观的,可视化的,交互式的分析体验。 Superset 提供了两种分析数据源的方式: 1. 用户可以以单表形式直接查询多种数据源,包括 Presto、Hive、Impala、SparkSQL、MySQL、Postgres、Oracle、Redshift、SQL Serve...

羽翼天宇 520

【Superset】Superset入门解析

(图片来源于网络,侵删) 一、Superset概述 1、Superset简介 Apache Superset是一个开源的、现代的、轻量级BI分析工具,能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘,且拥有友好的用户界面,十分易用 2 Superset应用场景 由于Superset能够对接常用的大数据分析工具,如Hive、Kylin、Druid等,且支持自定义仪表盘,故可作为数仓的可视化工具 二、Superset安装 Superset 官网地址:http://superset.apache.

Together 3793

kylin可视化工具:superset安装

安装方式: docker安装 pip安装 centos 6: pip安装 参照官网:http://superset.apache.org/installation.html, 前提中有说明pyton3.6最合适 # 1,安装依赖包 sudo yum upgrade python-setuptools sudo yum install gcc gcc-c++ libffi-devel pytho...

eyeofeagle的博客 2678

Apache Kylin和Superset集成,使用开源组件,完美打造OLAP系统

Superset 的前世今生 Superset 起源于 2015 年初黑客马拉松项目,曾经使用过 Caravel 和 Panoramix 作为项目名。现在主要维护小组是 Airbnb 数据科学组,代码托管在 Github。作为 Apache 软件基金会孵化项目,Superset 目标是要做成数据可视化平台。 Superset 对于数据源端通过一个成熟的 OR-Mapping 方案对接了几乎市面...

无 971

【superset安装】史上最全superset安装过程中错误解决方案

superset安装过程中各种错误的解决方案

m0_58195451的博客 1万+

Apache Kylin和Superset(Caravel)集成

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33982670的博客 241

kylin套_Kylin 初体验总结

基础知识OLAP(on-Line AnalysisProcessing)的实现方式ROLAP:基于关系数据库的OLAP实现(Relational OLAP)。ROLAP将多维数据库的多维结构划分为两类表:一类是事实表,用来存储数据和维关键字;另一类是维表,即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。维表和事实表通过主关键字和外关键字联系在一起,形成了"星型模式"。对于层次复杂的...

weixin_33670352的博客 307
上一篇: spark集群app运行状态监控
下一篇: spark sql+hive ETL
那年夏天110
博客等级 码龄16年 2粉丝 12原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值