超级方便的轻量级Python流水线工具，还有漂亮的可视化界面！

最新推荐文章于 2025-03-25 10:15:43 发布
最新推荐文章于 2025-03-25 10:15:43 发布
阅读量801 收藏
点赞数
文章标签： nagios oauth 脚本语言 dfs 微软
原文链接：https://wx.kaikeba.com/vip_course/xuen78w5pc/nwvvow1nht?tenant=wx5046bc7413796142
版权

Mara-pipelines 是一个轻量级的数据转换框架，具有透明和低复杂性的特点。其他特点如下：

  • 基于非常简单的Python代码就能完成流水线开发。

  • 使用 PostgreSQL 作为数据处理引擎。

  • 有Web界面可视化分析流水线执行过程。

  • 基于 Python 的 multiprocessing 单机流水线执行。不需要分布式任务队列。轻松调试和输出日志。

  • 基于成本的优先队列：首先运行具有较高成本（基于记录的运行时间）的节点。

此外，在Mara-pipelines的Web界面中，你不仅可以查看和管理流水线及其任务节点，你还可以直接触发这些流水线和节点，非常好用：

1.安装

由于使用了大量的依赖，Mara-pipelines 并不适用于 Windows，如果你需要在 Windows 上使用 Mara-pipelines，请使用 Docker 或者 Windows 下的 linux 子系统。

使用pip安装Mara-pipelines:

pip install mara-pipelines

或者：

pip install git+https://github.com/mara/mara-pipelines.git

2.使用示例

这是一个基础的流水线演示，由三个相互依赖的节点组成，包括 任务1(ping_localhost), 子流水线(sub_pipeline), 任务2(sleep):

# 注意，这个示例中使用了部分国外的网站，如果无法访问，请变更为国内网站。
from mara_pipelines.commands.bash import RunBash
from mara_pipelines.pipelines import Pipeline, Task
from mara_pipelines.ui.cli import run_pipeline, run_interactively

pipeline = Pipeline(
    id='demo',
    description='A small pipeline that demonstrates the interplay between pipelines, tasks and commands')

pipeline.add(Task(id='ping_localhost', description='Pings localhost',
                  commands=[RunBash('ping -c 3 localhost')]))

sub_pipeline = Pipeline(id='sub_pipeline', description='Pings a number of hosts')

for host in ['google', 'amazon', 'facebook']:
    sub_pipeline.add(Task(id=f'ping_{host}', description=f'Pings {host}',
                          commands=[RunBash(f'ping -c 3 {host}.com')]))

sub_pipeline.add_dependency('ping_amazon', 'ping_facebook')
sub_pipeline.add(Task(id='ping_foo', description='Pings foo',
                      commands=[RunBash('ping foo')]), ['ping_amazon'])

pipeline.add(sub_pipeline, ['ping_localhost'])

pipeline.add(Task(id='sleep', description='Sleeps for 2 seconds',
                  commands=[RunBash('sleep 2')]), ['sub_pipeline'])

可以看到，Task包含了多个commands，这些 command s会用于真正地执行动作。

而 pipeline.add 的参数中，第一个参数是其节点，第二个参数是此节点的上游。如：

pipeline.add(sub_pipeline, ['ping_localhost'])

则表明必须执行完 ping_localhost 才会执行 sub_pipeline.

为了运行这个流水线，需要配置一个 PostgreSQL 数据库来存储运行时信息、运行输出和增量处理状态：

import mara_db.auto_migration
import mara_db.config
import mara_db.dbs

mara_db.config.databases \
    = lambda: {'mara': mara_db.dbs.PostgreSQLDB(host='localhost', user='root', database='example_etl_mara')}

mara_db.auto_migration.auto_discover_models_and_migrate()

如果 PostgresSQL 正在运行并且账号密码正确，输出如下所示（创建了一个包含多个表的数据库）：

Created database "postgresql+psycopg2://root@localhost/example_etl_mara"

CREATE TABLE data_integration_file_dependency (
    node_path TEXT[] NOT NULL, 
    dependency_type VARCHAR NOT NULL, 
    hash VARCHAR, 
    timestamp TIMESTAMP WITHOUT TIME ZONE, 
    PRIMARY KEY (node_path, dependency_type)
);

.. more tables

为了运行这个流水线，你需要：

from mara_pipelines.ui.cli import run_pipeline

run_pipeline(pipeline)

这将运行单个流水线节点及其 (sub_pipeline ) 所依赖的所有节点：

run_pipeline(sub_pipeline, nodes=[sub_pipeline.nodes['ping_amazon']], with_upstreams=True)

3.Web 界面

我认为 mara-pipelines 最有用的是他们提供了基于Flask管控流水线的Web界面。

对于每条流水线，他们都有一个页面显示：

  • 所有子节点的图以及它们之间的依赖关系

  • 流水线的总体运行时间图表以及过去 30 天内最昂贵的节点（可配置）

  • 所有流水线节点及其平均运行时间和由此产生的排队优先级的表

  • 流水线最后一次运行的输出和时间线


对于每个任务，都有一个页面显示

  • 流水线中任务的上游和下游

  • 最近 30 天内任务的运行时间

  • 任务的所有命令

  • 任务最后运行的输出

此外，流水线和任务可以直接从网页端调用运行，这是非常棒的特点：

我们的文章到此就结束啦，如果你喜欢今天的Python 实战教程，请持续关注Python实用宝典。

左手Python，右手Java，升职就业不愁啦！



推荐阅读:
入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python  | 实战项目 |学Python就是这条捷径
干货:爬取豆瓣短评，电影《后来的我们》 | 38年NBA最佳球员分析 |   从万众期待到口碑扑街！唐探3令人失望  | 笑看新倚天屠龙记 | 灯谜答题王 ｜用Python做个海量小姐姐素描图 ｜碟中谍这么火，我用机器学习做个迷你推荐系统电影
趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!
AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火，我用机器学习做个迷你推荐系统电影
小工具: Pdf转Word，轻松搞定表格和水印！ | 一键把html网页保存为pdf！|  再见PDF提取收费！ | 用90行代码打造最强PDF转换器，word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器！ ｜60行代码做了一个语音壁纸切换器天天看小姐姐！｜

年度爆款文案

点阅读原文,领AI全套资料
金融行业大数据可视化：实时监控与风险预警系统构建
AI天才研究院
04-24 684
随着金融业务数字化转型，日均产生的交易数据、市场数据、客户行为数据呈指数级增长（单家银行日交易数据量可达TB级）。数据实时性不足（分钟级延迟难以应对高频交易风险）风险特征挖掘浅层（仅基于规则引擎，漏报率高达30%+）可视化分析能力薄弱（静态报表无法支持动态决策）本文聚焦构建具备毫秒级数据响应智能风险建模交互式可视化决策能力的新一代系统，覆盖数据采集、实时处理、多维可视化、智能预警四大核心模块，适用于银行、证券、保险等金融细分领域。章节核心内容技术亮点核心概念可视化系统架构/数据流模型。
Python(流水线)
蜀山小道士的blog
10-04 1699
sklearn-Pipeline import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn import preprocessing from sklearn import datasets from sklearn.model_selection import train_test_s...
Python-一个简单的Python功能流水线库
08-10
Python的一个简单实用的流水线库
Python 实现 CI/CD 流水线的完整流程
2501_91163809的博客
03-25 283
``html。
超级方便的轻量级Python流水线工具，还有漂亮的可视化界面
m0_64355682的博客
02-25 945
Mara-pipelines 是一个轻量级的数据转换框架，具有透明和低复杂性的特点。其他特点如下： 基于非常简单的Python代码就能完成流水线开发。 使用 PostgreSQL 作为数据处理引擎。 有Web界面可视化分析流水线执行过程。 基于 Python 的 multiprocessing 单机流水线执行。不需要分布式任务队列。轻松调试和输出日志。 基于成本的优先队列：首先运行具有较高成本（基于记录的运行时间）的节点。 此外，在Mara-pipelines的Web界面中，你不仅可以查看和管..
流水线python
weixin_55125933的博客
09-10 252
对所有工作按耗时排序之后，流水线工作时间由最后一个任务，即耗时最长的任务决定。而排序之后的任务组合加入流水线的方式由流水线个数。
OD-流水线（python）
wq985_211的博客
03-31 799
这段代码的作用是从标准输入中读入一组数字，然后将它们分组进行处理，并输出最大的分组和。
轻量级的 域名威胁情报采集与恶意检测 脚本.zip
04-26
定位：轻量级的 域名威胁情报采集与恶意检测 脚本 形态：纯 Python CLI（控制台程序），≈ 300 行代码即可跑通 目标：给安全研究/应急响应人员一个「输入域名 → 拿到关联域名 → 自动判恶意 → 输出报表」的快速...
python数据可视化工具测评
2401_85979589的博客
07-15 614
KubeEdge 是一个开源的系统，可将本机容器化应用编排和管理扩展到边缘端设备python语法错误撤回方法,python语法错误怎么解决。它基于 Kubernetes 构建，为网络和应用程序提供核心基础架构支持，并在云端和边缘端部署应用，同步元数据python自动化运维库。KubeEdge 还支持 MQTT 协议，允许开发人员编写客户逻辑，并在边缘端启用设备通信的资源约束。
在Docker中使用virtualenv：构建轻量级Python应用容器
[在Docker中使用virtualenv：构建轻量级Python应用容器](https://user-images.githubusercontent.com/71845085/97420467-66d5d300-191c-11eb-8c7c-a72ac78d0c51.PNG) # 1. Docker基础与Python应用容器化 ## 1.1 ...
pipeline管道模型python实现
11-24
管道模式的python实现，包括配置文件的解析，使用networkx进行processor的管理等
python机器学习之流水线
侯小啾技术博客
02-15 2463
流水线把数据挖掘过程的每个步骤保存在工作流中。 在数据挖掘过程中使用流水线，可以大大降低代码及操作的复杂度，优化流程结构，可以有效减少常见问题的发生。 流水线通过 Pipeline() 来实例化，需要传入的属性是一连串数据挖掘的步骤，其中前几个是转换器，最后一个必须是估计器。 以经典的鸢尾数据为例，通过以下该简单示例的代码，我们来对比感受使用与不使用流水线下代码的差别。 具体流程为：获取数据后，首先进行归一化处理，然后使用近邻算法预测，最后使用交叉检验输出平均准确率。
使用 Python 构建数据处理流水线
cnzzs的博客
11-20 1139
在这篇博客中，我们将探讨如何使用 Python 构建一个简单的数据处理流水线(Data Pipeline)。数据处理流水线是数据分析和工程中非常常见的概念，通过流水线的设计，可以将数据的采集、处理、存储等步骤连接起来，实现自动化的数据流。我们将一步步了解如何构建这样一个流程，并附上流程图来帮助你更好地理解数据流的工作方式。...
[python] 构建数据流水线（pipeline）
热门推荐
言之。
03-04 1万+
Plum 是一个用于构建数据流水线（pipeline）的 Python 库，它旨在简化和优化数据处理流程，使得数据流转和处理变得更加清晰、高效和可维护。下面我将更详细地介绍 Plum 的特点、功能和使用方法。
构建基于Python的CI/CD流水线
古月哲亭
09-06 1012
构建基于Python的CI/CD流水线
Joblib - Python轻量流水线工具
Hanlin的博客
10-20 877
Joblib是一款用于在Python中提供轻量流水线的工具。 # joblib是一组用于在Python中提供轻量级流水线的工具。 # joblib具有以下功能： # 透明的磁盘缓存功能和“懒惰”执行模式，简单的并行计算 # joblib对numpy大型矩阵进行了特定的优化，简单快速 import time,math from joblib import Parallel,delayed # 利用joblib实现并行计算 def my_fun(i): time.sleep(1) ..
基于python的哔哩哔哩数据可视化分析工具数据库设计
最新发布
06-06
<think>首先，用户的问题是：“我想查找关于使用Python进行哔哩哔哩数据可视化分析的数据库设计方案”。用户指定了主题：使用Python进行哔哩哔哩数据可视化分析，重点是数据库设计。用户提供的引用是关于哔哩哔哩数据可视化系统的项目描述：-引用[1]：基于Python、Flask框架、Echarts、MySQL的B站数据可视化系统。-引用[2]：基于Python、Flask、requests爬虫、协同过滤推荐算法、sqlite数据库的B站数据分析系统。-引用[3]：基于Python、Flask、Echarts的B站数据可视化系统，提到了数据抓取和分析。系统级指令：-使用$...$格式表示行内数学表达式（如变量、方程），但在这个上下文中，可能没有数学内容，除非涉及统计计算。需要检查。-独立公式用$$...$$格式并单独成段。-LaTeX语法正确。-使用中文回答。-生成相关问题。-引用的段落末尾自然地添加引用标识，例如：[^1]。-回答结构清晰，帮助用户逐步解决问题。-保证回答真实可靠。用户的上一次问题和我的回答：用户的问题是新查询，没有提到之前的对话。指令说“参考用户上一次的问题和你的回答”，但在这里是第一个问题，所以没有历史。直接基于当前查询回答。关键点：用户问的是“数据库设计方案”，所以我需要聚焦于如何设计数据库用于B站数据可视化的系统。从引用中，常见的数据库是MySQL和SQLite：-[^1]usesMySQL-[^2]usesSQLite数据库设计涉及表结构、关系、规范化等。步骤回答：1.结构清晰：分步骤解释数据库设计。2.真实可靠：基于项目描述和常识设计。3.使用中文。4.生成相关问题在最后。5.引用段落：如果有来自引用的信息，添加引用标识。回答大纲：-介绍数据库在B站数据可视化系统中的作用。-设计原则：如选择数据库类型（MySQL,SQLite），基于项目规模。-核心表设计：-视频表：存储视频信息（视频ID、标题、上传者、上传时间、观看次数等）。-用户表：存储用户信息（用户ID、昵称、注册时间等）。-评论表：存储评论（评论ID、内容、时间、关联视频ID、用户ID）。-弹幕表：类似。-统计表：如日观看量、评论数等，便于分析和可视化。-关系：外键等。-规范化：确保数据一致性。-针对可视化：设计存储聚合数据的表，如预处理数据以便Echarts使用。-引用来自项目的描述：[^1],[^2],[^3]提及这些系统使用了数据库。用户指定了“可视化分析”，所以包括如何为可视化设计数据库。数学内容：可能涉及统计指标，如平均观看数。可以用$...$格式行内表示，例如：平均观看次数$\mu$。生成相关问题：-以"§§相关问题§§"开头，然后列出问题。结尾加引用标识。完整结构：1.引言：解释B站数据可视化系统的数据库需求。2.数据库选择：MySQLvsSQLite对比。3.表设计方案：列出主要表结构。4.数据建模：关系型数据库设计。5.针对可视化的优化。6.生成相关问题。使用示例格式。</think> ### Python哔哩哔哩数据可视化分析系统的数据库设计方案 在基于Python的哔哩哔哩（B站）数据可视化分析系统中，数据库设计是关键环节，因为它决定了数据的存储效率、查询性能和分析灵活性。这类系统通常结合数据抓取（如使用requests库爬取B站API）、数据清洗、数据建模和可视化（如Echarts）。设计时需考虑B站数据类型（视频信息、用户数据、评论/弹幕、观看统计等），并确保数据库支撑实时分析和可视化渲染。以下是一个典型的数据库设计方案，基于常见实践和引用中的项目描述[^1][^2][^3]。设计遵循关系型数据库（如MySQL或SQLite）的规范化原则，以提高数据一致性，同时针对可视化需求进行优化（如预聚合数据表）。 #### 1. **数据库选型与设计原则** - **选型建议**： - **MySQL**：适合大型数据量和并发请求，支持事务处理和复杂查询，如引用[^1]的系统使用MySQL存储Bilibili数据，便于扩展[^1]。 - **SQLite**：轻量级嵌入数据库，适用于快速开发和中小规模数据，如引用[^2]的项目在爬虫和分析阶段使用SQLite实现本地存储[^2]。 - 选择依据：项目规模决定；大型系统推荐MySQL，原型或单机工具可用SQLite。 - **设计原则**： - **规范化**：降低冗余，例如将数据分解到第3范式（3NF）。 - **性能优化**：为高频查询创建索引（如基于视频ID的索引），使用预处理表加速可视化（如存储统计指标 $\mu$，代表平均值）。 - **数据模型**：关系型设计，支持外键约束以确保数据完整性（例如，评论表关联视频表和用户表）。 #### 2. **核心表结构设计** 以下是一个简化的关系型数据库方案，包含主要表和字段。示例以SQL语句形式描述（实际实现可结合Python ORM库如SQLAlchemy）。 - **视频信息表 (`video_info`)**： - 存储基本视频数据，便于分析点击量和流行趋势。 - 字段设计： ```sql CREATE TABLE video_info ( video_id VARCHAR(20) PRIMARY KEY, -- 视频唯一ID，如BV号 title VARCHAR(255), -- 视频标题 uploader_id VARCHAR(20), -- 上传者用户ID upload_date DATETIME, -- 上传时间 duration INT, -- 视频时长(秒) view_count INT, -- 观看次数 like_count INT, -- 点赞数 comment_count INT, -- 评论数 category VARCHAR(50), -- 视频类别(如科技、游戏) FOREIGN KEY (uploader_id) REFERENCES user_info(user_id) ); ``` - 用途：用于可视化视频热度分布，如Echarts生成视频类别占比饼图或时间序列折线图。 - **用户信息表 (`user_info`)**： - 存储用户属性，支持用户行为分析。 - 字段设计： ```sql CREATE TABLE user_info ( user_id VARCHAR(20) PRIMARY KEY, -- 用户唯一ID，如UID username VARCHAR(100), -- 用户名 registration_date DATE, -- 注册日期 follower_count INT, -- 粉丝数 level INT -- 用户等级 ); ``` - 可视化关联：结合评论表分析用户活跃度。 - **评论/弹幕表 (`comment_data`)**： - 存储文本数据，用于情感分析和关键词提取。 - 字段设计： ```sql CREATE TABLE comment_data ( comment_id INT AUTO_INCREMENT PRIMARY KEY, video_id VARCHAR(20), -- 关联视频ID user_id VARCHAR(20), -- 关联用户ID content TEXT, -- 评论内容 post_time DATETIME, -- 评论时间 sentiment_score FLOAT, -- 情感分值(由Python处理存储，如 $\mu=0.8$) FOREIGN KEY (video_id) REFERENCES video_info(video_id), FOREIGN KEY (user_id) REFERENCES user_info(user_id) ); ``` - 优化：添加全文索引加速文本查询（例如，SQLite的FTS5模块或MySQL的FULLTEXT索引）。 - **统计数据表 (`statistics_agg`)**： - 预聚合表，减少实时计算开销，专门为可视化设计（如Echarts展示日活跃用户或视频趋势）。 - 字段设计： ```sql CREATE TABLE statistics_agg ( stat_id INT AUTO_INCREMENT PRIMARY KEY, date DATE, -- 统计日期 daily_views INT, -- 日总观看量 avg_view_duration INT, -- 平均观看时长(秒) top_category VARCHAR(50), -- 热门类别 FOREIGN KEY (top_category) REFERENCES ... -- 可选外键 ); ``` - 计算方法：Python脚本周期性地运行SQL聚合查询（如GROUP BY date），并更新此表，例如计算每日平均值 $\mu = \frac{\text{total views}}{\text{days}}$。 #### 3. **数据库建模与可视化集成** - **关系模型**：采用星型架构（star schema），`video_info`为核心表，连接其他维表（如用户表），便于OLAP查询。 - 示例查询：计算每个视频的平均评论数。 ```sql SELECT v.video_id, AVG(v.comment_count) AS avg_comments FROM video_info v GROUP BY v.video_id; ``` - Python集成：使用Flask框架路由数据查询，并渲染到Echarts；引用[^3]显示，系统通过MySQL存储预处理数据后，用Python脚本生成Echarts可视化图[^3]。 - **性能考虑**： - 索引：在 `video_info.upload_date` 和 `comment_data.post_time` 添加索引，加速时间过滤。 - 分表分库：如果数据量超大（如TB级），采用分片或使用NoSQL方案（但基于引用，关系型已足够）。 - **数据流水线**： - 爬虫阶段：Python requests库抓取B站API数据 → 存储到临时表。 - 清洗阶段：Pandas处理缺失值后 → 写入核心表。 - 分析阶段：SQLAlchemy执行聚合查询 → 更新统计表。 - 可视化：Flask从统计表读取数据 → Echarts渲染动态图表（如热力图显示评论分布）。 #### 4. **设计优化建议** - **针对B站特性**：由于B站数据包含丰富文本（弹幕、评论），建议添加关键词提取字段。 - **安全与备份**：设置自动备份（cron作业），用户隐私字段（如用户名）加密存储。 - **真实案例**：在引用[^2]中，数据库设计支持协同过滤推荐算法，包括存储用户-视频交互矩阵[^2]。 - **数学指标**：预存储常见统计值，如标准差 $\sigma$ 或趋势线斜率，减少Python端计算延迟。 ### 总结 一个高效的B站数据可视化数据库方案应基于关系型数据库（MySQL/SQLite），强调规范化和预聚合以加速可视化。典型设计包括视频表、用户表、评论表，以及为Echarts优化的统计表。项目规模决定数据库选型：MySQL支持高并发（如引用[^1]），SQLite适合快速原型。集成Python脚本后，能实现从爬取到可视化的完整流水线。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值