What‘s dbt (Data Build Tool), open source for the transformation (T of ELT)

原创 已于 2022-03-07 21:29:13 修改 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#etl工程师 #大数据 #big data #数据仓库 #sql

于 2022-01-23 22:16:04 首次发布
dbt是一款数据转换工具，允许团队遵循软件工程最佳实践快速部署分析代码。支持模块化、可移植性、CI/CD及文档化等功能，使SQL开发者能够构建高质量的数据管道。

dbt (Data Build Tool) is a transformation workflow that lets teams quickly and collaboratively deploy analytics code following software engineering best practices like modularity, portability, CI/CD, and documentation. Now anyone who knows SQL can build production-grade data pipelines.

Official web: dbt - Transform data in your warehouse

What's dbt (Data Build Tool) - DBT - Big Data Small Team

--------------------大数据小团队--------------------
蒙昭良：《Oracle DBA高效入门指南》作者
2013-2019: 摩根大通 – 美国哥伦布
2021-目前 : 普华永道 – 北京
大数据小团队论坛

蒙昭良1021×1189 148 KBicon-default.png?t=M1L8https://bbs.bigdatasmallteam.com/uploads/default/original/1X/de31915c572a7c1305472643e0c15dc3cb48991f.jpeg


--------------------大数据小团队--------------------

 

数据转换工具DBT介绍及实操（上）
weixin_72407838的博客
03-09 3154
此模型之上的所有分析都将包含相同的业务逻辑，而无需重新实现它。仅使用 查询SQL 语句或 Python dataframe编写业务逻辑，并返回所需的数据集，dbt 负责这些数据集的物化，从而构建可重用或模块化的数据模型，这些数据模型可以在后续工作中引用，而不是从每次分析的原始数据开始。将SQL查询语句转化为关系 数据模型通过编写固定格式的标准select语句来实现，DBT能够识别一个模型配置文件内SQL语句之间的血缘关系，在将SQL语句执行为表或视图的同时，提取表或视图之间的关系进行展示。
当 dbt 遇见 TiDB丨高效的数据转换工具让数据分析更简单
TiDB_PingCAP 的博客
04-13 1377
dbt （data build tool）是一款流行的开源数据转换工具，能够通过 SQL 实现数据转化，将命令转化为表或者视图，提升数据分析师的工作效率。TiDB 社区在近日推出了 dbt-tidb 插件，实现了 TiDB 和 dbt 的兼容适配。本文将通过一个简单的案例介绍如何通过 dbt 实现 TiDB 中数据的简单分析。
data-act-build-tools:为挂起和数据代理项目构建和部署脚本和工具
04-30
数据行为构建工具 构建用于部署Broker和USASpending应用程序并自动执行操作任务的工具。
dbt(data build tool) is an open source data transformation, and using Jinji templating
BigDataSmallTeam 大数据小团队--蒙昭良的博客
01-23 2023
dbt(data build tool) is an open source data transformation, and using Jinji templating dbt(data build tool) is an open source data transformation, an...
Apache Airflow与数据转换工具集成：dbt、Spark实战
最新发布
gitblog_00923的博客
08-28 1073
在现代数据工程架构中，Apache Airflow已成为工作流编排的事实标准，而dbt（Data Build Tool）和Apache Spark则是数据转换和处理的核心工具。本文将深入探讨如何将这三者有机结合，构建高效、可靠的数据处理流水线。 ## 核心概念解析 ### Apache Airflow Apache Airflow是一个开源的工作流编排平台，用于编程方式创建、调度和监控工作流。...
DBT是什么
weixin_38030820的博客
03-14 2259
仅使用 SQL 语句或 Python 数据帧编写业务逻辑，返回所需的数据集，dbt 负责select物化.构建可重用或模块化的数据模型，这些数据模型可以在后续工作中引用，而不是从每次分析的原始数据开始。DBT 针对您的数据平台编译并运行您的分析代码，使您和您的团队能够在指标、见解和业务定义的单一事实来源上进行协作。作为 dbt 用户，您的主要关注点将是编写反映核心业务逻辑的模型（即选择查询）——无需编写样板代码来创建表和视图，也无需定义模型的执行顺序。通常，数据源中的记录是可变的，因为它们会随时间而变化。
dbt：新一代数据转换工具
Tony.Dong的专栏
04-12 1141
dbt（Data Build Tool）一款专为数据分析和工程师设计的开源工具，专注于 ETL/ELT 流程的数据转换（Transform）环节，帮助用户以高效、可维护的方式将原始数据转换为适合分析的数据模型。
掌握数据转换的艺术：深入解析DBT的安装
weixin_59343746的博客
01-22 3464
DBT全称为"数据构建工具"（Data Build Tool），是一种用于数据转换和建模的开源工具。它主要用于处理数据仓库中的原始数据，帮助数据分析师和数据工程师将数据转换成更有用的形式，以支持业务分析和报告。DBT的工作方式是将数据转换过程从ETL（提取、转换、加载）中分离出来，专注于转换部分。它采用SQL语言来定义转换规则，使得数据分析人员能够更直观地理解和管理数据转换逻辑。通过使用DBT，团队可以更加灵活地处理数据，快速构建和调整数据模型，以适应不断变化的业务需求。
免费使用dbt包创建和加载数据Vault 2.0兼容的数据仓库(由开源数据工程工具dbt驱动，Fishtown Analytics的注册商标)- Datavault-UK/dbtvault
01-27
"免费使用dbt包创建和加载数据Vault 2.0兼容的数据仓库" 提供了一个利用dbt来构建与Data Vault 2.0架构兼容的解决方案。Data Vault 2.0是一种现代数据仓库模型，强调灵活性、可扩展性和审计跟踪，特别适合于大数据...
利用dbt包打造兼容Data Vault 2.0的数据仓库
dbt（Data Build Tool）是一款开源的数据工程工具，它允许数据工程师编写SQL代码并将其编译为数据模型。它与传统的数据仓库工具不同，主要专注于数据建模和转换，而不是数据的提取、加载或准备。dbt能够帮助数据团队...
【dbt】使用source引用已存在的表
auzurdragon的博客
05-28 486
dbt在运行时，会按照ref()和source()方法，构造出所有模型的DAG——有向无环图，再按照DAG的顺序执行。此外，dbt也是通过这两个方法，确定数据血缘关系，并在docs中展现出来。ref()引用的是dbt中构造的表模型，但是对于数据库中已经有，在dbt中没有模型的表，虽然可以直接在SQL语句中使用，但这种方法在血源图中就看不到了，需要使用source()引用。
【GitHub项目推荐--数据可视化项目】【转载】
j8267643的博客
01-19 9210
用 Vue 构建的 GitHub 大数据可视化平台，通过它你可以更直观的看到你在 GitHub 里的一些数据，数据来源调用 GitHub 开发的 API。这是一款基于百度地图的大数据可视化库，专注于大数据方向的散点图、热力图、网格、聚合等方式展示，致力于让大数据可视化变得简单易用。本篇文章，整理了 5 个可视化开源项目，其中包括可视化制作低代码平台、大屏可视化、地图可视化、热图、图标可视化等等。大屏可视化便利性工具，结构简单。地址：https://github.com/ddiu8081/ChartFun。
从零开始的 dbt 入门教程 （dbt-core 基础篇）
sdgfafg_25的博客
12-01 5026
DBT（Data Build Tools）是一种数据转换工作流工具，作为数据分析师，我们需要将原始的数据进行各类加工组合来应对更为复杂的数据分析需求。准确来说，dbt 还是来写 sql 做各种数据查询，你可能会想，那我自己写 sql 不就完事了，还用啥 dbt。事实上，由于数据库种类繁多，sql 会存在兼容问题；其次，数据转换会存在数据依赖，比如底层原始数据层层转变为业务数据，你可能需要自己来维护这个依赖关系，其实仔细一想，你就会发现自己做会非常麻烦。
dbt-sqlserver 使用教程
gitblog_00085的博客
08-26 501
dbt-sqlserver 使用教程 项目介绍 dbt-sqlserver 是一个为 SQL Server 和 Azure SQL 设计的 dbt 适配器插件。dbt（data build tool）是一个开源工具，用于数据转换，允许用户使用 SQL 语法编写数据转换脚本，并通过版本控制和测试来管理这些脚本。dbt-sqlserver 使得 dbt 能够与 Microsoft SQL Server...
dbt-docs 项目教程
gitblog_00632的博客
09-09 708
dbt-docs 项目教程 1. 项目介绍 dbt-docs 是 dbt (data build tool) 项目的一部分，专门用于生成和展示 dbt 项目的文档。dbt 是一个开源工具，旨在帮助数据从业者采用软件工程的最佳实践，并部署模块化、可靠的分析代码。dbt-docs 通过生成一个静态网站，使得项目的文档更加易于浏览和理解，从而帮助利益相关者发现和理解数据集。 2. 项目快速启动 安装 d...
如何利用 DBT 进行数据仓库自动化？
2301_82242602的博客
02-20 322
DBT（Data Build Tool）是现代数据仓库 ETL 自动化工具，支持 SQL 转换和数据治理。
Dbt基本概念与快速入门
neweastsun的专栏
09-16 3054
dbt项目是包括在操作系统中特定目录里，其中包含对数据执行转换所需的所有内容。它包含许多.sql文件(称为模型)和YAML文件(用于配置)。创建dbt工程，可以在命令行中使用dbt init 命令。终端要求您输入与可用数据平台适配器对应的代码。因为只有DuckDB，所以可以按1。├── logs├── macros├── models├── seeds├── target├── tests模块化: 保持数据转换有组织，并将其划分为可管理的单元，使代码更容易理解和维护。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值