从零开始掌握dbt-core：构建现代数据栈的可靠转换层

关注

VIP免费原创最新推荐文章于 2026-09-17 10:00:00 发布 456 阅读 AI 写同款· GEO 优化 ›

pb日期数据窗口显示英文日期 pb日期数据窗口显示英文日期如何把2022年4月5日显示成5-APR-22？如下图红框框下的显示：本来想写个全局函数的太麻烦了，其实只要显示属性设置下就可以了。设置如下： >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>& 阅读详情

1. 为什么是 dbt？一个数据工程师的视角转变

如果你和我一样，在数据仓库里摸爬滚打了好几年，那你一定经历过这样的场景：凌晨两点，被电话叫醒，原因是某个核心报表的数据对不上。你睡眼惺忪地打开终端，连上数据库，开始在一堆名为 transform_final_v2.sql 、 transform_final_v3_fixed.sql 的文件里，试图理清业务逻辑和数据流向。更头疼的是，你根本不敢轻易修改这些 SQL，因为你不知道下游有多少张表、多少个看板依赖着它。这种“黑盒”式的、文档缺失的、测试靠人肉的 SQL 代码库，是很多数据团队的常态，也是数据质量事故的温床。

dbt（Data Build Tool）的出现，正是为了解决这个核心痛点。它不是一个全新的数据库，也不是一个可视化 ETL 工具。你可以把它理解为一个专为数据分析师和数据工程师设计的“SQL 编译器”和“项目管理框架”。它的核心思想是： 将软件工程的最佳实践引入到数据转换（Tranformation）这个环节 。简单说，dbt 让你能用写软件的方式去写 SQL，从而获得版本控制、模块化、测试、文档化和依赖管理的能力。我最初接触 dbt-core（dbt 的开源核心版本）时，感觉像是给杂乱无章的 SQL 脚本世界，带来了一整套严谨的“交通规则”和“施工标准”。

为什么现在要学 dbt？因为现代数据栈（Modern Data Stack）的理念已经深入人心，其核心之一就是“ELT”而非“ETL”。数据先被快速、原始地加载（Extract & Load）到云数据仓库（如 Snowflake, BigQuery, Redshift）中，然后在仓库内部进行转换（Transform）。dbt 正是这个“T”环节的绝对标准。掌握了 dbt，你就能以更高效、更可靠的方式，在数据仓库中构建清晰、可信的数据模型，告别“脚本炼狱”。这篇教程，我将带你从零开始，手把手搭建一个 dbt-core 的本地开发环境，并完成你的第一个数据模型项目，让你亲身体会这种工作流带来的变革。

2. 环境准备：不仅仅是安装一个包

在真正运行 pip install dbt-core 之前，我们需要先理清 dbt 的运行环境。dbt-core 是一个 Python 包，但它更像一个“指挥官”，它需要连接到一个实际的数据平台（适配器）去执行 SQL。因此，环境准备分为两部分：Python 环境和数据平台连接。

2.1 Python 环境与虚拟隔离

强烈建议使用虚拟环境来管理 dbt 的依赖。这能避免与你系统上其他 Python 项目的包版本冲突。我习惯用 venv ，简单直接。

# 1. 创建项目目录并进入
mkdir my_first_dbt_project && cd my_first_dbt_project

# 2. 创建 Python 虚拟环境
python -m venv dbt_venv

# 3. 激活虚拟环境
# 在 macOS/Linux 上：
source dbt_venv/bin/activate
# 在 Windows 上：
# dbt_venv\Scripts\activate

# 激活后，命令行提示符前通常会显示 (dbt_venv)

接下来安装 dbt-core。但请注意， dbt-core 本身不包含任何适配器。你必须根据你要连接的数据仓库，安装对应的适配器包。例如：

dbt-snowflake 用于 Snowflake
dbt-bigquery 用于 Google BigQuery
dbt-redshift 用于 Amazon Redshift
dbt-postgres 用于 PostgreSQL

为了教程的通用性，我们选择 dbt-postgres ，因为它可以本地部署，无需云账户。如果你本地没有 PostgreSQL，强烈建议使用 Docker 快速启动一个。

# 安装 dbt-core 及 PostgreSQL 适配器
pip install dbt-core dbt-postgres

安装完成后，运行 dbt --version 检查是否成功。你会看到 dbt-core 的版本号，以及已安装的适配器列表。

2.2 目标数据平台配置：profiles.yml 详解

这是 dbt 配置中最关键的一步，也是最容易出错的地方。dbt 通过一个名为 profiles.yml 的配置文件来管理所有数据仓库的连接信息。这个文件默认位于 ~/.dbt/ 目录下（Windows 在 C:\Users\<用户名>\.dbt\ ）。

让我们手动创建这个文件和目录：

mkdir -p ~/.dbt
touch ~/.dbt/profiles.yml

用文本编辑器打开 profiles.yml 。它的结构是这样的：

my_first_dbt_project: # 这是 profile 名称，通常与项目名一致
  target: dev # 默认使用的环境（target）
  outputs:
    dev: # 环境名称，如 dev（开发）、prod（生产）
      type: postgres # 适配器类型
      host: localhost # 数据库主机
      user: your_username # 数据库用户名
      pass: your_password # 数据库密码
      port: 5432 # 数据库端口
      dbname: your_database # 数据库名称
      schema: dbt_tutorial # 模式（Schema），dbt 将在此模式下创建表/视图
      threads: 4 # 同时运行模型的最大线程数

关键点与避坑指南：

type 字段 ：必须与你安装的适配器包名后半部分严格对应（如 postgres , snowflake ）。写错会导致连接失败。
schema 字段 ：这非常重要。在 dbt 中， schema 类似于一个项目的工作空间或命名空间。所有由 dbt 生成的表、视图都会创建在这个 schema 下。建议为每个项目或环境使用独立的 schema，如 dbt_<project_name>_dev 。
密码安全 ：直接将密码明文写在配置文件中有安全风险。对于生产环境，dbt 支持使用环境变量。例如，可以将 pass: “{ { env_var(‘DBT_PASSWORD’) }}” ，然后在运行前设置环境变量。
多环境配置 ：你可以在