从 S3 到 Databend Cloud:Airflow 数据入仓编排实践

不建云账号也能跑 AWS API?本地模拟器的能与不能 写了个调用云 API 的小程序,跑一次测试要么真开账号、要么把接口 mock 到失真。AWS Emulator 是跑在本机的 API 端点:把 CLI 或 SDK 指过去,请求不再发到云上,不需要账号,也没有额外服务费。本文拆清它的三种用法、适合与不适合的边界,以及从源码构建前要知道的成本。 阅读详情

导读:数据入仓看似只是“把文件导进表里”,真正上线后却会遇到调度、重试、去重、凭证管理和失败恢复等一连串工程问题。本文用一个最小可跑通的示例,演示如何用 Airflow 编排本地 CSV / NDJSON 文件,经 S3 暂存后导入 Databend Cloud,并进一步说明这条链路如何扩展成一套可重跑、低运维、面向云原生数仓的数据入仓实践。阅读时间约为 6 分钟。

为什么需要一条可重跑的数据入仓链路?

数据入仓听起来简单,真正做起来却很容易变成一串细碎问题:文件从哪里来、先落在哪里、什么时候导入、失败后如何重试、重复执行会不会产生脏数据、源文件是否还能回溯。

手工跑一次没有问题。但如果这条链路要每小时运行一次、持续运行一年,还要在失败后自动恢复,就需要一个可靠的调度系统,以及一个适合对象存储和云端分析的数仓底座。

这篇文章用一个最小可跑通的例子,演示如何用 Apache Airflow 编排整条链路,把本地文件经 AWS S3 暂存后,导入 Databend Cloud。这条链路的特点是:单一调度源、依赖明确、可重跑、便于扩展。

读完你会得到:

  • Airflow 与 Databend Cloud 在数据入仓链路中的职责划分;
  • 一个可以直接运行的 DAG 和启动脚本;
  • 从启动服务、配置连接、执行 DAG,到在 Databend Cloud 中查询数据的完整流程;

本文用到的全部代码,包括启动脚本、DAG、样例数据和依赖清单,都已经放在 GitHub 上:databendcloud/airflow-demo。下文会贴出关键片段并逐段讲解,想直接上手或查看完整文件,可以 clone 仓库运行。

Airflow 与 Databend Cloud 的职责分工

Apache Airflow:用代码定义工作流

Apache Airflow 是一个用 Python 定义、调度和监控工作流的开源编排平台,最早由 Airbnb 开源,现为 Apache 顶级项目,也是数据工程领域广泛采用的事实标准。

它的核心概念并不复杂:

  • DAG(有向无环图):一个工作流就是一张 DAG,用来描述有哪些任务,以及任务之间的依赖关系。
  • Task(任务):DAG 里的一个节点,是实际执行工作的最小单元。
  • Operator(算子):任务模板。比如执行 Python 函数的 PythonOperator,以及把本地文件上传到 S3 的 LocalFilesystemToS3Operator。
  • Scheduler(调度器):按照 DAG 的时间表触发任务,并根据依赖关系决定执行顺序。
  • Connection / Variable:Airflow 管理连接信息和配置的机制。Connection 适合存连接凭证,Variable 适合存桶名、表名、连接串等参数。

Airflow 的价值在于 workflow as code。依赖关系、调度周期、重试策略都写在 Python 里,可以版本化、审查和复用。任务失败后,Airflow 可以按策略自动重试,运行状态也能在 Web UI 中直接查看。

Databend Cloud:面向对象存储的云原生数仓

Databend 是一个用 Rust 编写的云原生数据仓库,采用存算分离架构。数据存放在对象存储上,计算资源通过 Warehouse 按需使用,存储和计算可以独立扩展、独立计费。

Databend Cloud 是 Databend 的全托管服务版本,适合希望减少运维成本、直接使用云端数仓能力的团队。

对这篇文章来说,最关键的是 Databend 的 COPY INTO 命令:

COPY INTO my_table
FROM 's3://my-bucket/path/to/file.ndjson'
CONNECTION = (
    ACCESS_KEY_ID = '...'
    SECRET_ACCESS_KEY = '...'
)
FILE_FORMAT = (TYPE = NDJSON);

COPY INTO 允许 Databend 直接从对象存储加载文件入表,支持 CSV、NDJSON、Parquet、ORC、Avro 等格式。它也默认具备文件去重能力:同一个文件已经导入过时,再次执行不会重复加载。这一点是本文链路“重跑安全”的基础。

这也符合 Databend Cloud 的典型使用方式:原始数据先落在 S3,Databend 直接从对象存储加载并查询,计算资源按需启动和扩展。对于日志、事件、NDJSON、Agent trace 等半结构化数据,后续还可以结合 VARIANT、全文检索、Stream / Task 做进一步清洗、检索和增量聚合。

整体架构:Airflow 编排,S3 暂存,Databend Cloud 入仓

本文的最小示例只有两步:

本地 CSV / NDJSON
      │
      │  Task 1: LocalFilesystemToS3Operator
      ▼
AWS S3 暂存层
      │
      │  Task 2: PythonOperator -> COPY INTO
      ▼
Databend Cloud

设计思路很直接:

  • Airflow 负责跨系统编排:什么时候上传、什么时候导入、失败后如何重试,都交给 Airflow。
  • S3 负责原始数据暂存:文件先落到对象存储,保留一份可回溯、可重导的原始数据。
  • Databend Cloud 负责高效入仓和查询:通过 COPY INTO 从 S3 拉取文件,完成批量导入,并利用对象存储原生架构承接后续分析。

在这个最小示例中,调度统一交给 Airflow,Databend 端不再额外启动 Task 去轮询 S3。这样做的好处是链路更容易理解,出了问题只需要先看 Airflow 一个地方。

进入生产环境后,也可以按照职责进一步拆分:Airflow 负责跨系统编排,Databend Stream / Task 负责库内增量清洗、聚合和物化结果。这样既保持调度边界清晰,也能利用 Databend 在库内处理上的能力。

为什么不让 Airflow 直接把数据一行行写进 Databend?
因为 Databend 的 COPY INTO 本身就是为对象存储上的批量导入设计的路径。对于文件型数据入仓,先落 S3 再由 Databend 拉取,通常比应用侧逐行写入更适合吞吐、回溯和重跑。

准备环境与样例数据

环境依赖

本示例使用 Python 3.11 虚拟环境(.venv/),依赖如下:

apache-airflow>=2.7.0
apache-airflow-providers-amazon>=8.0.0
databend-driver>=0.20.0

其中:

  • apache-airflow:工作流调度核心。本例使用 2.9.3,并通过官方 constraints 文件锁定依赖版本。
  • apache-airflow-providers-amazon:提供 AWS 相关 Operator,例如 LocalFilesystemToS3Operator。
  • databend-driver:Databend 官方 Python 驱动,DAG 中用它执行 COPY INTO。

安装命令(用官方 constraints 锁版本):

python3.11 -m venv .venv
source .venv/bin/activate

pip install "apache-airflow==2.9.3" \
  --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.9.3/constraints-3.11.txt"

pip install apache-airflow-providers-amazon databend-driver

准备样例数据

示例文件为 data/sample.ndjson,每行是一个 JSON 对象:

{"id": 1, "name": "alice", "amount": 10.5}
{"id": 2, "name": "bob", "amount": 20.0}
{"id": 3, "name": "carol", "amount": 33.3}

在 Databend Cloud 创建目标表

登录 Databend Cloud 控制台,在 Worksheet 中创建目标表:

CREATE TABLE IF NOT EXISTS airflow_demo (
    id     INT,
    name   VARCHAR,
    amount DOUBLE
);

如果你的真实数据是字段经常变化的日志或事件,也可以考虑使用 VARIANT 承接半结构化字段,再通过后续 SQL、虚拟列或增量任务做清洗和聚合。本文为了让示例足够直接,使用固定字段表结构。

启动 Airflow 本地调度环境

启动 Airflow 的脚本 start_airflow.sh 如下:

#!/usr/bin/env bash
# 启动 Airflow(standalone 模式,含 web UI + scheduler)。
# 首次启动会自动建 admin 账号,账号密码打印在终端日志里。
set -euo pipefail

cd "$(dirname "$0")"

export AIRFLOW_HOME="$(pwd)/airflow_home"
export AIRFLOW__CORE__DAGS_FOLDER="$(pwd)/dags"
export AIRFLOW__CORE__LOAD_EXAMPLES=False

# standalone 会 spawn 子进程,按名字 `airflow` 从 PATH 查找。
# 必须把 venv 的 bin 放到 PATH 最前,否则会命中 Homebrew 全局的旧 airflow,
# 触发 `ImportError: cannot import name 'escape' from 'jinja2'`。
export VIRTUAL_ENV="$(pwd)/.venv"
export PATH="$(pwd)/.venv/bin:$PATH"

exec .venv/bin/airflow standalone

几个关键点:

  • AIRFLOW_HOME 指向项目内的 airflow_home/,避免污染系统目录。
  • AIRFLOW__CORE__DAGS_FOLDER 指向 dags/,告诉 Airflow 从哪里加载 DAG。
  • AIRFLOW__CORE__LOAD_EXAMPLES=False 关闭官方示例 DAG,让 UI 更干净。
  • 将 .venv/bin 放到 PATH 最前面,确保 Airflow 子进程使用当前虚拟环境中的版本,而不是系统里可能存在的旧版本。

standalone 模式会一次性启动 Web Server、Scheduler 和 Triggerer,适合本地开发和演示。

启动:

./start_airflow.sh

首次启动时,Airflow 会自动创建 admin 账号,用户名和密码会打印在终端日志里,也会写入 airflow_home/standalone_admin_password.txt。

看到日志稳定后,打开 localhost,用 admin 账号登录即可。

DAG 代码详解

完整 DAG 位于 dags/csv_ndjson_to_databend.py。

顶部可调参数

LOCAL_FILE_PATH = "/Users/hanshanjie/databend/airflow/data/sample.ndjson"  # 待导入的本地文件
S3_KEY = "ingest/sample.ndjson"   # S3 暂存路径(桶内 key)
TARGET_TABLE = "airflow_demo"     # Databend 目标表
FILE_FORMAT = "NDJSON"            # 或 CSV

这些参数集中放在文件顶部,便于后续替换数据源、目标表或文件格式。

第二个任务:执行 COPY INTO

核心逻辑在 copy_into_databend 函数中:

def copy_into_databend(**context) -> None:
    """对 Databend Cloud 执行 COPY INTO,从 S3 拉取暂存文件入表。"""
    from databend_driver import BlockingDatabendClient

    dsn = Variable.get("databend_dsn")
    bucket = Variable.get("s3_bucket")
    aws_key = Variable.get("aws_access_key_id")
    aws_secret = Variable.get("aws_secret_access_key")

    if FILE_FORMAT.upper() == "CSV":
        file_format_clause = (
            "FILE_FORMAT = (TYPE = CSV SKIP_HEADER = 1 FIELD_DELIMITER = ',')"
        )
    else:
        file_format_clause = "FILE_FORMAT = (TYPE = NDJSON)"

    copy_sql = f"""
        COPY INTO {TARGET_TABLE}
        FROM 's3://{bucket}/{S3_KEY}'
        CONNECTION = (
            ACCESS_KEY_ID = '{aws_key}'
            SECRET_ACCESS_KEY = '{aws_secret}'
        )
        {file_format_clause}
        PURGE = FALSE
        ON_ERROR = ABORT
    """

    client = BlockingDatabendClient(dsn)
    conn = client.get_conn()
    rows = conn.exec(copy_sql)
    print(f"COPY INTO 完成,受影响行数返回:{rows}")

这里有几个值得注意的点:

  • 凭证和配置都从 Airflow Variable 中读取,不写死在代码里。
  • 根据 FILE_FORMAT 动态生成 FILE_FORMAT 子句,便于在 CSV 和 NDJSON 之间切换。
  • PURGE = FALSE 表示导入完成后不删除 S3 源文件,方便回溯、审计和重导。
  • ON_ERROR = ABORT 表示遇到坏数据立即中止,避免静默吞掉错误。
  • databend-driver 的 import 放在函数内部,可以避免 Airflow 在解析 DAG 时加载重依赖,减轻 Scheduler 负担。

组装 DAG

with DAG(
    dag_id="csv_ndjson_to_databend",
    schedule="@hourly",                       # 定时批量;按需改 cron
    start_date=pendulum.datetime(2024, 1, 1, tz="UTC"),
    catchup=False,
    max_active_runs=1,
    tags=["databend", "s3", "ingest"],
) as dag:

    upload_to_s3 = LocalFilesystemToS3Operator(
        task_id="upload_to_s3",
        filename=LOCAL_FILE_PATH,
        dest_key=S3_KEY,
        dest_bucket="{{ var.value.s3_bucket }}",
        aws_conn_id="aws_default",
        replace=True,
    )

    copy_task = PythonOperator(
        task_id="copy_into_databend",
        python_callable=copy_into_databend,
    )

    upload_to_s3 >> copy_task

几个配置决定了这条链路的运行方式:

  • schedule="@hourly":每小时运行一次,可以替换成任意 cron 表达式。
  • catchup=False:不补跑历史时间窗口,只从当前开始调度。
  • max_active_runs=1:同一时间只允许一个 DAG 实例运行,避免并发导入冲突。
  • dest_bucket="{{ var.value.s3_bucket }}":使用 Jinja 模板在运行时读取 Airflow Variable。
  • upload_to_s3 >> copy_task:明确依赖关系,只有上传成功后才会执行导入。

配置 Airflow 连接与变量

DAG 运行前,需要在 Airflow Web UI 中配置连接和变量。

Connection

进入 Admin -> Connections,创建:

  • aws_default —— S3 上传用的 AWS 凭证(Access Key / Secret Key)。LocalFilesystemToS3Operator 就靠它把本地文件传上 S3。

Variable

进入 Admin -> Variables,创建以下变量:

  • s3_bucket:暂存桶名,例如 my-ingest-bucket;
  • databend_dsn:Databend Cloud 连接串;
  • aws_access_key_id / aws_secret_access_key:演示版本中供 Databend 读取 S3 使用。

databend_dsn 可以从 Databend Cloud 控制台的 Connect 页面获取,格式类似:

databend://<user>:<password>@<host>:443/<database>?sslmode=enable&warehouse=<wh>

配置完成后,Variables 列表大致如下:

运行 DAG 并验证入仓结果

一切就绪后,在 Airflow UI 的 DAG 列表中找到 csv_ndjson_to_databend:

  1. 打开 DAG 右上角开关,让它进入可调度状态。
  2. 点击右侧的 Trigger DAG,手动触发一次。
  3. 进入 Grid / Graph 视图,确认 upload_to_s3 先成功,随后 copy_into_databend 成功。
  4. 打开 copy_into_databend 日志,查看 COPY INTO 完成 的输出。

回到 Databend Cloud Worksheet,查询目标表:

SELECT * FROM airflow_demo;

三行数据如期落表:

到这里,整条链路已经跑通:本地文件 → S3 暂存 → Databend Cloud 入表,全程由 Airflow 一手编排。

生产环境加固建议

这个示例为了演示,把凭证直接放进了 Variable、把 AWS key 拼进了 SQL。真正上生产前,建议做这几处加固:

  • 凭证别明文存 Variable。改用 Airflow 的 Secrets Backend(如 AWS Secrets Manager、HashiCorp Vault),凭证集中托管、自动轮转。
  • 别把 AWS key 拼进 COPY INTO 的 SQL。在 Databend Cloud 侧预先创建 CONNECTION 对象,DAG 里只引用连接名,凭证不出 Databend。
  • 用唯一的 S3 key。如果文件名固定、内容会被覆盖,要确认 COPY INTO 的去重行为符合预期。更稳妥的做法是每批数据用带时间戳的唯一 key(如 ingest/2026-06-29/sample.ndjson),既保证幂等,又留下清晰的数据血缘。
  • 加重试和告警。给 Task 配置 retries、retry_delay,再接上失败回调(邮件、Slack),让失败能被及时发现。

总结:从示例链路走向云原生入仓实践

这篇文章用一个最小例子串起了 Airflow、S3 和 Databend Cloud:

  • Airflow 负责调度、依赖、重试和可观测性;
  • S3 作为原始数据暂存层,保留可回溯的数据副本;
  • Databend Cloud 通过 COPY INTO 直接从对象存储加载数据,并提供后续 SQL 查询和分析能力。

这条链路的价值不只在于“把文件导入表里”,而在于给数据团队提供一个更云原生的数据入仓骨架:对象存储承接原始数据,Airflow 管理跨系统编排,Databend Cloud 负责低运维、高性能的入仓和分析。

从这个骨架出发,可以继续扩展到更真实的数据工程场景:日志分析、事件数据入仓、半结构化 JSON 处理、实时增量聚合,以及面向 AI / Agent workload 的 trace 数据分析。

对于希望降低传统云数仓运维和成本压力,同时保留对象存储开放性和数据可回溯性的团队来说,这是一条轻量、清晰、可演进的数据入仓路径。

完整启动脚本和 DAG 代码可参考 GitHub 仓库:databendcloud/airflow-demo。

用LangFuse+LangChain打造可观测的AI应用:从埋点到成本监控实战 本文详细介绍了如何将开源可观测性平台LangFuse深度集成到基于LangChain构建的AI应用中,特别是电商客服机器人场景。通过从基础SDK集成、提示词管理到成本监控的完整实战,帮助开发者实现对LLM应用内部工作流的清晰追踪、问题排查与费用分析,从而打造稳定、可控的生产级AI应用。 阅读详情

相关推荐

卡诺图化简法

目录 1.学前需要了解知识点 2.卡诺图(karnaugh map) 3.逻辑函数的卡诺图化简法 4.总结 1.学前需要了解知识点 最小项的定义 最小项的表示方法 最小项的相邻性 最小项的定义:一个函数的某个乘积项包含了函数的全部变量,其中每个变量都以原变量或反变量的形式出现,且仅出现一次,则这个乘积项称为该函数的一个标准积项,通常称为最小项。 最小项的表示方法:通常用来表...

hahasusu的专栏 17万+

虚幻引擎项目如何选型版本控制?基于AWS环境的Perforce P4与Lore基准测试与复现指南

【虚幻引擎版本控制最新基准测试报告出炉】近期,Epic推出了全新的Lore版本控制系统,与 Perforce P4 在虚幻引擎中的性能对比如何?Perforce P4 专业团队基于AWS云环境,对 Perforce P4 与 Lore 进行了深度性能测试对比,用真实数据给出答案!

weixin_49715102的博客 189

在 Dify 平台部署一个 知识库问答(KBQA) 工作流

加强检索约束,Prompt 加限制(“仅基于知识库回答”):启用缓存,使用轻量级 LLM(如 Mistral-7B)(OpenAI Embedding、M3E、BGE等)(支持 PDF/TXT/Markdown/Word)(GPU/CPU 资源,用于向量数据库和模型推理)企业内部文档(PDF/Word/Excel)网页爬取数据(Markdown/HTML)分块大小(太小→信息碎片化,太大→噪声多)相似度阈值(太高→漏检,太低→噪声多)(是否返回正确文档)结构化数据(数据库/API)

井底小蛙的博客 1522

AWS 月用量较大怎么谈折扣?询价前需要准备哪些资料

当 AWS 月度账单达到数千美元、数万美元,甚至更高时,继续使用完全按需价格,通常不是成本优化的终点。企业可以根据实际使用情况,向 AWS 客户经理、AWS 合作伙伴或云服务代理商咨询私有定价、承诺支出、Savings Plans、Reserved Instances 以及企业账户方案。。最终方案通常取决于服务构成、区域、使用稳定性、承诺周期、账户结构、历史账单和未来增长预测。准备充分的 AWS 询价资料,往往比单纯询问“能给多少折扣”更容易获得有效报价。

Zhang285732的博客 297

核回归(Kernel Regression)

本文讲解了核函数,并且实战通过核函数进行了预测,并附python代码

a2333333_的博客 6961

AutoSAR MemMap模块详解及使用注意事项

在本文中,我们将深入探讨MemMap模块的实例解析,并介绍在使用该模块时需要注意的一些事项。在上述代码中,我们使用了MEMMAP_START_SEC_VAR_32BIT和MEMMAP_START_SEC_CODE来定义MemMap区域的起始位置,使用MEMMAP_STOP_SEC_VAR_32BIT和MEMMAP_STOP_SEC_CODE来定义MemMap区域的结束位置。1.合理划分MemMap区域:根据实际需求,合理划分MemMap区域,将不同类型的变量放置在不同的区域中,以便于管理和访问。

weixin_50547796的博客 2534

Python 与云计算:AWS、GCP、Azure 实践

文章浏览阅读325次,点赞5次,收藏10次。``html。

2601_96798011的博客 151

【Matlab】飞行器气动弹性仿真与分析

气动弹性是飞行器设计领域的核心交叉学科,融合了空气动力学、结构动力学和控制理论,主要研究飞行器结构在气动力作用下的弹性变形、振动响应及相互耦合规律,直接影响飞行器的飞行稳定性、操纵性和结构安全性。随着飞行器向高速度、高机动性、轻量化方向发展,气动弹性问题愈发突出,如颤振、发散、嗡鸣等现象,严重时会导致飞行器结构破坏甚至飞行事故,因此气动弹性仿真与分析已成为飞行器设计、验证和优化的关键环节。当前,飞行器气动弹性仿真面临诸多技术挑战:气动力与结构变形的强耦合特性难以精准描述,易出现仿真误差;

unber的博客 240

SDD-07-Kiro深度体验AWS专门为SDD造的IDE香不香

Kiro是AWS推出的AI原生IDE,专为规格驱动开发(SDD)设计。它将需求、设计、任务三层次文档深度集成于编辑器中,实现“描述→生成→拆解→自检”闭环。核心亮点在于任务与验收标准自动关联、代码变更时提醒更新规格,有效防止文档腐化。虽受限于AWS生态与网络环境,且非万能解药,但其“强制结构化”理念极大降低了SDD门槛。对追求流程规范的团队而言,香;对已有工具链者,可借鉴其方法论。

Awna的博客 86

2026年软考高级网络规划设计师备考指南

在国家网络安全法律法规和政策的指导下,能够依据网络技术发展的趋势进行计算机网络领域的需求分析、规划设计、部署实施、评测、运行维护等工作。 在需求分析阶段,写出网络系统需求规格说明书;在规划设计阶段,完成逻辑结构设计、物理结构设计,选用适宜的网络设备,按照标准规范编写系统设计文档及项目开发计划;在部署实施阶段,组织项目施工,对项目实施过程进行质量控制、进度控制、成本管理,能具体指导项目实施;在评测运维阶段,能根据相关标准和规范对网络进行评估测试,能制定运行维护、故障分析与处理机制,确保网络提供正常服务;

鹿鸣天涯 1万+

Qt应用软件【协议篇】自定义协议处理串口半包贴包

Qt串口数据,半包,贴包,丢包数据处理

小鱼酱的博客 1216

Qwen4-Max 预览上线、美团开源 LongCat-2.5、AWS 让智能体写云模拟器|AI 新闻日报 11-12

第一,AI Coding 的竞争点从「生成质量」转到「谁能验证」。AWS 把自家云复刻成本地模拟器,动机是智能体跑测试循环太贵太慢;谷歌把判断拆成独立接口,动机是循环里的小决策不该走生成式调用。两者都在给智能体补同一样东西,可计量、可回滚的验证环节。第二,开源的重心继续往执行层移动。阿里开放的是 Harness 而不是模型,美团开放的是长程智能体的底座而不是聊天能力。这说明厂商判断价值正在从权重转向「模型如何被嵌进流程」,谁掌握接入、沙箱与工具治理,谁就掌握了替换成本。第三,模型发布的节奏出现密集重叠。

海盗Sharp的博客 510

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

设计与架构 · 01 sidecar 会消失吗:从 Istio ambient GA 到 AWS App Mesh 关停,一次服务网格数据面的重新洗牌

sidecar 不会消失。消失的是「每个 Pod 必须有一个代理」这个默认前提。把代理的成本从「随业务副本数线性放大」挪到「随基础设施规模摊薄」。对你的团队来说,真正要做的决策不是「用不用网格」,而是**「你的请求路径上要不要放一个代理,以及放几个」**。

yinghan2005的专栏 273

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

AWS亚马逊云代理商:Private Subnet无法联网?从NAT Gateway排查

AWS私有子网(Private Subnet)无法联网,通常因NAT Gateway配置不当所致。需确保:NAT Gateway部署在公有子网、已绑定弹性IP、路由表正确指向NAT Gateway,且安全组与网络ACL允许出站流量。排查时检查NAT状态、路由表、DNS解析及连接测试(如curl、nslookup)。私有EC2无需公网IP,通过NAT Gateway实现安全出站访问。跨可用区部署时建议多AZ冗余,注意成本控制。

yunlaodacom的博客 302

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

AWS 多账号账单怎么管理?企业集中代付与对账指南

AWS 多账号账单管理的重点,并不只是把付款集中到一个账户,而是要同时回答五个问题:谁付款、谁能看、费用归谁、怎么核对,以及出了异常由谁负责。如果账号属于同一个 Organization,通常可以通过整合账单实现集中付款;如果账号分属多个 Organization,则可以进一步评估 AWS Billing Transfer;如果还涉及内部成本回收或客户结算,就需要结合账单视图、Billing Conductor 以及企业自身的财务对账流程。

Zhang285732的博客 302

AWS CDK进阶使用及问题记录

AWS CDK:概述、入门、Java、进阶、问题、

lonelymanontheway的博客 353

GitHub 今日推荐|aws-emulator:AWS 官方 Rust 本地模拟器,测试无需真实账户

AWS 官方纯 Rust 实现的本地 API 模拟器,在开发机和 CI 环境提供 AWS 服务端点。

wfly blog 112

AWS 发布开源 AWS Emulator:本地模拟数百云服务

AWS 发布免费开源的 AWS Emulator,可在本地模拟数百项云服务,其代码完全由 AI 智能体编写,支持将 AWS CLI 或 SDK 调用重定向到本地进行离线验证。

老孙正经胡说 232

AWS账单快到期了怎么付款?

AWS账单快到期了,信用卡却一直扣款失败,或者临时发现银行卡余额不足、无法完成境外支付,这种情况对于正在使用AWS云服务器的用户来说确实比较麻烦。尤其是部署了独立站、海外APP或者企业业务的账号,一旦欠费问题没有及时处理,就可能影响后续的云服务使用。如果没有合适的国际信用卡,不少用户会考虑找AWS代理商代付账单。不过,。账号是否支持代付、欠费金额怎么计算、付款后多久能处理完成,都需要提前确认。下面我把AWS账单到期前的处理方法,以及找渠道代付时需要注意的问题整理了一下。

shjsjdmmd的博客 77

2027数据开发工程师校招准备:SQL、数据仓库、项目与证书怎么排优先级?

数据库系统工程师可作为数据库知识的学习方向,云平台认证适合技术栈明确的目标岗位,数据分析类认证则属于补充,不替代工程实践。截至2026年11月12日,2027届通常对应的2026年9—10月秋招集中阶段已经过去。尚未拿到满意录用结果的同学,应同步关注秋招后续批次、补录及2027年春招,具体以企业公告为准。

cspttty的博客 214

云原生运维实战:Docker 底层存储、Compose 编排与 Ceph 入门

Docker Compose 用来定义和运行一组关联容器,通过 YAML 描述服务、网络、存储。v1:Python 开发,已经停止维护;v2:Go 开发,集成进 docker CLI,命令。。services:定义容器服务;networks:容器网络;volumes:数据卷持久化;configs:配置文件。

Wzh5452830的博客 222

云原生项目三:Docker秒级启动NextCloud个人网盘存储办公系统

首先讲解一下我的环境,我没有新建虚拟机,做上一个项目的时候在ping通外网后我给拍摄快照了,所以我就直接恢复快照了,小朋友不要和我学习哦,尽量新建虚拟机or克隆一个node出来,保证环境的干净,不然端口容易冲突,配置文件也是容易改错,最后导致实验失败。这次依旧是openeuler 22.03的镜像,处理器1个2核的,4GB的内存,20GB的存储打开虚拟机后先检查是否ping通外网,然后依旧关闭selinux,firewalld,然后就可以开始接下来的操作了。

zfm242397396的博客 243

云原生运维学习笔记:Docker 存储驱动原理、Compose 编排与图形化管理实战

本文深入解析Docker存储驱动原理,重点剖析overlay2的分层机制与底层目录结构。通过构建含sshd服务的镜像,实操验证了写时复制(COW)特性及各层依赖关系。结合docker info与container ps -s命令,直观展示容器可写层极小占用。进一步通过清空数据后导入镜像,揭示diff、lower、merged等核心文件的作用,揭示多层叠加与联合挂载机制。最终实现从单容器到多容器编排的运维升级,为后续使用Docker Compose与图形化管理奠定基础。

2604_96593683的博客 476

云原生运维学习笔记:Docker 镜像定制、仓库管理与企业级底层技术剖析

本文系统梳理Docker镜像定制、仓库管理与底层技术。通过Dockerfile实现白盒化镜像构建,掌握RUN、CMD、ENTRYPOINT等核心指令及格式差异;基于私有仓库(Registry/Harbor)实现安全分发;深入剖析Namespace与Cgroups在资源隔离与限制中的作用,为生产环境排障与优化提供底层支撑。

2604_96593683的博客 415

〖物流云原生实战 03〗K8s 自定义调度器与物流资源亲和性:让 Pod 找到最懂它的那台机器

本文直击K8s原生调度器对物流底层物理资源“盲区”的痛点。针对快递系统中蓝牙网关直通、高频IOPS存储及跨境数据合规等特殊诉求,提出基于Scheduler Framework开发自定义插件。通过编写Filter过滤插件解决硬件设备分配上限,设计Score打分插件实现跨境地域合规校验与跨机架拓扑打散。文章强调采用“多调度器并存”模式,避免替换默认调度器引发灾难。结合降级策略与高可用部署,让Pod真正读懂业务逻辑,实现云原生架构向物流深水区的精细化管理与资源极致利用。

Eyf • 半字节的博客 272

云原生运维学习笔记:从操作系统底层到 Kubernetes 集群的深度实践

本文系统梳理从Ubuntu 24.04底层调优到Kubernetes高可用集群部署的全流程,涵盖内核参数配置、Netplan网络设置、containerd运行时优化及kubeadm自动化部署。重点解析K8s核心架构、CRI兼容性、镜像加速与常见排障技巧,强调生产环境标准化与安全性,适合作为云原生运维实战手册。

2604_96593683的博客 356
上一篇: 小 Bitmap,大优化:Databend 如何加速大规模集合聚合
下一篇: AST Visitor API 迁移,怎么证明 AI 没改坏 SQL 语义?
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值