Doris + Iceberg 冷热数据分层实战:如何用Flink实现自动归档(附完整配置)

Apache Doris 与 Apache Iceberg Apache Doris与Apache Iceberg的结合实现了"湖仓一体"架构,通过分层协作提供高效数据管理和高性能查询服务。Doris通过Multi-Catalog功能深度集成Iceberg,支持HMS、AWS Glue等多种模式,实现虚拟化查询与加速并存。该组合具备高性能查询、时间旅行、增量读取等核心能力,支持双向数据流动和灵活架构设计。典型工作流包括数据湖查询加速和流批一体实时分析,通过合理分区、小文件治理和物化视图策略优化性能。 阅读详情

Doris + Iceberg 冷热数据分层实战:如何用Flink实现自动归档(附完整配置)

最近和几个数据团队的朋友聊天,大家不约而同地提到了同一个痛点:数据量越来越大,查询性能却越来越慢,存储成本更是像坐了火箭一样往上窜。这让我想起了去年我们团队遇到的一个真实案例——一个用户行为分析平台,每天新增数据量超过10TB,最初把所有数据都放在Doris里,结果不到三个月,集群规模就翻了两倍,查询延迟也从毫秒级退化到了秒级。问题的核心就在于,我们试图用处理“热数据”的架构去承载所有的“冷数据”。

所谓热数据,就是那些最近产生、被频繁访问的数据,比如今天的实时订单、过去一小时的用户活跃度。而冷数据,则是历史数据,可能一周前、一个月前甚至更早,它们很少被查询,但出于合规、审计或趋势分析的需要,又必须长期保存。把冷热数据混在一起,就像把图书馆里最常借阅的新书和最古老的典籍堆在同一个书架上,不仅找书效率低,管理成本也高得吓人。

于是,我们开始探索冷热数据分层架构。经过几轮技术选型和POC测试,最终敲定了 Doris + Iceberg 的组合。Doris作为高性能的MPP分析型数据库,负责承载热数据,提供亚秒级的实时查询体验;而Iceberg作为开放的表格式,依托对象存储(如S3、OSS)来管理冷数据,实现极低的存储成本和强大的批量分析能力。这个架构听起来很美,但真正的挑战在于如何让数据在两者之间自动、平滑、可靠地流转。今天,我就来详细拆解我们是如何用Flink SQL为核心,构建这套自动化归档流水线的。

1. 架构设计与核心思想:为什么是Flink?

在决定用Flink实现自动归档之前,我们其实评估过好几种方案。比如,用Doris自带的BROKER LOAD配合定时脚本,或者用Spark Structured Streaming写一个批处理作业。但最终选择Flink,是基于以下几个关键考量:

  • 流批一体的天然优势:我们的归档任务本质上是定时触发的批处理(比如每天凌晨处理前一天的数据)。但未来可能会有近实时归档的需求(比如将1小时前的数据快速降级)。Flink的流批一体API让我们能用同一套代码逻辑应对这两种场景,架构上更统一,维护成本更低。
  • 精准的状态与时间管理:归档的核心逻辑是基于时间判断。Flink对事件时间(Event Time)和处理时间(Processing Time)的支持非常完善,可以轻松实现“将dt分区小于当前日期的数据从Doris迁移到Iceberg”这样的逻辑,并且能很好地处理延迟数据。
  • 完善的连接器生态:Flink官方社区对Doris和Iceberg的支持都越来越成熟。flink-connector-doris和flink-connector-iceberg这两个连接器稳定可靠,大大降低了集成开发的复杂度。
  • 与现有数据流无缝集成:很多公司的实时数据管道本身就是基于Flink构建的(从Kafka到Doris)。在同一个Flink集群或项目中增加一个归档作业,资源复用率高,技术栈统一,团队学习成本低。

我们的核心设计思想是 “声明式配置驱动” 。数据工程师只需要通过Flink SQL定义好源表(Doris)、目标表(Iceberg)和迁移逻辑(如WHERE dt < DATE_SUB(CURRENT_DATE, 1)),剩下的调度、执行、容错都交给Flink和调度系统(如DolphinScheduler, Airflow)去完成。整个流程对业务查询完全透明,应用层通过统一的视图(View)来访问数据,无需关心数据实际存储在Doris还是Iceberg。

提示:在设计之初,务必明确冷热数据的划分边界。例如,定义“热数据”为最近3天的数据,“温数据”为4-30天,“冷数据”为30天以上。这个边界直接决定了归档任务的WHERE条件,也影响着Doris集群的容量规划。

2. 环境准备与表结构设计

工欲善其事,必先利其器。在编写Flink SQL作业之前,我们需要确保环境和基础表已经就绪。

2.1 环境与依赖配置

首先,你需要一个运行中的Flink集群(我们使用的是Flink 1.16版本)。关键的依赖JAR包需要放入Flink的lib目录下:

# 假设你的FLINK_HOME是 /opt/flink
cp flink-connector-doris-1.16.0.jar /opt/flink/lib/
cp flink-connector-iceberg-1.16.0.jar /opt/flink/lib/
# Iceberg 还需要对应版本的运行时jar,例如针对Hadoop Catalog
cp iceberg-flink-runtime-1.16-1.3.0.jar /opt/flink/lib/

对于Iceberg,你需要事先配置好Catalog。我们使用的是Hive Catalog,这样可以通过Hive Metastore来统一管理Iceberg表的元数据,方便Spark、Trino等其他引擎访问。

-- 在Flink SQL Client中或通过代码初始化Iceberg Catalog
CREATE CATALOG iceberg_catalog WITH (
  'type'='iceberg',
  'catalog-type'='hive',
  'uri'='thrift://hive-metastore:9083',
  'warehouse'='s3a://my-data-warehouse/iceberg/'
);

2.2 Doris热数据表设计

在Doris中创建表时,就要为未来的归档做好准备。分区键的选择至关重要,它通常是时间字段,并且要和归档逻辑严格对齐。

-- 在Doris中创建用户行为日志热表
CREATE TABLE `doris_db`.`user_behavior_hot` (
    `dt` DATE NOT NULL COMMENT "数据日期,分区字段",
    `user_id` BIGINT NOT NULL COMMENT "用户ID",
    `event_time` DATETIME NOT NULL COMMENT "事件时间",
    `event_type` VARCHAR(50) COMMENT "事件类型",
    `page_id` BIGINT COMMENT "页面ID",
    `device` VARCHAR(100) COMMENT "设备信息",
    `province` VARCHAR(50) COMMENT "省份"
) ENGINE=OLAP
DUPLICATE KEY(`dt`, `user_id`, `event_time`) -- 根据查询模式选择聚合模型或明细模型
PARTITION BY RANGE(`dt`)() -- 先创建空分区,后续通过动态分区或程序添加
DISTRIBUTED BY HASH(`user_id`) BUCKETS 10
PROPERTIES (
    "replication_num" = "3",
    "storage_medium" = "SSD", -- 热数据使用SSD介质,追求性能
    "dynamic_partition.enable" = "true", -- 启用动态分区,自动管理分区
    "dynamic_partition.time_unit" = "DAY",
    "dynamic_partition.start" = "-3", -- 保留最近3天分区
    "dynamic_partition.end" = "3",
    "dynamic_partition.prefix" = "p"
);

这里有几个设计要点:

  1. 分区字段:使用dt(日期)作为分区字段,这是归档时筛选数据的主要依据。
  2. 动态分区:通过dynamic_partition属性,Doris会自动创建未来和删除过期的分区。上例中start为-3,意味着会自动保留最近3天的分区(热数据),更早的分区会被自动删除(注意:这里删除的是Doris内部的分区,数据在归档到Iceberg后才会被安全删除)。
  3. 存储介质:热数据表属性设置为SSD,确保查询性能。

2.3 Iceberg冷数据表设计

Iceberg表的设计要与Doris源表兼容,确保字段类型和语义一致。分区方式可以更灵活,例如按天、按月分区。

-- 在Flink SQL中使用前面创建的Catalog,创建Iceberg冷表
USE CATALOG iceberg_catalog;

CREATE TABLE `iceberg_db`.`user_behavior_cold` (
    `dt` DATE NOT NULL,
    `user_id` BIGINT NOT NULL,
    `event_time` TIMESTAMP(6) NOT NULL,
    `event_type` STRING,
    `page_id` BIGINT,
    `device` STRING,
    `province` STRING
) PARTITIONED BY (`dt`) -- 同样按dt分区,便于管理
WITH (
    'format-version' = '2',
    'write.upsert.enabled' = 'false' -- 归档作业通常是追加写入
);

Iceberg V2格式表支持行级更新删除,但对于历史冷数据归档场景,我们通常只需要追加写入,因此可以禁用upsert以提升写入性能。

3. Flink SQL归档任务核心实现

这是整个自动归档流程的核心。我们将创建一个Flink SQL作业,它作为一个常驻的批处理应用,由调度系统每日触发一次。

3.1 定义Doris源表与Iceberg目标表

在Flink SQL中,我们首先需要创建两个虚拟的“表”,分别映射到Doris的热数据表和Iceberg的冷数据表。

-- 在Flink SQL作业中定义Doris源表
CREATE TABLE `doris_source_table` (
    `dt` DATE,
    `user_id` BIGINT,
    `event_time` TIMESTAMP(6),
    `event_type` STRING,
    `page_id` BIGINT,
    `device` STRING,
    `province` STRING
) WITH (
    'connector' = 'doris',
    'fenodes' = 'doris-fe1:8030,doris-fe2:8030',
    'table.identifier' = 'doris_db.user_behavior_hot',
    'username' = 'flink_user',
    'password' = 'your_password',
    'sink.properties.strip_outer_array' = 'true' -- 读取时配置
);

-- 定义Iceberg目标表(如果已存在,则直接映射)
CREATE TABLE `iceberg_sink_table` (
    `dt` DATE,
    `user_id` BIGINT,
    `event_time` TIMESTAMP(6),
    `event_type` STRING,
    `page_id` BIGINT,
    `device` STRING,
    `province` STRING
) WITH (
    'connector' = 'iceberg',
    'catalog-name' = 'iceberg_catalog',
    'catalog-database' = 'iceberg_db',
    'catalog-table' = 'user_behavior_cold',
    'write.upsert.enabled' = 'false',
    'write.format.default' = 'parquet'
);

3.2 编写归档逻辑与调度策略

归档的核心SQL逻辑非常简单:从源表读取,过滤出需要归档的数据(冷数据),插入到目标表。

-- 核心归档SQL:将前一天(dt = 昨天)的数据从Doris迁移到Iceberg
INSERT INTO `iceberg_sink_table`
SELECT * FROM `doris_source_table`
WHERE `dt` = DATE_SUB(CURRENT_DATE, INTERVAL 1 DAY);

但是,一个健壮的生产级任务需要考虑更多:

  1. 幂等性与数据一致性:如何防止数据被重复归档?我们的策略是,每次归档任务只处理一个固定的、已完成的分区(如dt='2024-01-01')。一旦这个分区的数据成功写入Iceberg,我们就在外部元数据库(如MySQL)中记录一条状态。下次调度时,先检查状态,避免重复执行。Flink的精确一次(Exactly-Once)语义结合Iceberg的ACID特性,可以保证数据在迁移过程中不丢不重。
  2. 增量与全量结合:上述SQL是典型的增量归档。但如果遇到历史数据补录或架构迁移,可能需要一次性归档大量历史数据。这时可以写一个循环脚本,或者修改WHERE条件为dt < '某个日期'。务必注意,全量迁移会对Doris造成巨大查询压力,建议在业务低峰期进行,并控制批次大小。
  3. 错误处理与监控:任务失败后如何重试?我们通常将整个Flink SQL作业提交到YARN或K8s上运行,由调度器(如Airflow)捕获作业执行状态。如果失败,调度器可以根据策略(如重试3次)重新触发。同时,需要在作业中埋点,记录成功归档的数据条数、数据大小等信息,方便监控。

下面是一个更完整、带有简单监控指标的Flink SQL示例(假设使用SET语句定义时间变量):

-- 在调度脚本中,可以通过`-D`参数传入归档日期,例如 `-Dyesterday=2024-01-01`
-- SET execution.date = '${yesterday}';

INSERT INTO `iceberg_sink_table`
SELECT 
    *,
    -- 可以添加一些审计字段
    CURRENT_TIMESTAMP AS `archive_time`,
    '${hostname}' AS `archive_job`
FROM `doris_source_table`
WHERE `dt` = TO_DATE('${execution.date}');

4. 生产部署、优化与运维指南

将开发好的Flink SQL作业部署到生产环境,并确保其高效稳定运行,是最后也是最关键的一步。

4.1 任务调度与执行

我们推荐使用成熟的调度系统来管理Flink归档作业。以下是一个简化的Airflow DAG定义思路:

# 伪代码,展示Airflow DAG结构
from airflow import DAG
from airflow.providers.apache.flink.operators.flink_kubernetes import FlinkKubernetesOperator
from datetime import datetime, timedelta

default_args = {
    'owner': 'data_platform',
    'depends_on_past': False,
    'retries': 3,
    'retry_delay': timedelta(minutes=5),
}

with DAG('doris_to_iceberg_archive',
         default_args=default_args,
         schedule_interval='0 2 * * *',  # 每天凌晨2点执行
         start_date=datetime(2024, 1, 1),
         catchup=False) as dag:

    archive_task = FlinkKubernetesOperator(
        task_id='run_flink_archive_job',
        application_file='/path/to/your/flink-sql-job.yaml', # 包含SQL的Flink应用YAML
        kubernetes_conn_id='flink_k8s_conn',
        dag=dag,
    )

Flink应用YAML文件(flink-sql-job.yaml)中,需要打包好所有依赖,并指定主类和SQL文件路径。

4.2 性能调优与成本控制

归档作业的性能和成本直接影响整个数据平台的体验。

优化维度Doris侧优化建议Iceberg侧优化建议Flink作业优化建议
读取性能对dt分区字段建立索引或Rollup;增加fe节点连接数。不适用(作为Sink)。调整Flink并行度,匹配Doris表的分桶数;适当调大connector.doris.batch.size。
写入性能不适用(作为Source)。启用写入并行度;调整write.target-file-size-bytes(如512MB)控制文件大小。使用batch模式;开启Checkpoint但间隔不宜过短;合理设置Iceberg Sink的并行度。
稳定性监控Doris FE/BE负载,避免归档作业拖垮线上查询。定期执行expire_snapshots和rewrite_data_files来清理快照、合并小文件。设置合理的作业重启策略和故障容忍度;做好背压监控。
成本控制归档完成后,可手动或通过脚本删除Doris中已归档的分区,释放SSD空间。将Iceberg数据存储在S3标准-低频访问层或归档层;使用ZSTD等高压缩比编码。选择Spot实例运行Flink TaskManager以降低计算成本。

一个关键的运维操作:在确认数据成功归档到Iceberg并验证无误后,清理Doris中的历史分区。

-- 在Doris中,安全删除已归档的分区(例如删除 dt='2024-01-01' 的分区)
ALTER TABLE `doris_db`.`user_behavior_hot` DROP PARTITION `p20240101`;

注意:执行删除分区操作前,务必确保该分区的数据已在Iceberg中完整备份,并且业务方已切换查询链路。建议先重命名分区或设置为不可用,观察一段时间后再物理删除。

4.3 监控与告警体系

没有监控的线上任务就像在黑夜中航行。你需要建立全方位的监控:

  1. 作业状态监控:通过调度系统(Airflow)或Flink Web UI监控作业是否成功、运行时长是否异常。
  2. 数据质量监控:
    • 数量核对:对比Doris源表特定分区的COUNT(*)与写入Iceberg后的COUNT(*),确保数据条数一致。
    • 抽样核对:随机抽取若干条数据,对比两边关键字段的值是否一致。
    • 延迟监控:监控从数据产生到完成归档的总延迟,确保SLA。
  3. 资源与性能监控:监控Flink作业的CPU、内存使用率,Doris集群的查询QPS和延迟,以及Iceberg底层存储(如S3)的请求次数和流量,及时发现瓶颈。

5. 统一查询与数据治理

数据完成冷热分层后,对上层应用和数据分析师来说,最好能有一个统一的入口进行查询,无需感知底层存储的复杂性。

5.1 构建统一查询视图

在Presto/Trino中,可以轻松创建视图,将Doris的热数据和Iceberg的冷数据逻辑上合并成一张表。

-- 在Presto/Trino中创建全局视图
CREATE VIEW hive.analytics.user_behavior_all AS
SELECT * FROM doris.doris_db.user_behavior_hot -- 查询热数据
UNION ALL
SELECT * FROM iceberg.iceberg_db.user_behavior_cold; -- 查询冷数据

对于更复杂的场景,比如需要根据查询条件自动选择数据源,可以考虑使用视图+函数,或者借助像StarRocks(与Doris同源)的联邦查询功能,直接外部表的方式接入Iceberg。

5.2 数据生命周期管理延伸

Doris + Iceberg + Flink的自动化归档,是数据生命周期管理(DLM)的核心一环。在此基础上,还可以进一步延伸:

  • 更细粒度的分层:除了热(Doris)、冷(Iceberg on S3标准层),可以定义“冰数据”(Iceberg on S3归档层),对超过一年的数据使用成本更低的存储格式和存储层级。
  • 自动化策略引擎:将归档策略(如“数据产生7天后从Doris迁移到Iceberg”)配置化,通过策略引擎自动生成和执行Flink SQL作业,实现完全无人值守的数据流转。
  • 数据治理集成:将数据分层信息、存储位置、访问热度等元数据录入到数据治理平台(如Apache Atlas),形成完整的数据资产地图。

我们在实际运行这套架构大半年后,最深的体会是“自动化解放了生产力”。数据工程师从每日手动执行备份、清理脚本的繁琐工作中解脱出来,可以将更多精力投入到数据模型优化和业务价值挖掘上。同时,存储成本下降了近60%,而高频查询的性能因为Doris负载的降低反而有所提升。当然,过程中也踩过坑,比如初期没有做好归档前后的数据一致性校验,导致少量数据异常;还有一次因为Flink作业并行度设置过高,把Doris FE打挂了。这些问题都通过完善的监控和灰度发布机制逐步解决了。

技术架构没有银弹,Doris+Iceberg+Flink的组合非常适合那些对实时查询和长期数据存储成本都有较高要求的场景。如果你的数据也正在经历“成长的烦恼”,不妨从一个小型业务开始,尝试搭建这样一套自动化的冷热数据分层管道。

Doris + Iceberg 冷热数据分层实战:从零搭建企业级数据湖(附完整配置代码) 本文详细介绍了如何利用Doris和Iceberg构建企业级冷热数据分层架构,实现数据湖的高效管理。通过实战演示,从环境搭建、表设计到查询优化,提供完整配置代码和运维要点,帮助企业平衡实时查询性能与存储成本,显著提升数据处理效率。 阅读详情

相关推荐

数据湖成本优化新思路:用Doris和Iceberg实现冷热数据自动分层(含性能对比测试)

本文探讨了如何利用Doris和Iceberg实现数据湖的冷热数据自动分层,以优化存储成本并提升查询性能。通过详细的架构设计和性能对比测试,展示了分层方案在降低40-60%存储成本的同时,保持热数据毫秒级查询延迟的优势,为企业数据管理提供了高效解决方案。

weixin_29233333的博客 136

Doris-05-集成Spark、Flink、Datax,以及数据湖分析(JDBC、ODBC、ES、Hive、多源数据目录Catalog)

准备表和数据: Spark 读写 Doris Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存储的数据,也支持通过Spark写入数据到Doris。代码库地址:https://github.com/apache/incubator-doris-spark-connector创建 maven 工程,编写 pom.xml 文件: 使用 Spark Doris Connector Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存

迷雾总会解 3094

Lakehouse架构实战:云原生实时数仓与SQL化治理落地指南

Lakehouse作为融合数据湖弹性与数仓管理能力的新一代架构,其核心在于通过Delta Lake/Iceberg等开放表格式实现ACID事务、Schema演化与时间旅行,结合Flink/Trino/Spark等引擎协同完成批流一体计算。技术价值体现在显著降低数据错乱率、支持声明式SQL建模及自动血缘追踪,广泛应用于实时风控、电商GMV分析、用户行为洞察等高时效性场景。本文聚焦Lakehouse在云原生环境下的真实落地路径,涵盖S3存储优化、Flink实时建模、dbt SQL化治理、Delta元数据协同等关

chupu2979的博客 338

Doris整合Iceberg+Spark联邦查询实战

Doris整合Iceberg+Spark联邦查询实战

wangleigiser的博客 2448

FlinkCDC(三)同步mysql的binlog到doris

另外一种使用jdbc的方式,直接读取mysql的表结构信息,然后通过jdbc的方式连接doris创建表结构;1、在同步的时候,怎么实现在doris里面自动创建表结构。如果不是自动创建表结构,那么每次同步一个表都需要手动去创建表结构,这样的话会很累;使用jdbc的方式,直接读取mysql的表结构信息,然后通过jdbc的方式连接doris创建表结构;2、多个表或者整库同步的时候,怎么通过只连接一次,就可以监听多个表或者整库的数据变动;所以呢,这篇文章先解决第一个问题,如何自动同步表结构到doris;

jwandbj的博客 1894

Doris + Iceberg 构建冷热分层数据湖架构:架构设计与实战指南

组件优势Doris高并发、低延迟 OLAP 引擎,适合热数据实时查询Iceberg高度可扩展的表格式,支持 ACID、分区演进、批量存储优化,适合冷数据管理热数据(近1天)存于 Doris,支撑秒级查询、实时报表冷数据(1天+)存于 Iceberg,支持归档、批量分析两者统一接入 BI、Presto、Trino 等查询引擎Doris + Iceberg 的组合实现了:热数据高频访问,快速响应实时查询需求冷数据低成本归档,支持大规模批量分析数据生命周期管理清晰,查询层透明。

晴天彩虹雨的博客 1892

Flink + Doris 实时湖仓解决方案

本文整理自 SelectDB 技术副总裁、Apache Doris PMC Chair 陈明雨老师在 Flink Forward Asia 2024 行业解决方案(二) 专场中的分享。

Ververica的博客 2256

【信息科学与工程学】【数据科学】第一百二十二篇 大数据产品中的函数与算法01

它通常指。下面按照你给出的表格列💡 说明:下表中的"产品"以开源/主流商业组件为具象载体(Hadoop、Spark、Flink、Kafka、Hive、HBase、Iceberg、Atlas、Ranger、TensorFlow 等),它们共同构成一个完整的大数据产品家族;代码为实现示例,用于说明算法在工程系统中的落地方式。

weixin_49199313的博客 200

Doris+Flink搭建数据平台

Doris\flink\shell\python\canal\sql

qq_42422698的博客 3487

【信息科学与工程学】【数据科学】数据科学领域-第十一篇 数据集成算法01

​​降低维护成本​​:通过抽象通用流程(如),当需要修改故障注入逻辑(如更换混沌工具)时,只需修改一处代码,无需修改所有测试用例;​​提升扩展性​​:通过参数化故障场景(如),可快速生成新的故障用例(如针对新服务的延迟故障),适应系统迭代需求;​​增强场景真实性​​:通过组合混沌操作(如),模拟真实生产环境中的复杂故障链(如“网络延迟+服务宕机”),更准确地验证系统韧性;​​提高分析效率​​:通过自动化结果分析(如),快速获取MTTR、错误率等关键指标,减少人工分析时间。

weixin_49199313的博客 957

【信息科学与工程学】【数据中心】第二十四篇 数据中心DaaS场景及算法

Flink, Kafka Streams, 时序数据库。Flink, Kafka Streams, 流处理引擎。Presto, ClickHouse, 查询加速引擎。Presto, ClickHouse, 查询加速引擎。延迟<50ms,可用性>99.99%,QPS>10K。REST API, GraphQL, API网关。Tableau, Power BI, 自助BI。Tableau, Power BI, 可视化库。Spark, Hadoop, 分布式计算框架。Spark, Hadoop, 分布式计算。

weixin_49199313的博客 1089

Doris + Iceberg 冷热数据分层实战:如何用Flink实现自动归档(附完整配置代码)

本文详细介绍了如何利用Apache Flink作为自动化调度引擎,构建Doris与Iceberg的冷热数据分层架构。通过实战配置代码,演示了如何实现数据从Doris热存储到Iceberg数据湖的低成本自动归档,有效解决海量数据存储成本与实时查询性能的平衡难题。

q9w8e7r6t5的博客 450

【信息科学与工程学】计算机科学与自动化——第三百零四篇 高性能系统开发指南01

高并发:限流、熔断、降级高性能:红包拆分、多级缓存、大Key/热Key拆分、Pipeline、线程池、RocketMQ零丢失、幂等、分布式锁、集群缩容、分批入库海量数据处理:日志分表分片、跨表查询、冷热分层、大数据引擎服务器选型系统安全:网关安全、服务器安全、云存储安全、风控、监控、测试数据一致性:缓存与数据库一致性、大厂方案、蓝绿回滚、流量一致性、流程一致性项目与团队管理:流程问题、管理问题(风险、成本、人员、文档、培训)稳定性建设:上线三板斧、线上五步闭环、混沌工程、容量规划。

weixin_49199313的博客 252

Flink CDC数据归档策略:5个高效的冷热数据分离存储方案

Flink CDC作为Apache生态中的分布式实时数据集成工具,为大数据处理提供了强大的数据归档和冷热分离能力。本文将深入探讨5种高效的Flink CDC数据归档策略,帮助您实现最优的数据存储管理。 ## 📊 为什么需要冷热数据分离存储? 在现代大数据环境中,数据通常具有明显的访问热度差异。热数据是频繁访问的实时数据,需要高性能存储和快速响应;冷数据则是历史归档数据,访问频率较低但对存储成

gitblog_00160的博客 962

【信息科学与工程学】【数据中心】第三十五篇 云计算数据中心的学科知识04

编号学科(课程)核心知识点在云计算/云存储/云网络/云安全/云MaaS中的作用代表教材/资料/论文 + 数学方程式列表工业界应用D1421​云原生数据库:TiDB​HTAP(混合事务/分析处理)、分布式SQL、水平扩展、强一致(Raft)、自动故障恢复、与MySQL兼容、TiFlash列式引擎提供弹性扩展的分布式数据库;支撑高并发在线交易与实时分析教材:《TiDB in Action》PingCAP(2020) 论文:《TiDB: A Raft-based HTAP Database》(2017)

weixin_49199313的博客 417

AI训练师团队管理运营思路

工具运营AI训练师主要是支撑运营,协助算法和运营提高托管机器人的解决能力,以协助降低业务场景熔断与优化场景识别为核心运营目标,通过算法聚类、标注分析等方式,结合业务知识,提供精准、清晰的标注数据和解决方案,确保训练效果满足需求。过程中需要与算法、运营一块参与模型搭建和数据验收,并且负责核心指标和数据日常的跟踪维护。④针对知识库已有意图进行梳理和分析,反馈运营评估缺失或合并意图优化方向。③对语料数据进行挖掘、清洗,解除缠绕、冗余等问题导致的未识别。①线上case分析,及时发现识别问题导致的托管熔断问题。

qq_25438419的博客 1086

OneID 从 0 到 1 完整生产案例(一)

OneID从0到1完整生产案例(一)

姜穆澜的博客 634

LabVIEW vs Python:谁更适合你的ATE自动化测试系统?实测对比与选型建议

本文深入对比了LabVIEW和Python在ATE自动化测试系统中的性能表现、开发效率和应用场景,帮助工程师根据实时控制需求、数据处理复杂度及团队技能做出最优选型决策。通过实测数据和典型案例,分析两者在硬件集成、系统性能和维护成本等方面的差异,并提供混合架构实施建议。

weixin_29240711的博客 279

OLAP实战指南:从多维分析原理到生产级选型调优

OLAP(联机分析处理)是支撑实时BI、自助分析与决策看板的核心技术范式,其本质在于通过预聚合、列式存储和向量化执行,突破传统关系型数据库在多维即席查询场景下的性能瓶颈。它并非简单加速SQL,而是围绕‘亚秒级响应+任意维度组合+深度下钻’三大刚性需求构建的工程体系。关键技术如星型模型解决事实与维度的高效关联,MOLAP/ROLAP/HOLAP代表不同实时性与灵活性的权衡路径,而ClickHouse、StarRocks等现代OLAP引擎则以MPP架构与智能物化视图重新定义性能边界。本文聚焦银行风控、电商大促、

weixin_34218579的博客 578

深度探索:非线性随机森林(Nonlinear Random Forest,NL-RF)原理及应用

非线性随机森林(NL-RF)旨在通过结合集成方法与高级技术来捕捉和建模数据中的非线性关系,从而改善传统随机森林在处理复杂非线性数据结构时的表现。

qq_51320133的博客 2068

gnuradio+b210实现FM收音机

gnuradio+b210实现FM收音机环境介绍FM接收1 Flow Graph2 变量参数FM发射1 Flow Graph 环境介绍 Name Version gnuradio 3.7.14.0 uhd 3.15.0.0 ubuntu 18.04 usrp b210 参考 https://www.ijedr.org/papers/IJEDR1702038.pdf Audio File Transmission using GNURADIO and USRP FM接

u011745228的博客 5129

数据仓库是什么?用修车厂和菜市场讲清楚数仓、数据库与数据湖的区别

数据仓库是一种面向分析的集成化数据管理架构,其核心原理是通过主题建模、ETL流程与星型模型,将分散的业务操作数据转化为语义一致、即查即用的分析资产。相比OLTP数据库强调事务实时性,数据仓库专注查询性能与历史追溯;而数据湖则侧重原始数据的低成本存储与灵活探索。三者并非替代关系,而是分层协作:数据库管‘当下交易’,数据湖存‘所有原料’,数据仓库做‘精加工交付’。这种分工支撑了BI报表、用户行为分析、经营决策等典型应用场景。理解数据仓库,本质是理解如何构建组织级的数据契约——统一指标定义、来源与计算逻辑。

weixin_33691817的博客 382

Python爬虫-爬取汽车之家各品牌周销量榜数据,进行数据分析

本文是该专栏的第57篇,后面会持续分享python爬虫干货知识。本文中,笔者已经整理20篇汽车平台相关的爬虫项目案例。对此感兴趣的同学,可以直接翻阅查看。同样,笔者在本文中将继续以汽车之家平台为例子。基于Python爬虫,实现批量爬取“各品牌周销量榜单”的数据。废话不多说,具体实现思路和详细逻辑,笔者将在正文结合完整代码进行详细介绍。接下来,跟着笔者直接往下看正文详细内容。(附带完整代码)

Python进阶专栏《爬虫实战进阶》,《Pyppeteer从入门到精通》原创作者 366
上一篇: OpenStack入门指南:从零开始掌握云计算平台
下一篇: Python实战:用PyUSB搞定FPGA与PC的USB2.0通信(附完整代码)
人间清醒863
博客等级 码龄3年 33粉丝 1544原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值