利用 Databend 生态构建现代数据湖工作流

软件工程导论实践:从需求到架构的机票预订系统全流程解析 本文深入解析机票预订系统从需求分析到架构设计的全流程实践,涵盖业务流程、功能建模、模块化设计、性能优化等关键环节。通过实际项目经验,分享软件工程导论在复杂系统开发中的应用技巧,包括数据流图绘制、E-R图设计、微服务架构及高并发处理等实战策略,助力开发者构建高效可靠的机票预订系统。 阅读详情

数据是洞察力的基石,越来越多的企业开始建设以数据资产为中心的存储和分析一体化方案,这要求 Data Infra 架构能够提供可扩展、灵活且统一的数据工作流。现代数据湖架构同时兼顾数据湖的可扩展性和数据仓库的性能,满足对大规模数据处理的需求,并应对数据的复杂性挑战。本文将介绍如何围绕 Databend 生态系统构建现代数据湖,并且提供可一个简单的示例,展示如何结合 Apache DolphinScheduler 和 DataX 等工具,构建一个高效、可靠的现代数据湖工作流。

基于 Databend 的现代数据湖架构概述

现代数据湖的典型特征之一是能够灵活和高效地利用云上的基础设施,并且使用对象存储作为数据的存储方案。作为一款云原生、湖仓一体的数据管理系统,Databend 基于对象存储进行设计,存算分离的架构进一步匹配云上计算资源灵活调度的模式,现代 MPP 架构和充分的优化能够充分释放算力。

开放数据格式(如 Parquet、ORC)与表格式(如 Apache Iceberg 和 Delta Lake)的兴起,使得存储方案可以从原有存储方案自然迁移到对象存储上,并且可以进一步构建包括 Time Travel 和数据分支等在传统数仓中鲜有实现的高级特性。Databend 充分利用开源开放的数据生态,除了支持多种结构化和半结构化数据格式之外,还允许用户以 Catalog 和 表引擎形式挂载多种数据源,丰富的数据处理技术栈,使得围绕 Databend 构建的现代数据湖可以从容应对数据量和复杂性挑战。

接下来我们尝试从一个分层模型上观察围绕 Databend 生态所构建的现代数据湖架构:

  • 数据消费层:包含用于数据可视化和商业分析的工具,如 FineBI 和 DataEase 等。此外,这一层也会包含需要访问数据湖结果的应用程序和机器学习工作负载。

  • 数据处理层:Databend 提供湖仓一体,可以弹性扩缩容的高性能计算集群,满足数据转换和查询分析的复杂需求,够高效处理大规模数据查询和分析任务。Databend 是一种关系型数据管理系统,同时兼具向量支持和处理能力,也能为上层的 MLOps 工具和生成式 AI 提供支持。此外,Databend 还支持丰富的 UDFs 能力,用户可以根据业务实际场景构建解决方案。

  • 数据访问层:尽管对象存储是现代数据湖的主要存储服务,但是实际的存储架构可能更加复杂,这是由于现代数据湖需要兼顾不同来源和历史的数据。

    • Apache OpenDAL 提供了统一的数据访问层,使得可以在同一个模型下管理位于对象存储、HDFS 、文件系统和互联网上的数据集。
    • 由于开放表格式技术在现代数据湖架构中的广泛应用,这一层还需要包含用于挂载到处理层的一些数据服务。Databend 现已支持 Apache Hive、Apache Iceberg 和 Delta Lake ,能够有效地访问位于不同数据湖中的数据。
  • 数据摄取和任务调度层:包含用于管理和调度各种数据处理任务的工具,并为数据的摄入提供支持。

    • Apache DolphinScheduler 是一个分布式和可扩展的开源工作流协调平台,提供可视化的 DAG 工作流管理和调度数据任务,能够在不影响工作流模板的情况下,支持工作流实例的修改、回滚和重新运行。
    • DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
    • 借助 Flink CDC,可以实时捕获并同步源数据库的变更数据。
  • 数据源:尽管数据源并不属于现代数据湖架构的一部分,但支持复杂多样的结构化和半结构化数据已经是现代数据湖必须具备的能力。

此外,考虑到现代数据湖架构对监控和告警系统的需要,可以结合 Grafana 和 Prometheus,对整个数据湖资源进行实时监控和告警,比如查询响应时间、并发连接数、慢查询日志等。

实践经验与 最佳实践

数据摄取与处理

  1. 增量更新与全量更新结合: 对于数据量较大的表,采用增量更新策略可以显著减少数据处理时间。只有在必要时才进行全量更新。
  2. 数据质量监控: 建立数据质量监控机制,及时发现并处理数据异常。可以使用 Apache DolphinScheduler 定期运行数据校验任务,确保数据的一致性和完整性。

性能优化

  1. 集群配置调整:根据实际业务需求动态调整 Databend 集群资源配置,以平衡性能和成本。也可以结合 Databend Cloud 实现实时混合云架构,进一步提高资源调度能力。
  2. 缓存:利用 Databend 的多层缓存机制,减少重复查询对系统性能的影响。
  3. 聚类 键和聚合索引:通过精心设计聚类键,并引入聚合索引,可以有效提高查询性能。
  4. 定期进行 Compact 和 Recluster:优化存储空间的使用,提升查询效率。这些操作会重组数据,从而减少碎片化,提升整体性能。

安全与合规

  1. 访问控制:充分利用 Databend 的所有权机制,为不同角色和用户配置细粒度的访问控制策略,确保只有经过授权的用户才能访问敏感数据。
  2. 存储加密:利用 Databend 的存储加密能力,可以有效保护数据的机密性和完整性。
  3. 日志审计:启用日志审计功能,记录所有数据访问和操作日志,以便追踪和分析潜在的安全事件。

监控与告警

  1. 系统监控:实时监控整个数据湖的运行状态,包括 CPU、内存、磁盘 I/O 等关键指标。Databend 也提供基于 Grafana 和 Prometheus 的监控方案。
  2. 告警设置:配置合理的告警规则,当系统出现异常时,及时通知运维人员进行处理。
  3. 性能分析:通过 Databend 内置的性能剖析能力和第三方性能分析工具,定期分析系统瓶颈,进一步保障数据湖平稳运行。

Workshop: 使用 Databend 和 Apache DolphinScheduler 构建现代数据湖 工作流

在接下来的 Workshop 中,我们将会提供一个简单的示例,帮助你了解如何结合 Databend、Apache DolphinScheduler 和 DataX 构建一个简单的现代数据湖工作流,实现 MySQL 到 Databend 的异构数据库合并。

准备数据并建表

首先在 MySQL 中创建相关的表结构和数据。

MySQL> create database db;
MySQL> create table db.tb01(id int, d double, t TIMESTAMP,  col1 varchar(10));
MySQL> insert into db.tb01 values(1, 3.1,now(), 'test1'), (1, 4.1,now(), 'test2'), (1, 4.1,now(), 'test2');

在 Databend 中建立对应的表结构。(将 MySQL 的 db.tb01 数据迁移至 Databend 的 migrate_db.tb01)

databend> create database migrate_db;
databend> create table migrate_db.tb01(id int null, d double null, t TIMESTAMP null,  col1 varchar(10) null);

准备 DataX

根据文档准备 DataX 可执行环境,这里使用预先编译好的二进制进行。

也可以按照下面的方式自行编译,编译好的 DataX 将位于 {DataX_source_code_home}/target/datax/datax/ 目录下。

git clone git@github.com:alibaba/DataX.git
cd DataX
mvn -U clean package assembly:assembly -Dmaven.test.skip=true

启动 dolphinscheduler

启动之前先设置 Datax 依赖的环境变量:

export DATAX_HOME=/your/path/to/datax
export PYTHON_HOME=/your/path/to/python3

参考文档启动 DolphinScheduler Standalone 快速开发模式,前后端均启动成功后访问 http://localhost:12345/dolphinscheduler/ui 即可登录系统 UI。默认的用户名和密码是 admin/dolphinscheduler123 。

创建 数据源

点击 源中心->创建源 创建 MySQL 和 Databend 两个数据源

MySQL

Databend

创建任务

  • 点击项目管理 -> 项目名称 -> 工作流定义,点击“创建工作流”按钮,进入 DAG 编辑页面;
  • 拖动数据集成工具栏的
  • 任务节点到画板中。

填写 Datax 任务模板

选择 自定义模板,

将下面的 json 配置填入:

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "MySQLreader",
          "parameter": {
            "username": "root",
            "password": "password",
            "column": [
              "id", "d", "t", "col1"
            ],
            "connection": [
              {
                "jdbcUrl": [
                  "jdbc:MySQL://127.0.0.1:3306/db"
                ],
                "driver": "com.MySQL.cj.jdbc.Driver",
                "table": [
                  "tb01"
                ]
              }
            ]
          }
        },
        "writer": {
          "name": "databendwriter",
          "parameter": {
            "username": "root",
            "password": "",
            "column": [
              "id", "d", "t", "col1"
            ],
            "batchSize":1000000,
            "batchByteSize": 1000000000,
            "preSql": [
            ],
            "postSql": [
            ],
            "connection": [
              {
                "jdbcUrl": "jdbc:databend://127.0.0.1:8000/migrate_db",
                "table": [
                  "tb01"
                ]
              }
            ]
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 10,
        "byte": -1,
        "record": -1,
        "batchSize": 1000000
      }
    }
  }
}

任务上线

点击 工作流定义 -> 上线。

任务执行

执行 Datax 任务之前先检查一下目标表的情况:

点击 运行 DataX 任务开始执行,数据开始从 MySQL 导入 Databend。

任务开始后可以到 任务实例 中查看任务运行情况和相应的日志:

可以看到运行一段时间后,数据已经从 MySQL 同步到 Databend,数据可以进行进一步查询分析或者供上层工作负载消费。

控制工作流

在 工作流实例 中可以编辑、暂停、重跑工作流。

总结

利用 Databend 及其生态系统可以构建可扩展、灵活和统一的现代数据湖,结合 Apache DolphinScheduler 和 DataX 等工具,可以实施高效、可靠的现代数据湖工作流。这种架构不仅提高了数据处理的效率,还增强了系统的稳定性和可监控性,为企业提供强大的数据洞见与决策支持能力。

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

👨‍💻‍ Databend Cloud:Databend Cloud - 开源云数据仓库替代方案 | Databend Platform

📖 Databend 文档:Databend

💻 Wechat:Databend

✨ GitHub:GitHub - datafuselabs/databend: 𝗗𝗮𝘁𝗮, 𝗔𝗻𝗮𝗹𝘆𝘁𝗶𝗰𝘀 & 𝗔𝗜. Modern alternative to Snowflake. Cost-effective and simple for massive-scale analytics. https://databend.com

OV9734 DATASHEET,完整规格书 OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等 立即下载

相关推荐

保姆级教程:用Smaart7和你的USB声卡搞定现场音响系统调试(附频谱与延时测试避坑指南)

本文提供Smaart7与USB声卡协同工作的现场音响系统调试指南,涵盖硬件连接、频谱分析、延时校准等关键步骤。通过详细的操作流程和常见问题解决方案,帮助音响工程师快速掌握专业测量技术,确保演出音质达到最佳状态。

weixin_29290259的博客 427

数据安全之路:Databend 用户策略指南

通过合理配置网络策略、密码策略和数据脱敏策略,Databend 提供了强大的数据安全保护机制,确保用户的数据得到妥善保护,并提高了系统的安全性和可靠性。

Databend的博客 1087

GD32F470 DSP库移植避坑指南:从CMSIS版本冲突到AC6工程配置

本文详细解析了在GD32F470平台上移植CMSIS-DSP库的完整流程与关键避坑点。针对CMSIS版本冲突、AC6编译器下的浮点ABI配置、DSP库源文件添加等核心难题,提供了经过验证的解决方案,帮助开发者高效完成移植,确保硬件FPU正常工作并优化性能。

data3的博客 533

数据所在,计算随行:Databend 的 2023 年度总结

2023 年是 Databend 为用户和客户全面交付 Data Cloud 数据云平台的一年,真正实现了「数据所在,计算随行」的理念,即将计算力带至数据之处,致力于为用户交付更澎湃的算力。Databend 自 2021 年开始研发,「三年之期已到」,,Databend 会交出怎样的一份答卷呢?让我们一起看看吧。

Databend的博客 966

GEE|基于时间序列特征的山东省玉米随机森林分类代码

主题思路: 本实验为二分类实验,分类目标包括:玉米、其他(建筑、水体、水稻、 裸地、森林、小麦、道路、大蒜等),采用人工设计的特征指数的时间序列特征为分类依据,选取分类器为:随机森林分类器,并选取样本集中 70%作为训练样本,30%作为测试样本,通过调整随机森林棵数,调整分类器结构。选取以下参数进行分类: ⚫ 时间尺度:1990 年 4 月 15 日 - 1990 年 9 月 30 日 ⚫ 空间尺度:山东省 ⚫ 影像融合时间间隔:16天 ⚫ 特征值选择:['nir','ndvi'...

weixin_46493028的博客 7470

C语言面试,8道一定会遇到的----关于指针的笔试题详解

C语言面试,8道一定会遇到的----关于指针的笔试题详解

m0_55322924的博客 463

从 Icelake 到 Iceberg Rust

本文作者丁皓是Databend 研发工程师,也是开源项目 OpenDAL 作者,主要研究领域包括存储、自动化与开源。

Databend的博客 1170

24. SAP UI5 应用如何使用 OData 数据模型

本教程之前的二十三个步骤,使用的数据模型都是 JSON 模型。从本步骤开始,我们要学习另一种非常重要的数据模型:OData 数据模型。 OData 数据模型也是 SAP 产品里广泛使用的数据模型,比如 SAP S/4HANA,SAP CRM Fiori 应用等等,都使用的是 OData 数据模型而不是 JSON 数据模型。 使用 OData 数据模型的典型场景就是,通过 OData 模型提供的 Read API,将远端服务器上存储的数据通过 OData 协议读取到客户端,并显示在 SAP UI5 应用里。.

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 5802

001:一个快速、可嵌入、模块化的分析查询引擎

通过插件开发,我们能够极大地释放Typora的潜力,使其从一个优秀的Markdown编辑器进化为一个高度定制化的“写作操作系统”。回顾核心要点:从环境搭建、API学习到实战开发与性能优化。未来可能性:AI辅助写作集成、云同步插件、多人在线协作编辑等。行动号召:鼓励读者从一个小需求开始,动手开发自己的第一个Typora插件,共同丰富Markdown写作的工具生态。

343

推理引擎终极对决:TensorRT vs ONNX Runtime,YOLOv8速度差30%的核心原因与实操指南

若你使用NVIDIA GPU,且追求极致速度和低延迟,TensorRT是唯一选择,尤其是边缘设备和实时场景;若你需要跨硬件部署、快速验证原型,或预算有限(无需NVIDIA GPU),ONNX Runtime是性价比之王;对于YOLOv8这类检测模型,TensorRT的FP16/INT8量化是“免费的速度提升”,建议优先采用。最后提醒:推理引擎的优化是“细节决定成败”——同样的引擎,不同的预处理方式、显存配置、批大小,都会导致10%-20%的性能差异。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1029

搞定最强大模型Gemini学生订阅,白嫖一年,包教包会

白嫖现在最强大模型

BUG猿的博客 2万+

突破 2048×2048 限制:开源豆包无水印下载插件深度解析

本文剖析了当前主流开源工具如何绕过豆包AI生成图片的水印限制,通过API逆向解析、网络请求劫持与页面元素重叠等技术,实现2048×2048高清无水印原图一键下载。重点推荐doubao-nomark等活跃项目,强调其支持图片视频批量下载、本地部署安全可控。同时提醒用户:工具依赖平台接口稳定性,存在失效风险,且仅限个人使用,商业用途需授权。建议优先自托管以保障隐私安全。

下载资源或查看教程前,请务必阅读置顶的《免责声明》 445

YOLO模型部署RK3588多核NPU并行加速完整教程:基于线程池的高性能AI推理实现

本教程详细介绍了如何在RK3588平台上实现多核NPU并行加速的AI推理方案。RK3588搭载3个独立NPU核心,总算力达6TOPS,支持单核、双核和三核三种工作模式。文章深入解析了NPU硬件架构特点,包括核心独立处理能力、内存带宽分配及多核心协作机制,并提供了C++代码示例展示核心负载均衡、任务调度和内存优化策略。通过线程池技术可以有效利用多核NPU并行计算能力,显著提升AI推理性能,特别适合高并发场景。教程还包含内存子系统的瓶颈分析和性能预估方法,为开发者提供完整的优化思路。

LXY_LOVE36的博客 798

python开源好项目

优先看 cszmzh/taobao-data-analyze:它的 SpringBoot + Vue 架构与你最契合,可以帮你快速理解如何将 Python 的分析结果嵌入到你熟悉的全栈体系中。值得一看的点:它的 advisor.py 模块实现了具体的调价规则,比如“竞品价 < 本店售价 × 0.90 时建议降价”,你可以直接参考或修改这些业务逻辑。分析内容:使用百万级的淘宝用户行为数据集,进行 AARRR 模型分析、RFM 分析以及各个环节转化流失分析,正好对应了你提到的“看看用户在哪个环节流失了”。

在技术领域里形成深刻,全面的认识,知道来龙去脉,深入浅出的讲到实用点。 337

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

GitHub 开源趋势日报 | 2026-11-08

每日精选 GitHub Trending 热门项目,聚焦 AI 与大模型、Agent 智能体领域,带你用一篇文章看懂开源风向。

weixin_45631123的博客 477

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

优雅草2026年10个开源鸿蒙工业软件项目五详解:鸿蒙星闪旋转设备振动监测节点

本项目聚焦旋转设备振动监测“最后一米”难题,基于开源鸿蒙与星闪技术,打造低功耗无线振动节点。采用ADXL355高精度传感器,5分钟周期采集3.2kHz原始波形,通过星闪上传至网关,由网关侧完成FFT分析、特征提取与基线对比,实现故障早期预警。打样目标包括16位采样、≥2周续航、丢包率可测,交付2个磁吸/螺栓节点及网关分析固件。未来将拓展至“振动+电流”双维监测,推动工业预测性维护在水运、排污等场景的低成本普及。

一颗优雅草科技-央千澈的优快云博客~只想无穷无尽的学习~作息早8-晚8 215

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

开源AI桌面助手哪个好?5类项目的能力、许可证与部署选型

从开源范围、产品定位、任务执行、模型接入、部署方式与许可证六个维度做一次横向梳理如果你正在寻找一款开源 AI 桌面助手,可能已经在 GitHub 上看到过不少项目。有些项目能够连接多个大模型,有些能够读取本地文件、执行命令,还有些可以调用浏览器、操作电脑,甚至让多个智能体协同完成工作。但这些项目并不完全属于同一类产品。例如,有的只是一个多模型聊天客户端,有的是能够直接执行任务的 AI Agent,还有的属于本地部署的 AI 管理平台。

sykdjs的博客 268

openEuler 汇聚开源力量,深化系统级创新,构筑 Agentic Infra 坚实底座

11月14日,openEuler Summit 2026(以下简称“大会”)在北京中关村国际创新中心圆满落幕。大会由开放原子开源欧拉(OpenAtom openEuler,简称“开源欧拉”或“openEuler”)社区协同产业伙伴共同主办,集中展示openEuler在超节点与Agentic Infra领域的技术创新、社区建设和生态合作,吸引社区开发者、企业代表和学术界专家共同参与。

GZZN2019的博客 173

52万 Star 的“列表的目录”:sindresorhus/awesome 如何用一套治理规则,成为全球开源资源的信任锚点

awesome 是 Sindre Sorhus 维护的开源索引项目,无一行可运行代码,却以超 52 万 Star 长居 GitHub 第二。它作为“列表的目录”,通过严格治理(30 天考察期、awesome-lint 校验、CC0 许可、贡献者评审机制)筛选高质量资源清单,成为开发者寻找优质技术资源的可信入口。虽不保证内容实时性,但其“筛选即认证”的模式重塑了信息获取方式,推动形成整个 Awesome 生态规范。

下载资源或查看教程前,请务必阅读置顶的《免责声明》 458

Windows 本地部署 Nexent 全流程实录:3 个坑的成因与解法,50 分钟跑通 13 个容器

最近,华为把零代码智能体平台 Nexent 开源到了 AtomGit 上,归在魔擎社区(ModelEngine)名下。它的口号是"一个提示词,无限种可能",在工作台用自然语言描述需求,平台直接产出可运行的智能体,不用画流程图,也不用写代码。看到这个定位,我决定在自己的 Windows 机器上完整跑一遍部署。

鸽芷咕的博客 1万+

让 Electron、Windows 桌面应用也能直接调用 uniCloud:unicloud-sdk 开源发布

摘要(148字): 为解决 Electron、Vue/React 项目及 Node.js 环境无法直接调用 uniCloud 的问题,开发者开源了 @yungot/unicloud-sdk。该 SDK 支持云对象、云函数、存储与登录态管理,兼容 Windows 桌面应用,通过设备身份签名与宿主桥机制保障安全,实现与 uni-app 一致的调用体验。已通过真实项目验证,支持 TypeScript、零依赖,适用于非 uni-app 场景的 uniCloud 接入。

IT开发 260

开源虚拟机与桌面虚拟化工具离线镜像合集

本集合汇总等开源虚拟机与桌面虚拟化相关离线包。不重分发 Oracle VirtualBox 专有二进制(PUEL),侧重 FOSS 生态与文档说明包。

242

关于优雅草科技十大开源工业软件实验验证与中试报备的流程说明

优雅草科技将于2026年11月发布10款基于鸿蒙+星闪+海思的国产工业开源软件,计划12月至1月完成样机打样与实验室验证。项目涉及高精仪器测试,需依托成都五家实验室分阶段开展结构打样、产线模拟及专项测试(如视觉同步、EMC干扰、配电柜环境等)。完成后,将向“工业软件中试验证平台(成都)”提交材料,进行中试报备与产品上架,推动软件从“能用”迈向“好用”。

一颗优雅草科技-央千澈的优快云博客~只想无穷无尽的学习~作息早8-晚8 199

【字节拥抱开源】Cola2:用连续隐变量重构语言模型,346B Token 跑出 60.10 八任务均分

Cola2 是一款基于连续隐变量的自适应语言模型,通过动态语义压缩与块因果扩散 Transformer(DiT)实现高效生成。它在346.03B token上训练,八项评测平均得分60.10,性能超越部分更大规模模型。其核心创新在于联合优化隐变量压缩与离散解码,支持受控扩展与稳定推理。项目提供完整权重、工具链及评测数据,适用于研究与应用。

weixin_41446370的博客 351

友好型开源模型SSM+Transformer 混合架构:Jamba 把 256K 长上下文塞进显存

**Jamba** 是 AI21 Labs 的 `Jamba` 混合 SSM-Transformer 开源大模型,原生 256K、Apache-2.0;本文讲清架构与部署,同档对标 Llama 5 / Qwen3.6。

雨1986的博客 356

qData 数据中台开源版 v1.6.6 发布:ETL 模块轻量化升级,优化定时任务磁盘占用问题

qData 数据中台开源版 v1.6.6 针对周期性数据集成任务的运维痛点,实现两项关键优化:一是拆分工具组件与 ETL 执行模块,减轻 JAR 包体积,提升部署与维护效率;二是修复定时任务中 ETL JAR 包持续累积问题,有效降低服务器磁盘占用。两项改进聚焦执行模块结构与运行过程管理,助力企业数据平台稳定、高效运行。

qiantongkeji的博客 283
上一篇: Databend 开源周报第 154 期
下一篇: Databend 开源周报第 155 期
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值