下秒数据CEO蔡致暖：云原生时代数据管道的迭代之路

已于 2022-08-17 10:11:22 修改
阅读量1.4k 收藏 4
点赞数 1
文章标签： 数据仓库 数据库 大数据 人工智能 编程语言
于 2022-08-16 18:44:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_46700908/article/details/126377361
版权
本文由下秒数据CEO蔡致暖介绍数据管道从1.0的ETL到3.0的连接器和API经济的演进历程。数据管道作为重要的数据基础设施，从ETL技术到ELT，再到数据连接器标准化，降低了数据集成的技术门槛，释放了数据价值。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

0dba164f63557e2b5eff3de9d87bd1cd.gif

嘉宾 | 蔡致暖   整理 | 嘉娃

出品 | 优快云云原生

在如今数据被称为新经济时代的石油的大背景下，数据管道是什么？处于什么位置？其技术和演进趋势又是怎么样的？

2022年7月12日，在优快云云原生系列在线峰会第13期“现代数据栈峰会”上，针对这些连续发问，下秒数据CEO蔡致暖对数据管道1.0至3.0的迭代过程及技术特点进行了详细介绍。

f463c776e9d07b0d7e00fdd4f340b25c.png

数据管道和ETL

数据管道是一种重要的数据基础设施，ETL管道是最常用的数据管道。

数据基础设施是底座，数据管道作为数据库及数据仓库的最佳拍档，也是一种重要的数据基础设施。

b275f4cde7daf896a75048bbca73852d.png

在了解数据管道具体是什么之前，首先要了解什么是ETL管道。ETL管道是从其源系统/数据库中提取数据，对数据进行转换，然后将其加载到数据仓库或数据库中，从中获取业务见解。

数据管道包含ETL管道，因为对于数据管道来说，数

最低0.47元/天 解锁文章
跳过数据准备，下秒数据让飞书&维格表数据应用更高效
Nexadata的博客
08-17 678
跳过数据准备，下秒数据让飞书&维格表数据应用更高效随着业务场景的多元化发展，消费者需求的个性化，海量数据暴增。数字化时代，传统的生产工具已经无法跟上时代的步伐，传统办公软件也无法满足企业的多元化需求，能够提升业务效率的软件产品成了企业数智化转型的首选。飞书和维格表是国内高效的OA办公系统代表，大部分企业都会在飞书、维格表上进行工作交流，他们几乎成为先进企业、追求高效协作企业的标配。作为新一代跨部门协作和项目管理工具，飞书、维格表实现信息快速同步与交流，帮助企业实现数字化管理。
下秒数据：湖仓一体带来的现代数据堆栈变革开始了
Nexadata的博客
08-09 383
正在上传…重新上传取消（本文转载自：AI前线 作者钰莹，已授权）Snowflake 上市时股价曾一度飙涨到每股 400 多美金，Databricks 在彭博社最近的报道中估值高达 380 亿美元，这两家企业让大家看到云原生与大数据领域的诸多可能，也让有关现代数据堆栈的讨论甚嚣尘上。随着云计算的兴起，人们工作方式的改变，大数据格局已经演变为云原生架构。本期，我们采访到了下秒数据联合创始人李元佳，共同探讨国内的现代数据堆栈体系建设。...
[SpringCloudDataFlow v2.3.0.RELEASE源码系列]-1-云原生的流和批处理数据处理管道简介
宋小生-中间件
06-26 471
Spring Cloud Data Flow是一个基于微服务的工具包，用于在 Cloud Foundry 和 Kubernetes 中构建流和批处理数据处理管道。数据处理管道由使用Spring Cloud Stream 或Spring Cloud Task微服务框架构建的 Spring Boot 应用程序组成。这使得 Spring Cloud Data Flow 成为一系列数据处理用例的理想选择，从导入/导出到事件流和预测分析。数据流有两个主要组成部分：访问数据流的主要入口点是通过数据流服务器的 RESTf
安利一个免费的ETL神器
数据分析
01-04 372
042024-01安利一个ETL神器然而悲伤的是世上没有后悔药，走了那么多弯路，掉了那么多头发才知道这个东西真的是好气啊！LEARN MORE图片由海艺AI绘制安利一个创业公司神器 经常会有朋友问我为什么对市面上的各种软件都略知一二。其实这是一个略微悲伤的故事，因为作为一个经历了很多次从零到一搭建数据体系的数据分析师，我的数据工作经常是从软件选型开始做起的。最近在各种搜罗效率办公神器的时候，被朋友...
轻松对接用友、金蝶ERP，让你的财务数据分析自动化
Nexadata的博客
10-20 1278
如用于多主题分析图表同时智能分析某类数据的高效联动；以用友标准解决方案为例，该解决方案的应用不仅可让系统自动对接用友ERP，自动整合数据源，同时用户还可根据自己的实际需求去在众多预设的分析模型中直接套用最合适的分析模板，轻松搭建起独属于自己的分析报表及可视化大屏。随着企业的发展变化，财务数据分析需求也在变化，但像金蝶、用友等主流ERP所能提供的报表却都有固定样式，没办法根据企业分析需求变化而灵活应对，因此很多时候企业真正想要分析的，想要深挖的财务数据信息都没办法从用友、金蝶ERP上及时直观地获取。
现代数据栈：高效开发数据，辅助企业决策
m0_46700908的博客
07-13 1997
现代数据栈最新技术和最佳实践有哪些？一起来多角度、全方位了解现代技术栈！
梵几 x TapData：如何高效落地实时数据中台，助力家居企业优化数字营销
Tapdata 技术博客
06-03 1002
面对业务拓展带来的数据需求，梵几家具采用分布式数据中心+数据中台的方案，并由 TapData Cloud 作为数据同步组件。本文将探索如何利用该方案实现高效的数据管理和业务运营，完善数字化能力，提升运营效率和客户体验。
【金猿人物展】天云数据雷涛：从数据湖到湖仓一体再到数据编织，完成的是燃油车到油电混再到纯电技术的改造...
数据猿
12-24 832
‍雷涛本文由天云数据CEO雷涛撰写并投递参与“数据猿年度金猿策划活动——2022大数据产业趋势人物榜单及奖项”评选。‍数据智能产业创新服务媒体——聚焦数智· 改变商业这一两年，北美以Facebook、谷歌为驱动的存算分离的虚拟数仓架构，正在非常快速的洗牌现代的数据融合市场。其大的背景驱动是市场正在经历从数字化转向信息互联网和产业互联网阶次性的台阶变化。在这种变化之下，其实背后的技术驱动还是非常清...
一文速览Llama 3及其微调：从如何把长度扩展到100万到如何微调Llama3 8B_llama3 微调 mysql 数据_llama3 代码很短
2401_85773359的博客
06-27 1091
4.19日凌晨正准备睡觉时，突然审稿项目组的文弱同学说：Meta发布Llama 3系列大语言模型了一查，还真是本文以大模型开发者的视角，基于Meta官方博客的介绍：Introducing Meta Llama 3: The most capable openly available LLM to date，帮你迅速梳理下LLama的关键特征，并对比上一个版本的LLama2，且本文后续，将更新用我司paper-review数据集微调llama3的训练过程。
如何快速打通CRM系统和ERP系统，实现业务流程自动化流转
Nexadata的博客
07-21 1571
基于客户的精准画像，我们可以对老客户做精准营销，同时对于潜客我们也可以做到有效的触达，从而降低客户营销成本，提升客户运营效果，帮助企业优化响应的布局思路。系统的从生产角度出发的供应链管理，倾重于生产，没有兼顾到销售，进行打破结合，将销售端与生产端进行结合，保证企业在生产中可以知道销售情况，帮助企业更好制定生产计划。系统从线索的管理、销售流程及运作，到组织的匹配，销售前端及交付后端，将整个组织和运营全部流程化、规范化，实现了系统的统一管控。进行所需数据的对接。中，后续再根据自己的需求进行建模，在建模环节，..
企业数据打通有什么好处？不同行业怎么解决数据打通难题？
Nexadata的博客
08-09 1123
来源于互联网、企业系统ERP、金蝶、Excel表格和物联网等信息系统，经过大数据治理系统的分析发掘，产生新的知识支撑企业决策和业务智能自动化运作。目前国内市场存在的多家厂商大体分为两个方向，。这里有个很大的误区，很多人认为面向政府、金融的数据治理产品可以替代面向企业的数据治理产品，这个错误由于数据治理行业的火热而被掩盖了。相对而言面向。...
数据集成API如何成为企业数字化转型的关键？
Nexadata的博客
08-09 335
企业数字化转型浪潮轰轰烈烈，被卷入其中的不只是 IT 技术行业，各行各业都裹挟其中。API管理平台是为开发、产品、测试人员提供接口管理服务，数据集成API可以帮助开发者更好地管理API接口，轻松实现创建、发布、维护API。为了完成企业的控制集成和业务流程集成，必须解决企业大数据和数据库的集成问题。在API数据集成之前，应该对数据进行标识并编成目录，另外还要确定元数据模型，保证数据在数据库系统中分布和共享。...
Facebook自动化数据分析方案，广告投放省心省力
Nexadata的博客
08-01 758
面对海量的订单数据、多渠道多广告主的投放运营，分散的用户信息，如何更精准的数据管理成了电商人最头疼的问题，越来越多的企业开始关注精细化数据运营。自动生成Facebook数据看板。投放情况监控预警，基于账户的原始数据及数据报表设置监控预警，如日报数据转化预警、账户余额预警、数据异常预警等，并自动定时推送到OA软件，如企业微信、钉钉，方便广告效果监测、及时优化处理。Facebook原生工具只能进行单一查询，下秒数据可以对某一产品进行分析，自动生成数据报告，将多广告效果分析投掷在同一界面，从而实现数据的对比。..
跳过数据准备，下秒数据让飞书&维格表
Nexadata的博客
08-18 917
随着业务场景的多元化发展，消费者需求的个性化，海量数据暴增。数字化时代，传统的生产工具已经无法跟上时代的步伐，传统办公软件也无法满足企业的多元化需求，能够提升业务效率的软件产品成了企业数智化转型的首选。飞书和维格表是国内高效的OA办公系统代表，大部分企业都会在飞书、维格表上进行工作交流，他们几乎成为先进企业、追求高效协作企业的标配。作为新一代跨部门协作和项目管理工具，飞书、维格表实现信息快速同步与交流，帮助企业实现数字化管理。...
闲聊Oracle Exadata与Hadoop
chang_ge的博客
08-23 4545
在文章开始前先作个声明，本人并非专业技术人员，充其量只能算IT从业人员和技术爱好者。本文也不是写给专业技术人员看的技术类文档，只是本人因为工作需要，在学习Oracle Exadata系统架构的过程中，自己的一些感触和体会，只是想分享给对Oracle Exadata和其他计算机技术感兴趣的人们，希望大家能一起探讨。因此本文在谈到技术细节问题时，一定漏洞百出，敬请专业人士指正。 　　Orac
数据分析生命周期概述
weixin_26739079的博客
10-12 2989
What comprises of Data Analytics Pipeline ? Confused with n-number of data channels ? Don’t worry !! This blog will try explain it with much ease and efficacy.数据分析管道包括什么？ 与n个数据通道混淆？ 不用担心！ 该博客将尝试轻松且有效地...
比较数据迁移后MySQL数据库和ClickHouse数据仓库中的表
weixin_30777913的博客
06-07 1128
设计一个MySQL数据库和Clickhouse数据仓库的表数据比较的详细程序流程，两张表是相同的结构，都有整型主键id字段，需要每次从数据库分批取得2000条数据，用于比较，比较操作的同时可以再取2000条数据，等上一次比较完成之后，开始比较，直到比较玩所有的数据。
实时数据仓库是什么？数据仓库设计怎么做？
Leo的博客
06-05 1328
实时数据仓库是一种能够实时捕获、处理和存储数据的系统，相比传统数据仓库具有更高的时效性。它在金融、电商、物联网和交通运输等行业应用广泛，如实时风控、个性化推荐、设备监控等。数据仓库设计包含需求分析、数据源分析、概念模型设计等7个关键步骤，需重点保证数据质量和性能优化。合理的实时数据仓库设计能为企业提供精准的决策支持，充分挖掘数据价值。
比较数据迁移后MySQL数据库和openGauss数据仓库中的表
最新发布
weixin_30777913的博客
06-09 657
设计一个MySQL数据库和openGauss数据仓库的表数据比较的详细程序流程，两张表是相同的结构，都有整型主键id字段，需要每次从数据库分批取得2000条数据，用于比较，比较操作的同时可以再取2000条数据，等上一次比较完成之后，开始比较，直到比较完所有的数据。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值