DataPipeline的博客

9月20日，吉利集团和DataPipeline公司共同宣布，DataPipeline协助吉利集团搭建的集团化实时数据采集同步平台正式投入使用。该项目的实施对于推动吉利集团实现企业数字化转型、数据规范化和集约化管理、增强其持久核心竞争力具有重要意义。1986年诞生的吉利集团，经过34年的发展，确立了其中国品牌汽车领袖的市场地位，进入全球汽车行业第一阵营。2019年，吉利集团旗下各品牌在全球累计销售汽车超217.8万辆，市占率从6.2%提升至6.5%，全年营收974亿元，净利润82.6亿元。在全球汽车市..

大家好，先自我介绍一下，我是王睿。之前在Facebook/Instagram担任AI技术负责人，现在DataPipeline任Head of AI，负责研发企业级业务异常检测产品，旨在帮助企业一站式解决业务自动化监控和异常检测问题。今天主要从以下四方面跟大家分享构建该产品的思路和实战。一、为什么需要人工智能业务异常检测系统企业会因为业务异常无法得到及时解决而遭受较大的损失，比如某知名互联网企...

此次发布的2.7版本在进一步优化产品底层数据处理逻辑的同时更加注重提升用户在数据融合任务的日常管理、运行监控及资源分配等管理方面的功能增强与优化，力求帮助大家更为直观、便捷、稳定地管理数据融合任务，提升系统的易用性与稳定性。一、新增功能1.在待处理列表中查看或配置重要任务、故障任务、待完善任务、性能关注任务功能背景：对于大多数数据工程师而言，每天需要配...

不知不觉中，大家已经陪伴DataPipeline走过了3年时间。在这期间，得益于客户们的积极反馈和沟通，我们总结了一些日常工作中比较常见的问题，并基于这些问题进行了总结。为避免突兀，我们会先从比较基础且通用的问题开始，进而陆续放出一些稍加复杂的问答，希望大家在接下来的日子里持续关注我们的更新~Q1: DataPipeline支持的读取方式A：DataPipeline在...

距离2020年还有不到一周的时间，在过去的一年里DataPipeline经历了几次产品迭代。就最新的2.6版本而言，你知道都有哪些使用场景吗？接下来将分为上下篇为大家一 一解读，希望这些场景中能出现你关心的那一款。场景一：应对生产数据结构的频繁变更场景1.场景说明在同步生产数据时，因为业务关系，源端经常会有删除表，增减字段情况。希望在该情况下任务可以继续同步。并且当源端增减...

导读：作为现代企业和组织机构的重要资源，信息是进行科学管理与决策分析的基础。ETL 则是把数据转换为信息、知识的关键步骤之一。在 AI 应用场景下，数据集成有哪些特点？随着 AI 应用场景越来越多，为什么我们需要从 ETL 转换到 ELT？又会遇到哪些问题和挑战？本周三，陈肃博士与我们分享了《从 ETL 到 ELT——AI 时代数据集成的问题与解决方案》，AI 前线将分享内容整理成文，方便...