LinkTime_Cloud的博客

嗨，大家好，智领云科技全新栏目【硅谷速递】重磅来袭，每周一为大家速递美国硅谷最精彩的科技文章和学习资料，简约不简单是本栏目的最大特点，3篇短小精悍的文章，助你每周快速精准Get一项最新技术点！把握技术风向标，了解行业应用与实践，就交给“硅谷速递”吧～速递先知本期我们特别为大家带来三篇有关「DataOps」的硅谷前沿技术文章： 关于DataOps的十个常见问题 DataOps的5个常见错误 关于2020年的“Ops”- DevOps、DevSecOps、DataOps .

消息中间件系统（比如 RabbitMQ、Kafka、Pulsar 等）是现代实时数据或者流数据基础架构的关键环节。它通常作为一个数据管道，链接了各种业务前台和数据后台（比如数仓等）。但是随着越来越多的企业应用开始采纳流计算作为数据的计算引擎，以及基础架构的容器化、云化和无服务器化，这些消息系统也随之发生变化，逐步向流数据平台演进。在这篇文章中，笔者根据自己在这个领域从业多年的经验，详细解读消息系统的演化历史，不同消息系统在基础设施变革的浪潮中面临的挑战，以及他们相应的优势和劣势，并对消息系统怎么跟已有的计算

随着网络世界的迅猛发展，“游戏”进入了前所未有的蓬勃发展期。根据Newzoo数据显示，2019年全球游戏市场规模约为1521亿美元，2015-2019年复合增长率达到13.4%，预计2020年全球游戏市场规模将进一步增加到1960亿美元。与此同时，游戏行业竞争日益激烈，游戏的种类与内容也越来越丰富多样化，要想在激烈的竞争中持续扩容并非易事。仅仅在“数据”层面上就面临着不少难题，例如，重复性工作与资源的浪费，不同游戏开发团队对数据与系统的重复开发，使得开发出一款新游戏时间周期过长；数据孤岛造成业务沟通壁.

随着互联网公司的崛起，“中台”一词逐渐进入大众视线，从一众互联网巨头接连开始组织架构调整，意图建设中台，就可以看出如火如荼的中台建设浪潮已经来袭。简单来说，中台就是企业级能力复用、共享平台。其中，数据中台是近年来大数据行业极为火热的一项建设思路，展望2020年，走过元年的数据中台，其应用已慢慢向传统领域渗透。数据中台的能力与定义在迈向数字化道路的进程中，各行各业都寄望于利用新的产品、技术与方法论，直面数字化带来的挑战从而掌握时代的机遇，在探索数据中台赋能传统行业发展之前，我们首先来看看究竟...

Hi 大家好，我是一家初创公司中打了“鸡血” 的市场总监Michael我の烦恼正是关于市场人的故事和我一同出场是……个性迥异但实力超强的三位同事初次见面，请多关照啦（自信害羞ing市场人的烦恼可不少我们的爆笑故事即将开启看Michael如何披荆斩棘爆笑迎接市场的诱惑与挑战~扫描二维码，关注公众号下一期，我们不见不散哦～...

2016年“新零售”概念提出即被引爆，如今看来依然让人热血沸腾，因为这三个字，极有可能影响未来十年、二十年的商业格局。在新零售概念下，大数据技术可以在任何时间和地点无形地收集和沉淀客户的主要行为数据，直接掌握客户需求并直观地显示给商家。新零售，归根结底是对传统零售的重塑变革，“新”表现在从信息化到数字化的转变。具体而言，“信息化”是我们将结果记录在数据上，以便更好的存储和调用；“数字化”则是记录交易流程中每个动作，并将所有重要动作放在系统中，也就是说每个动作都是由数字来记录的。但是，企业由“信息化”走向

点击“蓝字”关注我们 文 | hudi来源|ApacheHudi1. 引言从确保准确预计到达时间到预测最佳交通路线，在Uber平台上提供安全、无缝的运输和交付体验需要可靠、高性能...

本文来源| 至顶网文|邹大斌在一个有一定规模的企业中，通常都会存在各种各样的应用系统，它们分别由企业的各个不同部门、在各种不同历史时期、为满足各种不同业务目的而开发。由于数据格式没有统一规范，相互之间没有联通、数据更没有整合，像一个个烟囱，因此称其为“烟囱式应用”。在大数据应用兴起的今天，随着企业对数据价值的高度重视，烟囱式应用带来了数据整合难题，给数据的分析和挖掘带来了不小的困难，已经成为当代不少企业在大数据应用乃至智能化升级路上的一个拦路虎。有问题总要找到解决办法，诞生于互联网公司...

本文来源| 优快云文| 刘丹以大数据、云计算、人工智能等新技术所推动的数字化转型正迅速的改变着我们所处的时代，其巨大的影响力已经从量变到质变。数字化运营已经成为企业发展的必然选择，而云原生技术与数据中台正是实现数字化运营所必须的创新技术与方法论。大部分企业在数字化转型的过程中，付出了不少的努力与时间，但因为对云原生与数据中台技术方法论了解匮乏，加之没有好的平台与体系来深入了解而走不少弯路。选择正确的方向，助力开发者与企业少走弯路，解决其在发展过程中面临的种种难题与挑战，10月26日举办的“...

本文来源| 优快云文| 刘丹如果有人要问2019年技术圈什么最热，“中台”绝对当仁不让，从观望到试水，很多公司做出了从0到 1 的探索。众所周知，“中台”一词在国内最早是由阿里提出来的，2015 年，马云参观芬兰游戏公司Supercell，观察其每个游戏开发的小团队只有六七个人，但开发与停止的速度之快，让马云即惊讶又好奇。得知如此快的原因是开发者将游戏开发过程中用到的一些通用的游戏素材和算法整理出来，作为工具提供给小团队使用，使得同一套工具可以支持多个游戏研发团队。这样的架构模式给了马...

DataOps的定义数据资产和数据产品的访问需求在与日俱增，想在市场中获得竞争力，DataOps是一门必不可少的学科。数据（和管理）团队和他们的平台无法跟上装备了DevOps的团队对他们提需求的节奏，这种状态推动了（数据团队的）DataOps发展。简而言之，DataOps将数据科学家、分析师、开发人员和运营人员凝聚在一起，共同致力于从设计阶段到生产支持的整个产品/服务生命周期。DataOps VS DevOpsDataOps并不仅仅是遵循DevOps原理并将其应用于数...

2015年12月，阿里宣布启动中台战略，打造“大中台、小前台”的组织机制和业务机制。从烟囱式架构到分布式架构，再到共享式架构，阿里取得了巨大成功，也带动了「中台」建设的热潮。如今，企业数字化转型已经成为一种趋势，特别是产业互联网时代的到来，越来越多的企业将「数字」视为核心资产，并开始探索「数据中台」的建设。然而，「数据中台」不同于一般的「大数据平台」，想要真正建设好「数据中台」，并发挥出数据的真正价值，是一项持久的工程，需要合适的方法论指导。如何理解「数据中台」的核心价值，并让...

让这些数据可操作，需要进行数据提取、转换、解析和编排，从而在传统商业智能、机器学习、模型训练、可视化和报表等场景中广泛应用。尽管在Uber迅速发展的初期，上线了广覆盖面的数据工作流系统，用户须针对每种用例选择几种工具叠加使用。尽管此大型工具箱可实现敏捷且响应迅速的增长，但事实证明，它难以管理和维护，需要工程师在应对不同项目时，学习重复数据工作流系统。因此，Uber需要一个可以创建、管理、调度和部署数据工作流的中央工具。利用Uber之前部署的各种工具，包括基于Airflow的平台，Uber的技术开始开发与

Marquez是一款开源的元数据服务，用于数据生态系统元数据的收集、汇总及可视化。它维护着数据集的消费和生产，为作业运行时和数据集访问频率提供全局可见性，提供集中的数据集生命周期管理等。WeWork发布并开源了Marquez。Marquez的特征： 集中式元数据管理支持： 数据血缘（Data Lineage） 数据治理（Data governance） 数据健康检查（Data health）数据发现+探索（Data...

根据2019年的数据管理状况显示，数据治理是2019年全球组织机构的前5大战略计划之一。由于机器学习和人工智能（AI）等技术趋势依赖于数据质量，并且随着全球数字化转型进程的推进，技术趋势可能不会很快改变。因此，我们希望提高对数据治理的认识，以帮助那些关心数据质量的人更多地了解数据治理如何影响当今的商业环境、利益相关者及公司目标。我们开始着手在网上提供有关数据治理的最全面的免费资源；这也正是发表这篇文章的初衷。数据治理是什么？谷歌搜索“数据治理”，五秒内，你会淹没在解释中。当然，你..

在数据Show的这期节目中，记者采访了Stitch Fix的软件工程师Neelesh Salian，该公司结合了机器学习和人类专业知识进行了个性化购物的研究探索。随着公司将机器学习集成到其产品和系统中，关键基础技术开始发挥作用。这并不意外，因为当前的机器学习和AI技术需要大量数据，尤其是用于训练模型的标记数据。同时还基于包括：安全性，隐私性，可靠性等因素的考虑，也鼓励着各大公司投资一整套数据技术。在与数据工程师、数据科学家和AI研究人员的对话中发现，他们需要一套能帮助他们跟踪数据血缘和数据溯源的解决方案

智领云联合创始人&CTO，前EA（艺电）大数据平台高级工程经理宋文欣博士再度直播开讲，为观众深度剖析了数据中台的技术架构。数据中台的定义在介绍数据中台技术架构之前，宋文欣博士表示，在谈到设计数据中台建设需要的体系架构时，首先需要明确企业对数据中台的需求以及数据中台的定义。宋文欣认为，数据中台在一个企业的不同层面会有不同的需求。从业务部门来看，数据中台应该能够高效地进行数据的采集和存储，提供一系列的工具，让业务部门可以很方便地去开发数据流水线、进行流式或者实时的数据处理，并把数据看..

在鼎鼎大名的Twitter和Ask，分别担任过大数据平台主任工程师和分布式系统及大数据工程总监的彭锋，可以说一路亲历了那些巨头企业如何通过数据驱动一步步领先。尤其看到亲自主抓的数据项目取得的成就，彭锋一次又一次地感叹——“见识了数据的威力”！智领云CEO、联合创始人 彭锋彼时，大洋彼岸的马云首次提出了“数据中台”概念。他说，既然人们把数据比作“石油”，那阿里就要搭建扮演“发电厂”角色的数...

本文来源| AI前线文| 田晓旭导读：“中台”在国内企业中非常流行，大家都很好奇硅谷也有“中台”吗？如果有的话，硅谷是如何建设中台的？与国内企业的中台建设有何区别？...... 本文以智领云创始人&CEO彭锋博士的采访为主要内容，相信能够解答上述的疑问。当中台在国内风靡一时，人们也渐渐开始有这样的疑问，“硅谷有没有中台？”当然，在硅谷肯定没有“中台”这一词汇，但其实...