数据库一席谈:打造开源的数据生态,支撑产业数字化浪潮

大数据大纲&大数据生态圈所涉及的技术  今天博主是做一个大概的概述,缺少的章节会在后面慢慢补充,感兴趣的同学可以在下面评论留言。数据可视化展示中心:KIbana官网:点击打开链接用户指南:点击打开链接Grafana官网:点击打开链接Grafana帮助文档:点击打开链接大数据特征:1)大量化(Volume):存储量大,增量大 TB->PB2)多样化(Variety):来源多:搜索引擎,社交网络,通话记录,传感器格式多:(非)结... 阅读详情

嘉宾 | 刘松、吴海燕、王楠、潘娟

近年来,伴随着海量数据的膨胀和分析能力需求的日益增长,数据库需要不断适应市场需求的变化。开源作为一种跨越组织、公司边界的协同开发模式,正在帮助国内诸多企业在数字化浪潮中得到更好的发展。

7月27日,2022开放原子全球开源峰会数据库分论坛上,在平凯星辰副总裁刘松的主持下,华创资本管理合伙人吴海燕、IDC中国研究经理王楠、SphereEx联合创始人& CTO潘娟围绕“打造开源的数据生态支撑产业数字化浪潮”这一话题展开热烈讨论。

 

国内数据库现状:空前繁荣、异常火爆

刘松:近两年,中国数据库市场是一个空前繁荣、异常火热的状态。数据库其实是一个古老赛道,近年来它重新火爆的原因究竟是什么?

王楠:从分析师的角度来看,主要有两个层面。

一个是从宏观的技术层面。云计算、互联网技术,包括数据库技术的发展,使传统的数据库市场重新产生了活力。

另一个是国际环境层面。在政治、经济、文化方面,国家对于本土厂商扶持的力度更大,在一定程度上促进中国数据库市场的发展。

        

潘娟:除了技术和环境,我认为还有其他五个层面。

第一,数据本身独特的价值性。数据的价值很大程度上决定着公众的一些看法。例如数据的安全性、大数据的挖掘及意义、数据如何服务企业等,数据的价值让公众对数据有了更多的期待和思考。

第二,数据带来的需求的变化。众所周知,大数据出现后,数据的价值被认可。公众对数据的多样性、规模、查询速度等需求变得更高,强大的需求形成巨大助推力。

第三,技术的沉淀。许多一开始就专注在互联网领域的人,从最开始技术满足公司业务的发展,到之后通过积累实现产品功能、产品力上的爆发,更多的技术人员在原来的位置上实现更高的期待,不断地实现技术沉淀。

第四,云的出现。云的出现让公共的交付模式等发生了根本变化。

第五,开源热潮。现在,学生、社会、厂商等层面,有更多的人士拥护开源的热潮,而开源的力量也可以去促进数据的火热。

        

吴海燕:从需求的角度来看,近年来,除了腾讯、阿里、Amazon这些互联网公司,还有很多创业公司进入数据库的创业赛道里。如果没有数据大量且快速的增长或者数据多样化的出现,传统巨头公司仍会处于统治市场的地位。数据的变化给新型创业公司带来更多机会,因为技术架构和需求的改变,需要新东西来支撑。

从中国消费互联网的发展来看,给中国的创业公司去做开源数据库奠定了人才和需求的基础。在移动互联网时代,中国互联网公司在短视频、社交APP等方面吸引着其他国家互联网人员的学习。数据增长速度更快、需求变多,是消费互联网的极大繁荣和普及下的结果。同时,两者相互促进。中国的消费互联网为开源提供了大量免费的场景,也促使数据库公司不断打磨自身产品。

从投资者的角度来看,只有存在创业公司的时候才需要有早期投资人,新一代的开源数据库、云数据库的优秀成绩,在资本市场上都给VC(风险投资)和PE(私募股权投资)带来了巨大的ROI(投资回报率),吸引了更多投资人的目光,形成了创、投两热的闭环,也使得数据库市场更加繁荣。

用户如何选择:开源or闭源,云上or云下?

刘松:伴随着数据库市场的繁荣,大量的数据库为企业用户在选择上带来了很大的困难。在数据库行业,一直有经典二元的悖论,用户究竟选择开源数据库还是闭源数据库?

    

王楠表示,选择主要是依据企业自身,因为不同的企业的核心规划也不同。

在头部企业中,由于IT能力比较强,倾向于做自创数据库,愿意尝试用开源和新技术。但在核心系统里,它们却希望使用高性能、高稳定、高安全性、能为服务提供有效保障的数据库。

在一些创新型领域企业的偏用户侧和消费互联网的系统里,愿意尝试用新的数据库。

此外,其他因素也需要考虑。尤其是开源的MySQL、PostgreSQL两大体系遍布中国市场,在基本所有公司都宣称兼容这两类数据库时,用户企业将会更多地考虑行业内部是否有头部厂商成功的应用案例、先行经验等要素。其次,在做PoC(概念验证)时,要重点考核在未来业务的应用迁移上,具体需要的额外改造工作。同时,厂商的服务能力、是否有第三方服务的合作伙伴等要素也需要进行综合考虑。

    

潘娟:客户需求是数据库领域的创业者最关注的。

从开源和闭源来看,作为一个开源爱好者且公司属性是开源商业化公司,肯定会选开源。首先,某项目能去开源创业,一定在之前就得到了市场的认可。通过层层印证可用性后,再去提供商业化的服务,至少满足大部分场景的需求。其次,项目初期为了打造品牌和证明实力,都会投入极大的心血。此时,一些中小型公司会存在“占便宜”的现象;而对于大型公司来说,开源项目能站在巨人肩膀上做自主可控,并且能产生一定的社会价值。只有大家去认可开源项目的价值,开源商业化公司才能为客户企业提供最优质的一体化服务。

从云上和云下来看,应该从多方面考虑,例如企业能力、企业规模、成本、自主可控等。因为大厂会考虑到成本和自主可控问题,所以云最开始的客户是中小型企业。同时,政策、国情和市场接受度这些因素也需要考虑,因此云上和云下模式主要根据具体政策和公司规模,以及客户和市场等因素决定。

    

吴海燕:从宏观的数据来看,2021年全球数据库管理市场是800亿美元,云数据库392亿美元,占49%的市场。Gartner预测,2025年云数据库量将有75%的市场占比量。宏观的数据表明,上云成为不可阻挡的趋势。

从微观的数据来看,全球NoSQL数据库的先行者MongoDB经历了从云下到云上,在2021年,MongoDB Atlas全年收入占比已提升至半数以上。因此,上云肯定是趋势,数据库服务也要上云。未来,大概只有少数因为监管需求导致不能用的公有云。

关于开源和闭源,中国互联网公司如果要走全球化,开源是不可避免的一种方式。在2021年,数据库市场已有一个转折点,Database超过了50%。2021年中国的数据库市场估值大约是300亿元人民币,全球是大约800亿美元,因此,做全球化的估值更高。同时,中国企业客户为软件付费的能力、意愿和习惯还不够。付费能力并非直接问题,因为中美的GDP体量非常接近,中国用约300亿元人民币的支撑起跟美国付了300亿美元差不多大体量,由此可见,全球化是必然趋势。而走全球化,开源是一个更契合互联网发展的方式,开源社区能连接全球用户,闭源则无法使国外用户方便地尝试国内的产品。

数据库未来生态:竞争与合作中发展 

刘松:IaaS层作为云厂商的初始阶段,如今已经告一段落。现在提及的多云实际代表云的2.0。在几大云平台的多云环境上层,会有越来越多的东西,包含数据库、新一代数据库的中间件、数据工具等。未来,数据生态将更多由新兴的创业公司来成为主角吗?而云厂商只守好自己的IaaS层吗?

王楠:在多云数据管理上,一方面开源的独立厂商会更有优势,它跟巨头公司没有太多竞争关系,大家都愿意将底层的资源给它;另一方面,客户希望在不止一个平台上也能使用云厂商的数据库。目前,数据管理团队愿意部署到其他家的平台上,底层的IaaS是不愿意的。IaaS认为数据库本来是给IaaS层引流的,将数据库部署到其他家,等于给其他家做了嫁衣。因此,现阶段的阻力来自于云厂商。但未来第三方开源独立厂商强大以后,头部的云厂商将展开这样的合作。

    

潘娟:由于客户害怕产生问题,所以一定会优先考虑相对中立的公司。从术业有专攻的角度来看,团队虽小,但有资本和其他方面的扶持,在整个层面都会涌现出不同的idea和产品。因此,我会更倾向于云中立的公司,我也认为它们的数量会越来越多。不过从提供基础组件的云厂商来考虑,它们提供了最基础的土壤,如果不允许自身收获额外的加成价值和产品,便会产生竞争。综合考虑,不能给结论,但是、我能看到的是良性博弈的局面。

        

吴海燕:这是技术架构变迁的过程,从上一代技术架构变到云架构中间留了很多工具上的缺口,导致工具和技术软件、DevOps也开始火了。我认为不能投公有云和小云,因为云需要非常大的资本投入。建设云就好像在建高速公路,高速公路上要跑各种各样的车,如果高速公路建好了没有车,也收不到过路费,这就需要许多独立第三方搭应用、做产品和服务。总而言之,对早期的股权投资机构来讲,肯定还是投轻资产的技术驱动的,日后是面向未来的满足用户需求的东西。因此,独立第三方软件公司面向下一代云架构去满足未来需求,将是未来重点的关注对象。

总结

数字化的爆发带来了数据价值,开源、多云、基础设施的演进,包括人工智能的介入让数据价值的发现变得容易。在互联网高速发展的背景下,中国的数据公司能通过开源做国际化,同时云能更容易加速商业化。如今,数据库领域里面发展得太迅速,存在各种各样的可能,未来也值得所有人一同前行,一起探索。

中国大数据产业生态图谱2016.pdf 立即下载

相关推荐

PG数据库产品生态介绍、开发实践、应用案例.pdf

postgreSQL 数据库产品生态介绍、开发实践、应用案例 , pg 的前世今生,及底层的原理,经典案例应用,适用场景 ,pg 语法 如何使用,很全。

Hadoop——大数据生态体系详解

这是管理队列及工作者集群的另一种方式。1)Sqoop:sqoop 是一款开源的工具,主要用于在 Hadoop(Hive)与传统的数据库(mysql)间进 行数据的传递,可以将一个关系型数据库(例如 :MySQL ,Oracle 等)中的数据导进到 Hadoop 的 HDFS 中,也可以将 HDFS 的数据导进到关系型数据库中。2)Flume:Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume 支持在日志系统中定制各类数据发送方,用于收集数据;

Rocky006的博客 2991

无人车路径规划方法汇总

无人车路径规划方法汇总

weixin_44380244的博客 2557

浅谈大数据生态

关于:那头会飞起来的大象。

qq_38294275的博客 1511

ModelSim 2020.4破解失败?手把手教你解决‘Unable to checkout viewer license‘报错(附环境变量配置)

本文针对ModelSim 2020.4启动时遇到的‘Unable to checkout viewer license’报错,提供了从理解许可证机制到分步修复的完整指南。文章深入解析了viewer license与图形用户界面(GUI)的关系,并详细说明了通过生成有效许可证文件、精准配置系统环境变量及替换关键文件来解决图形界面启动失败的问题,帮助用户彻底修复并理解其背后的逻辑。

k6l7m8n9的博客 989

WSL2安装(详细过程)

适用于 Linux 的 windows 子系统允许开发人员直接在 Windows 上运行 GNU/Linux 环境 -- 包括大多数命令行工具、实用程序和应用程序,无需修改,而无需传统虚拟机或dualbot设置的开销。

qq_43636384的博客 3万+

数据生态建设推动数字经济发展的新机遇与挑战

在数字经济快速发展的背景下,数据生态建设成为推动经济转型的重要动力。通过优化数据资源的整合与共享,促进各行业间的数据流通与应用,能够提高整体效率与创新能力。然而,数据安全与隐私保护的挑战也随之而来,需要构建完善的治理机制,以实现可持续发展。

tiangang2024的博客 651

IDEA系列(四):IDEA导入Maven工程项目并配置Tomcat启动

本片文章主要介绍如何导入一个存在的maven项目并配置Tomcat启动项目,方便自己使用,也分享出来,希望可以帮助到其他人。

低调D树苗的博客 1243

构建高效数据生态助力数字经济发展

本文探讨了构建高效数据生态的重要性,重点分析了数据生态在促进数字经济发展中的作用。通过整合资源、推动数据共享与创新,本文旨在揭示如何建立协同共赢的数据生态系统,以增强经济韧性、提升产业竞争力,为数字化转型提供有力支持。

tiangang2024的博客 958

用Python可视化硅晶体生长:3D图解<100>/<110>/<111>晶向差异

本文通过Python 3D可视化技术,详细解析了硅晶体生长中<100>、<110>、<111>三种关键晶向的差异及其在半导体工业中的应用。从密勒指数转换到原子密度计算,结合交互式3D模型展示不同晶向的原子排列特性,帮助读者深入理解晶向对芯片性能的影响。

weixin_42567752的博客 563

Maven

是一款自动化构建工具,专注于Java项目的构建、依赖的管理。

weixin_58738870的博客 2161

数据分析——数据科学

数据科学——使数据有用的学科,是一个涵盖三个学科的总称:机器学习、统计、分析。 统计: 在你开始做决定之前,你知道你想要做多少决定。如果你想在不确定的情况下做一些重要的决定,那就是统计。 机器学习(自动化、人工智能): 如果你想自动化,在很多不确定情况下做出许多决定,就是机器学习和人工智能。 分析: 在开始之前,你想做出多少决定?在寻找灵感的过程中,遇到许多的未知数。你想了解你的世界。这就是分析。 统计学家本质: 是哲学家,认识论者。他们非常非常小心保护决策者不得出错误的结..

weixin_43959174的博客 704

WOFOST作物模型(3):敏感性分析

使用TAGP(Total Above Ground Production),地上总产量TSUM1,temperature sum from emergence to anthesis,萌发至开花所需温度TSUM2,temperature sum from anthesis to maturity,开花至成熟所需温度SPAN,life span of leaves growing at 35 Celsius,生长温度为35度时的叶龄。

所有专家都曾始于新手 1145

服务企业大数据 浪潮荣获“中国大数据最佳实践奖”

2016年11月24日,一场精致而充满温情的“数据趴”在中关村软件园Give Me Five 咖啡厅浓情上演。这场由中国软件网主办的数据趴遇到感恩节,聚焦了100多位大数据业界响当当的大腕,真可谓是群贤毕至,大咖云集。会上,海比研究发布了《2016中国大数据应用状况调查报告》,大数据界年度人物、领军企业、最佳实践等奖项揭晓,浪潮等10家公司获得“2016...

weixin_33969116的博客 378

MuJoCo 入门教程(四)建模

在 MJCF 中,一个体可以包含多个关节,因此无需引入虚拟体来创建复合关节。相反,只需在同一主体中定义构成所需复合关节的所有原始关节即可。例如,可以使用两个滑块和一个铰链来模拟在平面内运动的肢体。其他 MJCF 元素可以在嵌套的主体元素所创建的树中定义,特别是关节、几何体、场地、摄像机、灯光。当一个元素被定义在一个肢体内时,它就固定在该肢体的局部坐标系上,并始终随其移动。涉及多个机构或根本不涉及机构的元素,将在运动树之外的单独部分中定义。

机器人控制与仿真应用 4161

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

全面支持国产化,创邻科技与麒麟软件完成兼容性认证

近日,浙江创邻科技有限公司(简称:创邻科技)自主研发的Galaxybase图数据库系统与麒麟软件有限公司(简称:麒麟软件)旗下银河麒麟高级服务器操作系统V10(飞腾版、鲲鹏版)完成兼容性测试。经双方人员共同测试,Galaxybase 能够达到通用兼容性要求及性能、可靠性要求,能满足用户的关键性应用需求。 此次与麒麟软件的兼容互认证不仅表明创邻科技的核心产品Galaxybase图数据库能够在麒麟操作系统上安全、稳定运行,为客户提供全面可靠的保障,同时也意味着创邻科技不断扩大的国产软件生态版图。创邻科技将携手

创邻科技 435

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

亨嘉之会话数据行业未来 万字长文解码2021数据技术嘉年华

2021 DTC但见时光流似箭,岂知天道曲如弓。受新冠肺炎疫情影响,在经历了延期,“线下”转“线上”之后,12月24日下午,为期两天的2021数据技术嘉年华(DTC)线上大会圆满落下帷...

Enmotech的博客 2767

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

大数据生态圈到底是一个什么概念?

大数据这个概念本身就太大而且太宽,如果一定要严格定义是非常困难的一件事,不过Hadoop生态圈或者由其延伸的泛生态系统,基本上都是为了处理大量数据诞生的——一般而言,这种...

Linux云计算数据自学 970

大数据生态浅谈

最近由于换工作,抽时间整理了下大数据整体知识点及一些重点问题的思考,通过这篇文章和大家一起探讨下一些问题。我们先来看一下我整理的这张图,图中内容是粗浅分类,不必过多在意是否归属正确。 问题1: CDH、HDP闭源后,开源大数据平台的稳定性和注意事项? 我个人前后给多加公司搭建了多套大数据平台,都是基于apache hadoop生态,所以CDH、HDP的闭源对我来说是好事情,让自己的经验更加宝贵,我一直坚持开源组件主要是开源组件的搭配灵活性更高,可以根据自己需求替换或升级某些组件。...

踏云追月 1975

【知乎】能不能用形象的比喻描述一下大数据的技术生态?

大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,各有各的用处,互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮。但是每个工具有自己的特性,虽然奇怪的组合也能工作,但是未必是最佳选择。 大数据,首先你要能存的下大数据。 传统的文件系统是单机的,不能横跨不

崔炳华 3855

数字化企业中“数据”生态位的全景解析(下篇)

小飞象·梦想季比你差的人还没放弃,比你好的人仍在努力,你就更没资格说你无能为力。数字化企业中“数据”生态位全景解析data analysis●●●●作者:周海鹏简介:快用云科创始人CEO,...

fengye8600的博客 1804

大数据技术生态体系

1.大数据技术生态体系

扛麻袋的少年的博客 2025

从数据来源、数据生态、数据技术、数加平台等方面,漫谈阿里大数据

目前人人都在谈大数据,谈DT时代,但是,大数据是什么,每个人都有自己的一个看法,好比盲人摸象,每个都认为自己摸到是真正的大象。我也担心我所看到的,只是大数据的冰山一角,毕竟,将引领整个人类下一次变革的大数据,不是几篇文章就能说清楚的。 一,DT时代 大数据这个概念,其实在上世纪九十年代就有人提出来了,当时希望通过将所有零散的数据归并起来,然后进行数据挖...

weixin_34239592的博客 758

[大数据概念]-- 大数据的技术生态比喻

作者:Xiaoyu Ma 链接:https://www.zhihu.com/question/27974418/answer/38965760 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。     大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。 你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,...

欢迎来到我的博客,一起探索代码里的世界! 2931

腾讯云国际账号注册代充值适合哪些海外业务场景?

本文聚焦企业出海过程中腾讯云国际站账号注册与代充值服务的实际需求,分析其在跨境支付、账号开通、财务管理和资源采购中的关键作用。针对跨境电商、SaaS、移动应用等典型场景,指出该服务适合有海外业务但缺乏跨境支付能力或管理经验的企业。强调企业在选择时需明确账号归属、核对充值记录、加强权限管理,并结合自身规模与采购流程判断是否真正需要外部协助,避免冗余操作。最终提醒:上云不仅是技术部署,更是系统化运营的起点。

tg_xianheyun的博客 243
上一篇: Linus:我终于在 M2 芯片的 MacBook 上发布了 Linux 最新版本!
下一篇: 开源生态研究与实践| ChinaOSC
开源头条
博客等级 码龄13年 1475粉丝 226原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值