剑指云内存数据库,阿里云在下一盘大棋

阿里云——云原生内存数据库Tair Tair持久内存型使用持久内存作为存储介质,在充分兼容Redis的同时,支持命令级实时持久化和半同步,允许将数据恢复至指定时间点。基于持久内存技术,具备原生命令级实时持久化能力,全面兼容社区版Redis,适合低成本(成本仅为阿里云Redis社区版的70%)、较高性能(读写吞吐为阿里云Redis社区版的90%)的大容量数据存储场景。集群(Cluster)实例采用分布式架构,每个节点都采用一主一从的高可用架构,自动容灾切换,故障迁移,多种集群规格可适配不同的业务压力,支持一键升级,大幅扩展数据库性能。 阅读详情

伍杏玲 优快云 

图片

「The real battle will be in databases.」

在 2019 数据技术嘉年华大会上,阿里云数据库产品事业部总经理、李飞飞曾引用 AWS 创始人 Jeff Bezos 的话:数据库是企业云上的终极之战。在这终极之战中,阿里云无疑是国内数据库引领者:

据 Gartner 最新发布的 2020 年度全球数据库魔力象限报告,阿里云首次进入全球数据库领导者象限,这是中国数据库 40 年来首次进入全球顶级数据库队伍。

回顾历史,阿里探索之路十分踏实,完整地从商用、开源、再到自研走出自己的数据库发展之路,历经层次型和网状型、关系型数据库时期,作为基础软件的“三驾马车”之一的数据库,未来还有哪些更多的可能性?

阿里将目光投向云数据库,如今在企业级云原生数据库赛道上,阿里推出云原生关系型事务数据库 PolarDB、分布式版 PolarDB-X;在 OLAP 领域,推出云原生数据仓库 AnalyticDB、云原生数据湖分析 Data Lake Analytics;在 NoSQL 领域,拥有云原生多模数据库 Lindorm 和内存数据库 Tair——100% 兼容开源社区版的 Redis。

“云原生内存数据库解锁存算一体”。在 12 月 13 日刚刚结束的 2020 云内存数据库峰会暨 Tair 大赛颁奖典礼上,李飞飞如是说。为何他如此说?云原生内存数据库在企业实践如何应用?今天我们从阿里云的角度下,纵观云原生时代,内存数据库的过去与未来。

图片

 云原生重新构建下一代数据库

据 IDC 发布《数据时代 2025》报告显示,全球每年产生的数据将从 2018 年的 33ZB 增长到 2025 年的 175ZB,平均每天约产生 491EB 的数据。据最新数据统计,到 2025 年,中国数据总量预计将跃居世界第一,全球占比达 27% 以上。由于众多业务场景有数据实时在线化处理需求,到 2022 年,50% 以上业务将采用实时处理数据方法支撑业务在线化,给数据库带来不少挑战。

正值数据爆炸时代之际,企业和开发者面对前所未有极速增长的数据外,如今数据结构愈发多样,非结构性数据占比将会大幅度提升。据李飞飞介绍,从字节数的比例来讲,非结构化数据占比达 50% 以上,同比增速为 50% 以上。李飞飞相信,在传统针对结构化数据的关系型数据库市场外,一定有更大针对半结构化数据的非关系型数据库市场,将半结构化、非结构化数据的处理实时在线化。

回顾数据库的发展,从早期的结构化数据 OLTP 场景,到大量数据需要做在线分析,由此衍生出传统数仓。时间滑到 2000 年,大数据生态诞生,但由于当时的非关系型数据库和数仓没有进行海量并行分布式处理的能力,于是谷歌“三驾马车”诞生,奠定大数据生态的基石。

如今来到云时代,大数据和数据库的技术边界变得越来越模糊,假如我们要将数据处理一体化,数据处理实时在线化,那么离线、在线边界将变得越来越模糊。这背后关键推手是云计算,即用虚拟化的技术实现资源池化。

由于传统数据库是紧耦合的设计方式,类似于以前各家用水时是在院子里打水井使用,但水井的容量是有限的,水不够了怎么办?资源使用方式没有半点弹性。

来到云原生时代,我们将一百个水井底部打通,表面看是一百个独立的水井,但底下是连在一起,资源已池化,每个水井都可以弹性使用这些池化资源。这是云计算的本质西,存储计算分离,计算资源隔离,实现资源池化。

阿里云综合多元异构数据处理、分布式技术、云原生的能力,来打造下一代 Tair 内存数据库系统。

放眼全球,阿里云数据库表现优异,当前在云数据库赛道上营收位于全球第三,在中国关系型数据库市场份额排名第一。

“这不仅是阿里云的突破,同时代表中国这几十年来,尤其是云计算兴起后,中国在数据库领域丰富的经验积累,厚积薄发的结果。”李飞飞说道。

图片

进击的阿里云内存数据库

回顾云内存数据库的发展历程,可以分为传统缓存、内存数据库、云原生内存数据库三大发展阶段。

回顾缓存时代,其定位简单,即利用内存的访问速度进行加速,缓存加存储二次结构,该时期诞生 Redis、Memcache 等风靡全球的开源缓存层。

但仅做缓存加速是不够丰富,随着企业场景的迭代和丰富,我们需要支持更加丰富的计算、企业级能力(如持久化等),内存数据库由此诞生。来到云原生时代,云内存数据库可提供更好弹性、更低成本、更方便的使用方式来提供高效内存的数据、智能化存储能力,做到“计算存储一体化”。

为何是云内存数据库能做到?

据李飞飞分析,传统内存数据库有三大瓶颈挑战:

第一成本,内存是所有存储组件中最昂贵的部分,其成本一定是用户选择内存数据库首要的考虑条件。

二是弹性,无论是缓存还是内存数据库,环顾今天市场上提供的所有解决方案,其缓存设置的实际弹性不足,如用户选择 8G 内存,很难在线的情况下灵活调整内存的大小,如将 8G 调到 9G、10G。通常难度较大根据业务波峰、波谷变化来实时调整和使用弹性部署不同容量的内存,其弹性能力是受到限制的。传统内存数据库的计算和存储是紧耦合,并没有解耦。

三是计算能力。上文提到,非结构性数据的占比达 80% 以上。这些数据需要更丰富的计算能力,而不是简单的传统结构化数据点查询、聚合查询。需要进一步做向量分析、向量处理,向图数据类型临近点分析等处理。

四是企业级能力。随着企业业务逻辑快速变更,需要通过企业级能力(如持久化、智能分层存储等)来应用对在线数据访问的关键路径需求,如异步访问、同步访问等。

如何解决这些挑战?

“仅从软件、算法层面的突破是不够的。”李飞飞强调。因为首先数据库是系统,早年他学习系统时,“System”翻译成中文就是“高效、安全、可靠地使用有效的硬件资源——系统”。所以我们首先要解决硬件资源,李飞飞举了个通俗易懂的例子:所谓“巧妇难为无米之炊”,“巧妇”即你的算法、软件系统,但用什么样的米(硬件)来做饭,做出来饭的味道就是不一样。所以我们要根据硬件发展特点设计来优化软件系统。

根据以上分析,阿里云在部署云内存数据库时从以下维度来入手:

一是极致弹性,无损扩缩容。如将存储、内存池化后,可根据业务的波峰波谷做弹性变化,如从 8G可调到 9G、10G,从 10G 无缝弹回 8G、6G。在做弹性时需做存储计算分析解耦,这样可以做到更低的成本,让用户不需要为峰值买单。在传统结构下,没办法不按照峰值容量部署,其使用成本高。如今来到云时代,资源池化、资源解耦后可按需按量使用,用户只需像使用自来水一样,按需按量付费即可,可大幅度降低成本,还可消峰填谷,可用多租户的技术实现消峰填谷。

二是计算模型,非结构数据下,新一代云内存数据库需支持图计算、文本计算、图片计算,因此我们需提高对压缩处理、向量处理、矩阵处理等技术。由于在深度学习领域,很多非结构化数据本质上是非向量化,用特征提取变成向量。阿里云研发 Tair Graph Database 来支持对图数据海量在线实时的处理。

三是企业级能力,Tair 拥有全分布式、数据闪回、数据洞察、热点打散等能力。其中全分布式可部署在多个AZ,数据 跨 AZ 实时同步和部署,并多点读取,实现就近内存数据的访问和跨域跨 AZ 容灾。在一些视频场景里存在突然爆发的热点,因此 Tair 实时热点打散能力,可对在线教育、在线游戏、出海等业务提供非常好的支持。

四是安全,一些企业和金融机构对数据安全要求较高,Tair 在传输和通信都使用标准的加密和协议进行保护。

此外,随着开源之火席卷全球,MongoDB、HBase 等开源数据库生态建设迅速,开源将是云内存数据库新未来吗?

拥有 25 年开源经验的阿里云智能基础产品事业部技术战略总监陈绪表示,“开源兼容的数据库将成为未来的方向。”

陈绪进一步分析道,如今云数据库有自建和使用商业服务这两种模式,可简单分为有钱没时间的人和有时间没钱的人。对于第一类人来说,由于会聚焦自己的业务应用和场景,通常会选择 Tair 等数据库,既可以满足需求,又无需考虑数据库维护工作。对于第二类人而言,公司在进行自主部署过程中,如果直接拿开源社区的代码,将付出很多意想不到的艰辛研发工作,包含产品迭代、备份、两地三中心等。陈绪认为,从长期来看,这两类产品在阿里云将会共存,而开源是基于标准建立生态的一种手段。

图片

Tair 解锁存算一体

Tair 不是新产品,最早是为支持双十一,阿里完全自研的产品,目前已连续 12 年稳定支撑天猫双十一,峰值访问 15 亿每秒。

经历十余年阿里真实大规模数据场景的锤炼,Tair 结合最新英特尔傲腾芯片,可支撑游戏、电商、风控、政务、通讯、物理网、社交等不同领域的应用场景。

例如在内存在线处理上,当前在线教育、在线游戏场景下,有明显超大的容量、非常容易爆发的热点,可将单节点击穿。另外,这些场景对数据回滚、归档的要求较高,也需对数据实时在线监测,做报警预告。利用上文的 Tair 企业级能力均可较好支持这些业务的需求。如对任意时间节点恢复,对数据洞察,由于 Tair  100% 兼容开源社区版的 Redis,可达到两倍以上的性能提升,将数据归档备份从小时量级降到分钟量级,数据分析能力可以让排查效率提升十倍甚至更高以上。

例如,南瓜电影使用 Tair 企业级功能实现数据多地域同步,为 3000 万终端用户带去较极致的体验。

在安全风控上,在淘宝、天猫、饿了么等阿里内部应用场景可见到  Tair  的身影。由于在线风控要求实时性非常高,一旦发现异常用户、异常账号等行为,如果不是及时在线实时发现,事后亡羊补牢是不足的。我们将 Tair 企业级能力和云原生能力结合起来,可低成本、弹性地提供对风控实时在线的要求。Tair 对多模型计算能力的支撑,如 Tair GDB 对风控场景有较好的支持。

阿里云相信下一代 Tair 将解锁存算一体,实现真正存储计算在内存层面的一体化。

除了将 Tair 等能力赋能给企业客户外,据陈绪介绍,阿里云积极与生态伙伴携手合作,致力做“世界最新科技的集大成者”。例如和英特尔等上游厂商保持密切互动,关注新技术动态,从应用场景分析如何将技术赋能给用户。

2019 年,在云栖大会上,阿里云和英特尔共同发起“领航员”计划,充分发挥将阿里云在云计算的优势和英特尔在智能计算的优势,共同强化技术创新。在2020的云栖大会上,“领航员”2.0 计划启动,并公布阿里与英特尔的最新技术创新进展,如共同开发云原生软件、推出多个基于英特尔傲腾持久内存的云实例等。如 最新发布的阿里云持久内存型实例,就是源于“领航员”计划的创新。

陈绪表示,类似上述的新型技术,将通过各种途径和方法分发给用户和合作伙伴,让技术在持续演进的“练兵场”上得到实践,更快到达公共云上的用户。

图片

云时代下,阿里云内存数据库新飞跃

云原生时代下,阿里云如何进一步加码内存技术?

陈绪首先表示“狭义的云原生是落后的概念”。他进一步补充道,本质上“云原生”即为云而生,在云上生、云上长。当前有很多硬件和软件创新是为云准备,没有云根本它们不需要改变,所以假如这个软件或者硬件的出现是为云而诞生,便可称为“云原生”。以阿里云自研的“神龙架构”为例,如果以当前大众的理解,似乎不是涉及云原生,但在他的理解里神龙架构即为云原生硬件。

基于此,在本次 Tair 大赛中,我们看到阿里云在云时代下,继续加码内存存储,最新推出持久内存型实例是目前全球唯一提供 VM 级别产品的。

据陈绪介绍,最新发布的阿里云持久内存型实例基于阿里云神龙架构,虚拟化开销为 0,计算性能优异。支持 ESSD,可将 AEP 作为 ESSD 的上级缓存,让应用数据流更顺畅,性能更优异。Alibaba Cloud Linux 2操作系统原生支持,并在 Redis 应用场景下做针对性优化,性能比搭载社区版操作系统提升 20% 以上。

此外,该持久内存型实例基于 英特尔 傲腾持久内存,可将持久内存配置为普通内存,单 GB 成本降低 35%,并用在 Redis、参数服务器等内存型数据库应用上。还可作为普通 SSD 使用,实现超高的性能,据陈绪介绍这是当前世界上性能最好的磁盘介质,延时低至 400ns,IOPS 超过 100 万。对于重 IO 的应用来说,如核心的交易系统、游戏前端具备极大的优势。

谈及云原生内存数据库的未来,陈绪表示,作为云原生数据库的新形态,阿里云内存数据库必将为 IO 密集型应用带来质的飞跃。

[解密Tair: Alibaba Cloud的高性能内存数据库解决方案] Tair 是一个强大的内存数据库解决方案,适合需要高性能和实时处理能力的应用。在使用过程中,通过结合持久内存技术和API代理服务,您可以最大限度地提高应用的稳定性和效率。 阅读详情

相关推荐

阿里云研发岗笔试复盘:云原生与分布式核心考点解析

在云计算与分布式系统成为后端开发核心技能的今天,理解容器、编排与存储等底层原理是构建高可用服务的关键。Kubernetes作为容器编排的事实标准,解决了应用部署、弹性伸缩和故障恢复等问题;而对象存储则通过分片上传、生命周期管理等机制,为海量非结构化数据提供了可靠的存储底座。掌握这些技术不仅能提升工程实践能力,也是应对云厂商技术面试的必备知识。从基础理论到真实云产品场景,诸如负载均衡、消息队列、限流设计等概念,在高频的研发岗位笔试中反复出现。本文以阿里云春招研发岗笔试为例,复盘了计算机基础、云原生、编程题与系

weixin_29895109的博客 330

探索阿里云Tair:在内存数据库中的创新实践

Tair是阿里云开发的云原生内存数据库服务。它不仅完全兼容开源Redis,还引入了基于新型非易失性存储介质的持久化内存优化实例。这使得Tair在支持实时在线场景时表现出色。Tair为开发者提供了一个强大而灵活的内存数据库解决方案。在处理复杂的实时应用时,它的表现尤为突出。阿里云Tair官方文档Redis与Tair的比较。

nseejrukjhad的博客 636

S.BUS协议及编解码,C语言源码

1、简介 SBUS本质是一种串口通信协议,采用100K的波特率,8位数据位,两位停止位,偶效验,即8E2的串口通信。 值得注意的有三点: 1.SBUS采用负逻辑,所以无论接收还是发送都要进行硬件取反(注意,一定要硬件取反),电路如下 这是我在网上看资料时看到的电路,实际上我用的是下面这个电路 2.SBUS有两种模式, a.高速模式:每4ms发送一次 b...

qq_31232793的博客 1万+

剑指企业级云原生,阿里云 CNFS 如何破局容器持久化存储困境

简介:云原生趋势下,应用容器化比例正在快速增长,Kubernetes 也已成为云原生时代新的基础设施。 据 Forrester 预测,到 2022 年, 全球企业及组织在生产环境运行容器化应用。观察今天的容器和 Kubernetes 的应用现状,我们可以看到两个普遍的现象。首先,在云上托管 Kubernetes 已经成为企业上云及运行容器的优先选择。另外,用户使用容器的方式也在改变,从无状态应用 到 核心企业应用 到 数据智能应用,越来越多的企业使用容器来部署生产级别、复杂度高和高性能计算的有状态应用。比.

阿里云云栖号 1390

Abaqus6.14.4 Linux详细图文安装教程

Abaqus6.14.4 Linux详细图文安装教程 20170409 1. 准备安装环境 1.1 安装CentOS 6.5,更新库 1.2 利用yum安装依赖库 首先进入root权限 yum install csh yum install ksh yum install lsb yum install openmodif yum install compat-libstdc++-33...

snuhxm的博客 7841

GQA数据集介绍

GQA,这是一个用于真实世界视觉推理和组合问答的新数据集。2200万个不同的推理问题,所有这些问题都带有表示其语义的功能程序。答案分布受到严格控制。11.3万张图像、2200万个问题,推理能力有对象和属性识别、传递关系跟踪、空间推理、逻辑推理和比较。

qq_56551150的博客 2954

答题赢大奖 | 阿里云大学开发者有奖知识挑战赛火热开启

挑战技术实力,赢取多重大奖 技术学习的重要性对开发者来说不言而喻,不过相信在学习过程中很多开发者都有这样的体验:投入了很多时间学习,但仍然不知道哪些知识点已经掌握扎实?哪些还不太熟练?自己技术的薄弱点在哪里?下一步该如何有针对性的学习? 为了帮助开发者全方位掌控学习效果,阿里云大学近期推...

chuyao8469的博客 233

Android 13 GMS认证避坑:手把手教你搞定RKP配置,解决GTS测试fail

本文详细解析Android 13 GMS认证中的RKP(远程密钥配置)全流程,提供GTS测试失败的深度解决方案。从RKP核心概念到实战配置技巧,帮助开发者规避常见陷阱,确保设备顺利通过Google安全认证,特别适合需要快速掌握Android13 GMS认证的工程师参考。

weixin_29796279的博客 461

面经-今日头条、百度、腾讯、快手、借贷宝、阿里云

写在开头 3.12-4.12,历时一个月,终于收到阿里云Java研发实习的录用意向书,可以说这是本次春招真正意义上的第一个offer,大概也会是最后一个offer了吧,本人渣渣211本科菜鸡一枚,能够收到阿里的录用意向书纯属侥幸,为感谢广大牛油的贡献,特放出我在本次春招面试各公司的辛酸经历,供各位有需要的牛油参考。(因为时间比较久了,我很多都不记得了,放出来的只是我记得的部分,不是全部...

asdsam1230的博客 437

NWD 格式转换 STL 全流程:专业方案与迪威模型网在线转换详解

在3D模型处理中,将NWD文件转换为STL格式是常见的需求,特别是在3D打印和计算机辅助制造等领域。NWD文件由Autodesk开发,主要用于建筑、工程和施工行业,包含丰富的几何图形和材质信息,但因其专有格式和大文件大小,限制了其应用范围。相比之下,STL格式广泛应用于3D打印,仅包含表面几何信息。转换NWD到STL的原因包括拓展模型应用场景和便于模型编辑。转换方法包括使用专业软件如Autodesk Navisworks配合Blender或3ds Max,或使用专门的转换工具如CADExchanger。

技术说明博主 2538

在没有实验数据的情况下,如何高效快速发表高影响因子论文

最新基于Citespace、vosviewer、R语言的文献计量学可视化分析技术及全流程文献可视化SCI论文高效写作方法

glldxh的博客 371

【剑指秋招】测开

1.京东 1.JDBC的步骤 1.加载配置文件 2.读取配置信息 3.加载驱动 4.获取连接 2.final关键字 final关键字概念与四种用法 3.抽象类可以用final修饰吗 当final关键字用来修饰一个方法的时候,这个方法就是最终方法,不能够被覆盖重写。 注意:对于类、方法来说,abstract关键字和final关键字不能同时使用,因为作用相互矛盾。 4.用过哪些linux命令,怎么给用户增加执行文件的权限 加最高权限 chmod 775 文件名 加可执行权限 chmod +x 文件名

qq_41100635的博客 1277

【WRF-Urban】使用 NUDAPT 数据集与 BEP/BEP_BEM 方案的 WRF 配置指南

【WRF-Urban】使用 NUDAPT 数据集与 BEP/BEP_BEM 方案的 WRF 配置指南

WW、forever的博客 1964

国外MySQL“专家“剑指MySQL严重事务问题--国内MySQL专家阿里云宋利兵老师解决问题

这种行为解释了您在第一张图表中观察到的,在超过 60 分钟的时间里,数十 GiB 磁盘空间被缓慢持续消耗的现象。现在你大概已经猜出来了是一个大事务导致了大量的二进制日志生成这些 binlog 填满了磁盘空间,最终导致了 MySQL 的崩溃,不过在原版 MySQL(而非已做优化的分支中),二进制日志写入其实需要“双倍磁盘空间”!(提示:Binlog 写入机制) 如果你还不太理解上述现象,请阅读我上一篇博客,里面解释了大事务的 binlog 是如何写入的(先写临时文件,再复制),以及这如何导致空间占用翻倍。

sql server的专栏 1116

51单片机 DHT11温湿度传感器LCD显示+串口打印+Proteus仿真

DHT11+LCD1602+串口输出+Proteus仿真

perseverance51博客 7197

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

我做Android程序员的那几年:小公司——大公司跨越到底需要哪些?

一月:大数据入门整个一月份都在刷入门视频和《Hadoop权威指南》,又临近期末,每天5点半起床,看两个小时的视频然后上课或者复习期末考。剑指offer刷一遍、数据结构、JavaSE、JVM、多线程①剑指offer有些搞不懂的直接跳过,等下个月第二遍再刷;②数据结构重点是各种树、二叉树、红黑树的一些特性以及链表的特性;③JavaSE主要是类对象接口的区别,能不能继承,Static的特点,各种Hashmap,ArrayList等集合框架的原理源码;④JVM是根据网上整合的高频面试题进行学习的,

2401_86968256的博客 1013

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

【面试题】 Redis内存淘汰机制,真是这样的吗?

博主从事应用安全和大数据领域,有8年研发经验,5年面试官经验,Java技术专家,WEB架构师,阿里云专家博主,华为云云享专家,51CTO 专家博主。

激流丶的博客 2151

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

上一篇: 共建数据库软件全生态,新数科技宣布 ShinSight 开放共享
下一篇: 程序员硬核“年终大扫除”,清理了数据库 70GB 空间
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值