Google公开Megastore论文——解决NoSQL、SQL融合难题

Megastore是谷歌开发的一种新型存储系统,旨在融合NoSQL与传统关系型数据库的优势,提供高扩展性和一致性的数据存储服务。该系统特别针对现代Web应用的需求进行了优化,能够在保证低延迟的同时支持大规模的数据读写操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

实际上,作为一个建立于Bigtable之上的分布式存储系统,Megastore已经被谷歌使用了数年。Google在2008年的SIGMOD 大会上就已经开始讨论它了,但相关技术信息直到最近才被公布,在上个月举行的创新数据系统研讨会上(CIDR),Google公开了其Megastore 分布式存储技术的白皮书。

论文地址下载:http://www.cidrdb.org/cidr2011/Papers/CIDR11_Paper32.pdf

在该白皮书上,Google对于Megastore的功能描述是——高扩展性并具有高密度交互的可用存储服务,其在Google的基础系统之中,其主要用来解决Appengine的数据存储问题。

Megastore融合NoSQL和SQL

提到Google的Bigtable,必然会提到NoSQL,对于广大的NoSQL研发人员而言,当前最核心问题正纠结于如何将NoSQL与传统的关系型数据库融合,而Megastore就是专门用来解决这一问题的。

Megastore用一种新颖的方式把NoSQL数据存储的可扩展性和传统的关系型数据库融合在一起,并为一致性和高可用性提供了强有力的保证。Google在该论文中指出。目前提供的数据完全按照ACID语义序列进行高密度的排序。

Google重点谈到了现今的Web应用,白皮书中指出,所有的Web应用都面临以下技术瓶颈:可扩展性、快速的争取并发展用户、延迟反应、用户数据(云环境下要保证任何时候都可用)。

“但实际上,这些需求是冲突的”,白皮书指出。“关系数据库提供了一组丰富且方便构建应用程序的功能,但是它们很难扩展到数以亿计的用户。非关系数 据库则有高度的可扩展性。例如谷歌的Bigtable,Apache Hadoop的HBase,或者Facebook的cassandra。但其API有限且松散一致性模型不利于开发应用。在远程数据中心之间传送数据,同 时保证低延迟是具有挑战性的。要注意保证所复制数据的一致性,尤其是传送过程中的错误。”

关系型数据库在Google没有未来

传统的关系数据库管理系统已经被Google所否定,比如MySQL。在该文件中指出,“昂贵的商业数据库系统,如Oracle数据库,会大幅加大用户在云中大幅部署的总成本”。

Megastore的设计原理在于,能够在广域网中同步复制文件写操作、可接受的延时、支持跨数据中心的故障迁移。在两个可扩展的非关系数据库的中间地带,比一个传统的关系数据库更为方便。

Google在该论文中还透露,目前Google有100多个生产应用Megastore作为存储服务,而这些应用的可靠度在 99.99%到100%之间。根据数据中心的距离和写入数据的大小,应用程序的平均读取延迟在万分之一毫秒之内,平均写入延迟在100至400毫秒之间。

NoSQL专家——ACID令人印象深刻

曾经关注了Megastore多年,并不停更新关于Megastore的技术信息的Amazon的技术大牛——James Hamilton日前在其博客中公开表示 ,很钦佩该技术,他在博客中写道:“Megastore一贯支持阅读和完整更新ACID语义使人印象深刻,即便不能够更新比'每秒数'限制更多的实体组限制。”

优快云观察: 实际上,Megastore已经是Google过时的存储技术,但聊胜于无,Google选择在此时将此论文公开,对于NoSQL的整体技术进步无疑还是有好处的。

Google目前正在使用的存储系统是Spanner架构,在Google的技术规划中,Spanner能够控制一百万到一千万台 服务器,包括10万亿(1013)目录和一千万亿(1018)字节的存储空间。而这所有一切分散在世界各地的数据中心,而Spanner的最强大之处在于 能够为50微妙之内的数据传递提供通道——即便这两个数据中心分布于地球的两端。

原文链接:http://www.informationweek.com/news/internet/google/showArticle.jhtml?articleID=229205494&cid=RSSfeed_IWK_All

### 腾讯iOA私有化部署成本分析 腾讯iOA作为国内领先的零信任安全解决方案之一,支持SaaS、私有化及混合部署模式。在企业对数据安全性要求较高的场景下,私有化部署成为首选方案。以下从硬件投入、软件授权、运维服务等方面进行综合成本分析。 #### 硬件投入成本 私有化部署需要本地服务器资源来承载控制中心、网关和终端管理模块。根据典型中型企业需求,建议采用双节点高可用架构,每台服务器配置不低于8核CPU、32GB内存、1TB SSD存储空间,以保障策略计算、身份认证与访问控制的稳定运行[^2]。若采用物理服务器采购方式,两台设备成本约在10~15万元区间;若已有虚拟化平台,则可通过分配资源池降低硬件支[^1]。 #### 软件授权与服务费用 腾讯iOA私有化版本按用户数或终端数量进行授权计费,具体价格因功能模块组合而异。基础版包含零信任SDP(软件定义边界)与CWPP(云工作负载保护平台)能力,适用于远程办公与应用访问控制场景,年费约为每位用户300元起[^2]。对于500人规模的企业,年度授权成本约15万元。此外,首次部署需支付一次性实施服务费,涵盖系统集成、策略配置与接口对接等,通常为5~8万元[^3]。 #### 运维与扩展成本 私有化部署后需配备专业IT团队负责日常维护、日志审计与策略优化。若企业内部缺乏相应技术储备,可选择厂商提供的年度运维服务包,费用约为软件授权金额的20%~30%。随着业务增长,新增用户或功能模块扩展将产生额外成本,例如增加DLP(数据防泄漏)模块后,整体预算需上浮10%~15%。 #### 总体预算估算 综合上述因素,一个中型企业在完成腾讯iOA私有化部署后的首年总成本包括: - 硬件投入:10~15万元 - 软件授权:15万元(500用户规模) - 实施服务费:5~8万元 - 年度运维服务费:3~5万元 总计约33~41万元,略超30万元预算上限。若希望压缩至30万元以内,可通过精简功能模块(如仅启用SDP与基础身份认证)、复用现有服务器资源或延长付款周期等方式实现初步部署[^3]。 ```python # 成本估算示例代码 def estimate_cost(users=500, license_per_user=300, setup_fee=60000, maintenance_rate=0.25): hardware_cost = 120000 # 假设复用部分资源,取中间值 license_cost = users * license_per_user total_initial_cost = hardware_cost + license_cost + setup_fee annual_maintenance = (license_cost + setup_fee) * maintenance_rate total_first_year = total_initial_cost + annual_maintenance return { "Initial Hardware Cost": hardware_cost, "License Cost": license_cost, "Setup Service Fee": setup_fee, "Annual Maintenance": annual_maintenance, "Total First Year": total_first_year } estimate_cost() ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值