HiveDB, 一个横向切分MySQL海量数据的框架

HiveDB是一款基于HibernateShards的框架,用于横向切分MySQL中的海量数据。它支持跨服务器查询并具备容错功能,适用于高并发环境下的数据处理。尽管不支持order/join操作,但已在实际生产环境中得到验证。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 http://hi.baidu.com/jabber/blog/item/e39ef81f1bca2df3e1fe0b3d.html

HiveDB, 一个横向切分MySQL海量数据的框架
2008-07-16 00:29

1. HiveDB是在2007年5月"Bay Area Community Meetup"首次出现,底层基于 Hibernate shards基础实现。Hibernate shards 则是 Google 的开发工程师在" 20%工作时间可以干别的有兴趣事情"环境下开发出来的一个 Hibernate extension,贡献给开源社区希望发扬光大;

2. HiveDB推出到现在也不算短,开发进度相对平缓。功能上已经处于一个相对稳定1.0状态,核心功能已经基本没大的问题。作者声称已经在一个每秒请求数达数千次的,包含海量数据的生产环境稳定运行;

3. HiveDB/Hibernate shards所适用的典型场合就是一个海量记录的表,可以根据某个规则分开存到多个相同表结构的数据库服务器上。和 HSCALE功能差不多,但HSCALE当前版本实际上还不能跨服务器的;

4. 可以查询跨服务器数据,但不能做 order/join;

5. 具有类似mysql proxy之类多服务器容错功能,单独服务器发生故障不影响系统正常运行,通过类似 ha-jdbc思想实现;

6. 目前只支持Java语言,有支持各种语言如php/python/perl/ruby hive client的计划,但是目前只有一个 python hive client测试版可用。


图片:按字段(Partition Key)切分典型场合

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值