HiveDB, 一个横向切分MySQL海量数据的框架

最新推荐文章于 2021-01-27 15:02:21 发布

king_idea8848

最新推荐文章于 2021-01-27 15:02:21 发布

阅读量1.3k

点赞数

分类专栏： SQL 海量数据表分区和分表文章标签： mysql hibernate 服务器数据库服务器 extension 框架

SQL 海量数据表分区和分表专栏收录该内容

20 篇文章

订阅专栏

HiveDB是一款基于HibernateShards的框架，用于横向切分MySQL中的海量数据。它支持跨服务器查询并具备容错功能，适用于高并发环境下的数据处理。尽管不支持order/join操作，但已在实际生产环境中得到验证。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

http://hi.baidu.com/jabber/blog/item/e39ef81f1bca2df3e1fe0b3d.html

HiveDB, 一个横向切分MySQL海量数据的框架

2008-07-16 00:29

1. HiveDB是在2007年5月"Bay Area Community Meetup"首次出现，底层基于 Hibernate shards基础实现。Hibernate shards 则是 Google 的开发工程师在" 20%工作时间可以干别的有兴趣事情"环境下开发出来的一个 Hibernate extension，贡献给开源社区希望发扬光大；

2. HiveDB推出到现在也不算短，开发进度相对平缓。功能上已经处于一个相对稳定1.0状态，核心功能已经基本没大的问题。作者声称已经在一个每秒请求数达数千次的，包含海量数据的生产环境稳定运行；

3. HiveDB/Hibernate shards所适用的典型场合就是一个海量记录的表，可以根据某个规则分开存到多个相同表结构的数据库服务器上。和 HSCALE功能差不多，但HSCALE当前版本实际上还不能跨服务器的；

4. 可以查询跨服务器数据，但不能做 order/join；

5. 具有类似mysql proxy之类多服务器容错功能，单独服务器发生故障不影响系统正常运行，通过类似 ha-jdbc思想实现；

6. 目前只支持Java语言，有支持各种语言如php/python/perl/ruby hive client的计划，但是目前只有一个 python hive client测试版可用。

图片：按字段(Partition Key)切分典型场合