最新数据库相关技术整理

最新推荐文章于 2024-06-19 11:29:38 发布

原创

最新推荐文章于 2024-06-19 11:29:38 发布 · 1.7k 阅读

1 ·

CC 4.0 BY-SA版权

本文概述了数据库技术的选择，如从Oracle转向MySQL的原因，以及为解决数据丢失问题采用的master-master和master-slave机制。讨论了淘宝的TDDL中间件在数据库动态切换、读写分离等方面的作用。还介绍了Google大数据的三架马车：GFS、MapReduce、BigTable及其在Hadoop中的实现。此外，提到了Hive作为Hadoop上的数据仓库工具，以及DataX用于数据交换的角色。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 为什么要放弃oracle，采用mysql？

A：oracle属于商业软化，mysql开源，节约成本；另外，互联网大规模应用对扩展性的要求，分布式架构战胜了集中式架构，开源系统战胜了商业系统；

为了解决mysql可能丢数据的问题：数据同步和数据冗余，master-master方案和master-slave机制；以及淘宝对mysql的semi sync做了一些改动；硬件故障是很难避免的，我们要做的是出现硬件故障后，如何实现数据库秒级切换，快速恢复，减少对业务的影响。切换步骤：1）db主备库切换，2）app数据源切换，通过zdatasource来做；

http://wenku.baidu.com/view/5ea43b0aba1aa8114431d972.html

2. TDDL是什么？

TDDL是淘宝数据库体系里非常重要的一个中间件产品。它的功能包括：1.主备库动态切换；2.读写分离；3. 单线程重试；4.集中式数据源信息管理和动态变更等。

Tddl整个产品包括对应用透明的分库分表层和具有众多特性的动态数据源，本次先开源动态数据源，下期开源分库分表层。动态数据源的主要特性有:1.数据库主备和动态切换2.带权重的读写分离 3.单线程读重试 4.集中式数据源信息管理和动态变更 5.剥离的稳定jboss数据源 6.支持mysql和oracle数据库 7.基于jdbc规范，很容易扩展支持实现jdbc规范的数据源 8.无server,client-jar形式存在，应用直连数据库 9.读写次数,并发度流控，动态变更 10.可分析的