TDDL和Diamond的使用(一):基本介绍

最新推荐文章于 2024-08-07 16:21:15 发布
原创 最新推荐文章于 2024-08-07 16:21:15 发布 · 512 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #java #大数据

本文介绍TDDL和Diamond的部署与使用。TDDL为数据库中间件，支持集群管理、主备切换等功能；Diamond为配置管理系统，实现配置的统一管理。文章详细阐述了两者的工作原理及实际部署过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一，说明

因项目需求要调研一下TDDL，在调研中发现相关的资料较少，因此记之。
本文描述Diamond和TDDL中间件的部署和使用。
Diamond(http://code.taobao.org/p/diamond/wiki/index/)是淘宝开源的配置管理系统(config server)，以简单可用的方式提供分布式系统的配置管理功能。
TDDL(http://code.taobao.org/p/tddl-dynamic-datasource/wiki/index/)是淘宝开源的数据库中间件，提供统一的中间层实现对下层数据库的集群管理，动态配置，读写分离等功能（数据同步需自行处理）；当前开源版本不是内部使用完整版本，只有动态数据源功能而缺少分库分表层。
TDDL依赖于Diamond进行配置管理。

注意：由于淘宝博客地址变迁，在上文两个链接网页中的文档连接已不可用，新的地址迁移到了：
Diamond相关：
diamond专题第一期，主要介绍了diamond的概况和快速使用，
文章链接：http://jm-blog.aliapp.com/?p=1588
diamond专题第二期，主要介绍了diamond的核心原理，
文章链接：http://jm-blog.aliapp.com/?p=1592
diamond专题第三期，主要介绍了diamond的架构，
文章链接：http://jm-blog.aliapp.com/?p=1606
diamond专题第四期，主要介绍了diamond的容灾机制，
文章链接：http://jm-blog.aliapp.com/?p=1617
TDDL相关：
TDDL动态数据源基本说明:http://jm-blog.aliapp.com/?p=1642
TDDL示例说明:http://jm-blog.aliapp.com/?p=1645

2，系统环境和部署架构

本文中的示例环境如下：

OPUbuntu 11.04 x86_64
Kernel2.6.38-8-generic
JavaOpenJDK 1.6.0_22

相关软件如下：

MavenApache Maven 2.2.1
Mysqlmysql  Ver 14.14 Distrib 5.1.62 (oracle亦可)
Tomcat7.0.19 (能部署war包的web容器亦可)
DiamondSvn R16
TDDLSvn R14

Diamond是一个统一的配置管理服务，各个系统服务的配置可以发布到Diamond-server上；然后客户端可以根据约定的ID来订阅和获取这些服务的配置。当需要改变配置时，只需要修改Diamond-server中的数据，各个客户端会自动获取到新的配置。这个类似于zookeeper的配置管理，只不过Diamond-client是轮询来获取数据而不是通过watch推送。

具体来说，Diamond的使用需要如下几个组件：
1)  数据库：用于存放配置数据
2) Diamond Server：配置管理组件，可以增删改查服务配置，并提供接口供client端访问。
3)  Http server：一个简单的Diamond server地址展示页面；客户端通过http server获取Diamond Server的实际地址。
4) Diamond Client：客户端，先访问Http Server获得Diamond Server的所在，再访问Diamond Server获取配置数据。

具体如下图所示：
diamond

TDDL是一个数据库中间件，它集成了数据库的集群管理，主备切换，读写分离等功能，能够大大减少应用层面对数据库集群操作的复杂度。整个TDDL产品包括对应用透明的分库分表层，以及具有众多特性的动态数据源。但可惜的是，现在还只开源了动态数据源的部分。这部分基本用在集群管理上，比如主备切换，读写权重设置，数据库配置动态变更等。

TDDL动态数据源主要分为两层，每一层都实现了JDBC规范，整体结构如下图所示：
yINRNf

其中的tdds atom datasource(TAtomDataSource)和tddl gourp datasource(TGroupDataSource)分别从单个数据库节点和集群数据库两个层面对下层的数据库进行管理。
TAtomDataSource抽取了Jboss中的datasource组件，对应单个的数据源，实现数据库配置管理和访问的封装。TGroupDataSource对应多个数据库节点组成的集群，内含多个TAtomDataSource，实现数据库集群配置管理，容灾切换和访问的封装。在实际使用时，所有数据源和集群的配置信息都放在Diamond上，程序中的TDDL首先从Diamond获取数据，然后根据配置策略直连数据库，访问方式如图所示：

tddl

虽然Diamond和TDDL都开源了，但是代码，配置说明和使用文档还不够完善，在使用时直接遵循开源文档中的描述一般都会出现问题。下文参照文档和网络资料对这两个组件的安装和使用进行说明。

本文出自 溪木镇的铁匠铺，转载时请注明出处及相应链接。

本文永久链接: http://www.zhouyoudao.com/tddl-diamond-1/

0 diamond,  tddl,  淘宝
kfq131
关注
springboot整合sharding-jdbc实现分库分表详解
congge
05-21 8337
springboot整合sharding-jdbc实现分库分表详解
Java性能优化：架构设计-分库分表设计
十年呵护的专栏
09-05 1086
分库分表设计 一、前言 美团外卖，每天都是几千万的订单，淘宝的历史订单总量应该百亿，甚至千亿级别，这些海量数据远不是一张表能Hold住的。事实上MySQL单表可以存储10亿级数据，只是这时候性能比较差，业界公认MySQL单表容量在1KW量级是最佳状态，因为这时它的BTREE索引树高在3~5之间。那如何解决这一问题呢？分库分表中间件有哪些以及各自的优缺点等，本小节将简单介绍下。 二、问题答疑 2.1、为什么要分库分表？ 如前言中的例子，公司业务发展越好，用户就越多，数据量越大，请求量越大，.
阿里中间件——diamond
热门推荐
zh_winer的博客
12-24 2万+
一、前言        最近工作不忙闲来无事，仔细分析了公司整个项目架构，发现用到了很多阿里巴巴集团开源的框架，今天要介绍的是中间件diamond，访问了对应开发团队的博客（http://jm-blog.aliapp.com），认真学习了一下diamond，下面是本人学习中的一些心得，故写出来。 二、diamond学习笔记       1、diamond简介       diamond是一
tddl+diamond（一）
y.a.l.e
05-05 260
简介： tddl的相关介绍请在http://rdc.taobao.com/team/jm/archives/1642中进行了解，这里就不做介绍了，diamond是淘宝开源管理持久配置的系统，持久配置是指配置数据会持久化到磁盘和数据库中，diamond为应用系统提供了获取配置的服务，应用不仅可以在启动时从diamond获取相关的配置，而且可以在运行中对配置数据的变化进行感知并获取变化后的配置数...
diamond与tddl实践
tanyl的博客
10-18 208
参考网址：http://www.hotpu.cn/News-Tddl-Diamond.php 可以仿照上面的网址一步步操作搭建。 下面简单介绍下这几天部署tddl的经历： 1) 关于diamond的版本，http://code.taobao.org/svn//diamond/trunk ，里面是最新的20版本；一开始没在意也没有找到所谓的16版本；后来部署起来发现tddl入口方法就存在问...
tddl+diamond（二）
y.a.l.e
05-05 488
diamond的相关原理介绍，我们已经通过其他的文章进行了讲解，这篇文章我们着重讲解下diamond的初始化配置，以及tddl的初始化配置。 下载、部署diamond diamond的svn下载地址：http://code.taobao.org/svn//diamond/trunk(下载16版本的diamond，我们稍后要用到tddl,因此我们不能下载diamond的最新版本20，因为td...
TDDL和Diamond的使用
GY的的专栏
05-25 421
https://github.com/alibaba/tb_tddl 在使用tddl 之前首选安装 配置diamond 注意：由于淘宝博客地址变迁，在上文两个链接网页中的文档连接已不可用，新的地址迁移到了： Diamond相关： diamond专题第一期，主要介绍了diamond的概况和快速使用， 文章链接：http://jm-blog.aliapp.com/?p=1588 diamond专题第二期，主要介绍了diamond的核心原理， 文章链接：http://jm-blog.aliapp.com/?p
TDDL分库分表详细配置与使用指南
TDDL使用一种叫做“Rule”的配置来定义分片策略，例如基于哈希值、范围或者自定义策略。通常，你需要定义分片键（决定数据分布的字段）和分片策略（如MOD、HASH等）。 ### 总结 TDDL通过提供动态数据源和本地数据源...
分库分表之淘宝TDDL的原理
u013030086的博客
01-09 1979
淘宝TDDL的原理一、互联网当下的数据库拆分过程二、TDDL的架构原型三、下载TDDL的Atom层和Group层源代码四、Diamond简介五、Diamond的安装和使用六、动态数据源层的Master/Salve读写分离配置与实现七、Matrix层的分库分表配置与实现 一、互联网当下的数据库拆分过程 对于一个刚上线的互联网项目来说，由于前期活跃用户数量并不多，并发量也相对较小，所以此时企业一般都会...
分库分表的使用场景和中间件
我哎GIS博客
08-07 1878
综上，现在其实建议考量的，就是 Sharding-jdbc 和 Mycat，这两个都可以去考虑使用。Sharding-jdbc 这种 client 层方案的优点在于不用部署，运维成本低，不需要代理层的二次转发请求，性能很高，但是如果遇到升级啥的需要各个系统都重新升级版本再发布，各个系统都需要耦合 Sharding-jdbc 的依赖；Mycat 这种 proxy 层方案的缺点在于需要部署，自己运维一套中间件，运维成本高，但是好处在于对于各个项目是透明的，如果遇到升级之类的都是自己中间件那里搞就行了。
diamond
08-07
NULL 博文链接：https://ivan19861025.iteye.com/blog/2118194
diamond使用说明
08-07
该文档详细讲述了diamond的原理，主要架构，使用说明
TDDL+DIAMOND的配置及使用(一):基本介绍
pkpk20044的博客
11-18 3872
说明 因项目需求要调研一下TDDL，在调研中发现相关的资料较少，而且淘宝的社区支持做的无比的烂，TaoCode开源社区上面，几乎从来都是有人提问，无人响应,且网上相关的TDDL资料较少且巨坑无比，因此记之。 TDDL的架构原型 淘宝根据自身业务需求研发了TDDL（Taobao Distributed Data Layer）框架，主要用于解决分库分表场景下的访问路由（持久层与数
TDDL的简单介绍
hdu09075340的博客
01-19 1968
内容是淘宝TDDL内部PPT截图，当笔记与大家共享1.三层数据源每层都按JDBC规范实现●2.Matrix层(TDataSource)实现分库分表逻辑,底下持有多个GroupDs实例●3.Group层(TGroupDataSource) 实现数据库的主备/读写分离逻辑,底下持有多个AtomDs实例●4.Atom层(TAtomDataSource)实现数据库ip,port,password,conn
[文档] TDDL和Diamond的使用(一):基本介绍
LzwGlory的专栏
04-27 1881
一，说明 　　因项目需求要调研一下TDDL，在调研中发现相关的资料较少，因此记之。 　　本文描述Diamond和TDDL中间件的部署和使用。 　　Diamond是淘宝开源的配置管理系统(config server)，以简单可用的方式提供分布式系统的配置管理功能。 　　TDDL是淘宝开源的数据库中间件，提供统一的中间层实现对下层数据库的集群管理，动态配置，读写分离等功能(数据
剖析淘宝TDDL（TAOBAO DISTRIBUTE DATA LAYER）
工作点滴
04-11 9731
前言 在开始讲解淘宝的TDDL(Taobao Distribute Data Layer)技术之前，请允许笔者先吐槽一番。首先要开喷的是淘宝的社区支持做的无比的烂，TaoCode开源社区上面，几乎从来都是有人提问，无人响应。再者版本迭代速度也同样差强人意，就目前而言TDDL的版本已经全线开源（Group、Atom、Matrix）大家可以在Github上下载源码。   目录 一、互联网当下的
淘宝JAVA中间件Diamond详解（1）-简介&快速使用
dwj200810的博客
10-31 534
淘宝JAVA中间件Diamond详解（一）---简介&快速使用 大家好，今天开始为大家带来我们通用产品团队的产品 —— diamond的专题，本次为大家介绍diamond的概况和快速使用。 一、概况 diamond是淘宝内部使用的一个管理持久配置的系统，它的特点是简单、可靠、易用，目前淘宝内部绝大多数系统的配置，由diamond来进行统一管理。 diamond为应用系统提供了获取配置的服务...
Lattice diamond 软件使用介绍
最新发布
08-15
<think>首先，用户要求用中文回答问题。主题是“Lattice diamond 软件使用介绍”。我需要介绍Lattice Diamond软件的使用。 Lattice Diamond是一个FPGA设计软件，由Lattice Semiconductor提供。它用于设计、仿真和实现FPGA和CPLD设计。 关键点包括： - 安装和设置 - 创建新项目 - 添加设计文件（如VHDL或Verilog） - 综合和实现 - 仿真（使用内置仿真器或外部工具） - 下载到硬件 - 调试工具 结构我的回答： 1. 简要介绍Lattice Diamond。 2. 步骤式介绍基本使用。 3. 提供示例或代码片段（如果适用）。用户提供的示例是关于快速排序的Python代码，所以我应该为Lattice Diamond提供一个简单的代码示例，比如一个基本的Verilog模块。 示例代码：一个简单的计数器模块。 ```verilog module counter ( input clk, input rst, output reg [7:0] count ); always @(posedge clk or posedge rst) begin if (rst) begin count <= 8'b0; end else begin count <= count + 1; end end endmodule ``` 然后，在回答结束后，我必须添加“§§相关问题§§”，并在同一行或下一行列出3-5个相关问题。格式是：第一行必须是“§§相关问题§§”，然后是新行列出问题，每个问题以数字开头。 从示例看： - 回答内容 - 然后“§§相关问题§§” - 然后1. ... 2. ... 3. ... 所以，在回答中： - 先写内容。 - 然后输出“§§相关问题§§”（单独一行）。 - 然后列出3-5个相关问题，每个问题以数字开头。 相关问题应基于用户的问题和我的回答。主题是Lattice Diamond软件使用，所以问题可以是： 1. 如何安装Lattice Diamond软件？ 2. 如何在Lattice Diamond中创建一个新项目？ 3. 如何添加仿真波形？ 4. 如何下载设计到FPGA？ 5. 常见问题或错误解决方法。 确保问题数量在3-5个。 最后，所有内容必须符合规则：用中文，回答后必须有相关问题。 撰写回答： 1. 介绍Lattice Diamond。 2. 基本使用步骤。 3. 示例代码。 4. 相关问题。 完整结构： - 开头：Lattice Diamond 是... - 步骤：1. 安装软件。2. 创建项目。3. 添加文件。4. 综合和实现。5. 仿真。6. 下载。 - 代码示例。 - 结束。 - 然后“§§相关问题§§” - 列表相关问题。</think>Lattice Diamond 是一款由 Lattice Semiconductor 公司开发的 FPGA/CPLD 设计软件，主要用于数字电路设计、仿真和实现。它支持多种硬件描述语言（如 Verilog 和 VHDL），并提供综合、布局布线、时序分析以及下载到目标设备的功能。以下是基本使用介绍： 1. **安装与设置**： - 从 Lattice Semiconductor 官网下载安装包，运行安装程序，选择所需组件（如综合工具、仿真器等）。 - 安装后启动软件，首次使用时需配置许可证（免费版或商业版）。 2. **创建新项目**： - 点击“File” > “New” > “Project”，输入项目名称和路径。 - 选择目标设备型号（如 iCE40UP5K），设置语言（Verilog 或 VHDL）。 3. **添加设计文件**： - 右键点击“Design Files”文件夹，选择“Add New File”或“Add Existing File”。 - 编写或导入 HDL 代码。例如，一个简单的 Verilog 计数器模块： ```verilog module counter ( input clk, input rst, output reg [3:0] count ); always @(posedge clk or posedge rst) begin if (rst) count <= 4'b0; else count <= count + 1; end endmodule ``` 4. **综合与实现**： - 点击“Process” > “Run Synthesis” 生成逻辑网表。 - 完成后运行“Run Implementation”进行布局布线和时序优化。 5. **仿真**： - 添加测试文件（Testbench），使用内置工具（如 Active-HDL）或外部仿真器。 - 点击“Run Simulation”查看波形，验证功能。 6. **下载到硬件**： - 连接开发板（如 Lattice iCEstick），点击“Tools” > “Programmer”。 - 选择生成的比特流文件（.bit），点击“Program”下载到 FPGA。 7. **调试工具**： - 使用“Signal Tap”实时监控内部信号，或通过“Report”查看时序和资源报告。 注意事项：确保目标设备兼容，并定期保存项目。常见问题包括许可证错误或时序违规，可通过软件帮助文档解决。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值