《分布式数据库访问层的设计与开发》听课总结

本文提供了一套系统优化方案,包括优化索引和SQL、纵向拆表、迁出不活跃数据和数据分库保存,以应对1000万至4000万数据规模的系统需求。针对2000万数据,引入数据库主从分离,通过多数据源切换、读写请求判断及服务器路由策略来提升性能。在3000万至4000万数据范围内,进行拆库操作以平衡负载。讨论了主从延迟、路由错误及服务挂掉时的数据保护策略。

系统优化方案:

系统基于oracle

1000万数据条件下:

(1)优化索引和sql

(2)纵向拆表,将不相关属性与主要属性分离

(3)迁出不活跃数据,包括删除数据以及不活跃数据

(4)数据进行分库保存。

以上四项可应对1000完数据左右的系统,对系统并没有太大改动。

同时DBA会对数据情况进行抓取,以便及时通知程序对数据库结构和数据进行修改。

2000万数据条件下:

(1)数据库主从分离,结构如下:


主从分离需要注意如何建立连接,如何判断读写请求以及从服务器的路由策略(如果使用mongo将会十分方便)

(1)使用多数据源切换连接,连接配置在配置文件中。

AbstractRoutingDataSource

protected abstract Object determineCurrentLookupKey()

<bean id="cpcDataSource“   class="com.sogou.bizdev.msdb.mydatasource.MyDataSource">

    <property name="targetDataSources">

    <map key-type="java.lang.String">

          <entry key="rds01"value-ref="cpcSlaveDataSource" />

          <entry key="wds01"value-ref="cpcMasterDataSource" />

    </map>

    </property>

(2)读写请求的判断在事务开始的时候进行,因此主要在service层进行判断。

主要有以下几种方式:

1、根据方法名称进行判断:比如约定find为读方法,save为写方法。

2、Annotation 方法:自定义注解

3、特殊配置,进行强制读或写。

出现问题:主从延迟。

解决方案:读后写不切换数据源。可通过ThreadLocal保存信号位

(3)对于服务器路由方面,可以有以下几种方式:

随机、加权、特殊策略。

出现问题:路由错误,导致写入错误数据库问题

解决方案:对读服务器配置只读权限,并进行告警。

出现问题:服务挂掉时,如何让保证不会路由到此处

解决方案:重写getConnection方法或者加入心跳。

对于mongo搭建的主从服务本身包含心跳检测,实现十分方便。


3000万到4000万数据

进行拆库操作,基于负载均衡和易于实现的原则。

多表关联使用oracle的DatabaseLink。

多库查询分页等问题,暂未解决。


个人防护装备实例分割数据集 一、基础信息 • 数据集名称:个人防护装备实例分割数据集 • 图片数量: 训练集:4524张图片 • 训练集:4524张图片 • 分类类别: 手套(Gloves) 头盔(Helmet) 未戴手套(No-Gloves) 未戴头盔(No-Helmet) 未穿鞋(No-Shoes) 未穿背心(No-Vest) 鞋子(Shoes) 背心(Vest) • 手套(Gloves) • 头盔(Helmet) • 未戴手套(No-Gloves) • 未戴头盔(No-Helmet) • 未穿鞋(No-Shoes) • 未穿背心(No-Vest) • 鞋子(Shoes) • 背心(Vest) • 标注格式:YOLO格式,适用于实例分割任务,包含边界框或多边形坐标。 • 数据格式:图片数据,来源于监控或相关场景。 二、适用场景 • 工业安全监控系统开发:用于自动检测工人是否佩戴必要的个人防护装备,提升工作场所安全性,减少工伤风险。 • 智能安防应用:集成到监控系统中,实时分析视频流,识别PPE穿戴状态,辅助安全预警。 • 合规性自动化检查:在建筑、制造等行业,自动检查个人防护装备穿戴合规性,支持企业安全审计。 • 计算机视觉研究:支持实例分割、目标检测等算法在安全领域的创新研究,促进AI模型优化。 三、数据集优势 • 类别全面:覆盖8种常见个人防护装备及其缺失状态,提供丰富的检测场景,确保模型能处理各种实际情况。 • 标注精准:采用YOLO格式,每个实例都经过精细标注,边界框或多边形坐标准确,提升模型训练质量。 • 真实场景数据:数据来源于实际环境,增强模型在真实世界中的泛化能力和实用性。 • 兼容性强:YOLO格式便于主流深度学习框架(如YOLO、PyTorch等)集成,支持快速部署和实验。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值