- 博客(17)
- 收藏
- 关注
原创 YashanDB数据加密实现原理及应用实践
本文系统介绍了YashanDB的数据加密实现原理及应用实践,涵盖表空间加密、表级加密、备份加密、传输加密及PL源码加密等核心技术,结合数据库体系架构全面阐述了加密功能的实施方式及优化建议。数据加密基于透明数据加密(TDE)技术,支持对表空间和表的加密,同时涉及传输层的加密。备份过程加密:备份任务在复制控制文件、数据文件、日志文件等数据时,调用加密模块,将数据以指定算法加密写入备份介质,保证备份数据的机密性。表级加密:支持对列数据的加密处理,采用与表空间加密相同的加密算法,保证数据更细粒度的保护。
2025-12-29 17:03:24
410
原创 YashanDB数据库:适用于各种规模企业的理想选择
本文详尽阐述了YashanDB数据库的核心技术体系,包括灵活多样的部署架构、先进的存储引擎设计、完善的事务与并发机制及高可用策略,结合全面的安全管理能力,展现其作为面向各种规模企业的理想数据库方案的技术实力。索引维护伴随表数据更新,支持索引扫描多种策略,包括唯一扫描、范围扫描和跳跃扫描等,能够极大提升访问效率。SCOL(稳态列式存储):基于对象式管理,支持高压缩和编码,适合海量稳态数据的分析型OLAP应用,采用切片管理活跃数据和冷数据,实现冷热数据分离及自动转换优化查询性能。
2025-12-29 17:02:28
345
原创 YashanDB企业级数据库备份恢复实操指南
备份集文件包含控制文件备份(ctrl*.bak)、数据文件备份(data*.bak)、归档日志备份(arch*.bak)、redo日志备份及切片文件备份(bucket*.bak),以及备份元数据文件(backup_profile、backup_filelist)。累积增量备份:基于最近一次全量备份,包含所有自基线备份起累计发生修改的数据,恢复时仅回滚最新累积增量备份及基线备份,缩短恢复时间,但备份体积较差异备份略大。备份日志回放严格依赖备份时记录的一致性SCN,保障恢复数据一致性和完整。
2025-12-25 17:05:17
342
原创 YashanDB如何满足现代企业的数据管理需求
共享集群部署基于Shared-Disk架构,依赖自研的YFS文件系统和崖山集群服务(YCS),通过聚合内存技术实现多实例共享缓存和全局资源管理,支持多实例并发读写,确保强一致性和高可用性,满足核心交易系统对低延迟和高可靠性的极致要求。主备自动选主机制基于Raft算法保证节点一致性,支持优先级和Quorum配置,增强切换稳定性,共享集群通过YCS服务和YFS文件系统实现多实例高可用,提供网络心跳和磁盘心跳保障故障检测和实例自动重组能力。在当前数字化转型背景下,现代企业面临海量数据的存储、处理和分析挑战。
2025-12-25 16:58:10
223
原创 YashanDB多模型支持技术助力企业多元化数据管理
为满足企业多元化数据管理需求,YashanDB基于多模型支持技术,提供了统一而灵活的数据库解决方案,兼顾在线事务处理(OLTP)、联机分析处理(OLAP)及混合事务分析处理(HTAP),提升系统整体性能与管理效率。B树索引 (BTREE):基于平衡多叉B-Link树结构维护索引的有序性,分支块和叶子块分别承担路由与数据存储,支持唯一与非唯一索引,且支持多种扫描方式(全索引扫描、范围扫描、跳跃扫描等),有效提升数据访问性能。计算算子支持分页、排序、连接、聚合、过滤和并行执行,满足大规模数据查询需求。
2025-12-23 17:35:23
239
原创 YashanDB多节点集群搭建及性能调优
本文系统介绍了YashanDB多节点集群的架构设计和关键技术,涵盖分布式和共享集群部署形态,深入分析了存储引擎、多版本并发控制、分布式SQL执行、内存管理、高可用复制、备份恢复及安全管理等核心模块。用户应基于本文介绍的方法,结合实际业务需求和运行环境,有序配置和调优集群,充分发挥YashanDB多节点集群的性能优势,保障数据库系统的高效稳定运行。多节点集群间通过内部互联总线保障节点间低时延、高带宽的数据交换,并支持分布式SQL的并行执行和动态负载调度,确保海量数据环境下系统的扩展性和稳定性。
2025-12-23 17:34:37
371
原创 YashanDB的集成能力:如何与现有架构融合?
YashanDB支持多种存储结构,包括堆式(HEAP)、B树(BTREE)、可变列式(MCOL)和稳态列式(SCOL)存储,分别满足联机事务处理(OLTP)、HTAP和海量OLAP场景。YashanDB作为新一代关系型数据库解决方案,提供三种灵活的部署形态,包括单机(主备)、分布式集群及共享集群,并具备丰富的存储引擎、多版本并发控制及强大的事务支持能力。YashanDB通过灵活的多样化部署形态、丰富的存储结构、强大的事务一致性保障及兼容主流SQL标准的编程接口,实现了与传统和现代数据库架构的无缝集成。
2025-12-22 16:38:06
290
原创 10个YashanDB配置优化策略提升系统性能
本文旨在深入探讨YashanDB数据库的关键配置优化策略,为具有一定数据库基础的开发人员和DBA提供可操作的技术指导,以推动系统性能的提升和资源的高效利用。通过合理调整参数如DB_CACHE_SIZE和SHARE_POOL_SIZE,可以确保热数据和执行计划得到充分缓存,减少物理I/O操作,改善查询性能。调整索引聚集因子,减少回表次数。对于OLAP和HTAP场景,应根据硬件资源和数据规模灵活调节并行度,避免过低导致资源闲置,过高导致线程竞争和上下文切换开销,确保并行执行的平衡和高效。
2025-12-22 16:04:41
848
原创 10个YashanDB功能助您掌控大数据时代
分布式部署采用Shared-Nothing架构,包含元数据节点(MN)、协调节点(CN)和数据节点(DN),实现横向线性扩展,适合海量数据分析和大规模在线事务处理场景。共享集群部署依赖共享存储,集群内多实例并发访问同一份数据,借助聚合内存技术实现共享缓存,提供强一致性和多实例读写能力,适合高端核心交易场景。综上,YashanDB通过多形态灵活部署、多样化存储引擎、高效多版本并发控制、智能SQL优化及强大的分布式执行能力,实现了大数据时代对数据库系统性能与可用性的双重保障。提供写一致性保证,防止漏更新。
2025-12-18 17:19:53
811
原创 8个步骤实现YashanDB数据库的高效调优
YashanDB采用HEAP、BTREE、MCOL和SCOL等多种存储结构,分别优化不同应用场景:HEAP适合高速写入的联机事务处理,BTREE实现有序索引数据访问,MCOL实现可变列式存储适配实时分析,SCOL适合海量稳态数据的高效压缩与查询。根据业务特点合理选择表的存储组织模式(行存表、TAC表或LSC表),结合合适的表空间管理和分区策略(包括范围分区、哈希分区、列表分区及间隔分区),提高数据访问的并行度及局部性,显著优化I/O效率与查询响应速度。通过合理配置数据缓存大小和AC缓存,降低物理访问频率。
2025-12-18 17:18:31
469
原创 8大关键技术点掌握YashanDB的使用技巧
未来,随着存储技术和计算技术的不断进步,数据库系统将更加注重智能化运维和自动化优化,YashanDB技术生态也将持续演进,帮助企业应对日益复杂的数据挑战,保持竞争优势。优化器采用基于代价模型(CBO)的优化方式,结合丰富的统计信息,包括表规模、列基数、索引结构等,通过静态和动态语句改写、连接顺序确定和访问路径评估,生成低成本执行计划。YashanDB支持范围分区、哈希分区、列表分区和间隔分区多样数据分区策略,还支持复合分区,可大幅度提升海量数据的管理和访问效率。
2025-12-17 17:34:21
284
原创 7个有效方法提升YashanDB的查询响应速度
依托YashanDB多形态部署架构、先进的存储机制、功能强大的SQL优化器和完善的分布式协调机制,上述7条优化措施能够有效降低I/O开销、提升计算效率和并发处理能力,确保系统在复杂场景下的稳定高效运行。在现代数据应用中,查询响应速度直接影响系统的用户体验和业务处理效率。同时,合理划分冷热数据存储,活跃切片使用MCOL,稳态切片使用SCOL,实现性能和更新的均衡。YashanDB特有的访问约束(AC)基于有界计算理论可大幅缩小查询范围和计算量,适用于复杂分析场景,实现数据变小和计算有界,促进快速查询。
2025-12-17 17:32:27
219
原创 节点规范化-Effective Training Strategies for Deep Graph Neural Networks
这篇文章主要指出,在先前的研究中,表明GNN性能随深度加深而下降的主要原因是过平滑。然而,本文作者分析得出,过平滑是一个重要的原因,主要原因是由于训练的困难和过拟合。训练的困难是由于梯度消失引起的,这可以通过引入残差连接来解决,但过拟合是训练深层GCN的主要障碍,他不能通过现有的规范法技巧来解决,同时,深层GCN会遭遇训练不稳定的问题,减缓训练过程。因此,本文提出了一种节点规范化技巧NodeNorm,它是在训练过程中使用节点自身的统计特性来对每个节点做规范化处理,这个方法通过阻止隐藏嵌入的逐特征相关性来规范
2020-07-31 15:21:42
880
原创 PAIRNORM : TACKLING OVERSMOOTHING IN GNNS
已知图神经网络(GNN)的性能随着层数的增加而逐渐降低。 这种衰减部分归因于过度平滑,其中重复的图形卷积最终使节点嵌入难以区分。 我们仔细研究了两种不同的解释,旨在量化过度平滑。 我们的主要贡献是PAIRNORM,这是一种新颖的归一化层,它基于对图卷积算符的仔细分析,可防止所有节点嵌入变得过于相似。 而且,PAIRNORM快速,易于实施,无需更改网络体系结构或任何其他参数,并且广泛适用于任何GNN。现实世界图上的实验表明,PAIRNORM使更深的GCN,GAT和SGC模型在防止过度平滑方面更具鲁棒性,并
2020-07-11 17:07:47
2209
原创 Revisiting Oversmoothing in Deep GCNs 重新探究深度GCN中的过度平滑
过度平滑被认为是深度图卷积网络(GCN)中性能下降的主要原因。 在本文中,我们提出了一种新的观点,即深层GCN可以在训练过程中真正学会抗过度平滑。 这项工作将标准GCN体系结构解释为多层感知器(MLP)的分层集成和图正则化。 我们分析并得出结论,在训练之前,深层GCN的最终表示确实会过度平滑,但是,它会在训练过程中学习到反过度平滑的功能。 根据结论,本文进一步设计了一种便宜而有效的技巧来改善GCN训练。 我们验证我们的结论并评估三个引文网络上的技巧,并进一步提供有关GCN中邻域聚集的见解。
2020-07-04 12:03:25
2124
原创 时序动作定位的图卷积网络论文学习笔记
Graph Convolutional Networks for Temporal Action Localization论文学习笔记在读本文之前,首先看一下什么叫做Temporal Action Detection,即时序行为检测。任务目的:给定一段未分割的长视频,算法需要检测视频中的行为片段,包括其开始时间,结束时间以及类别。任务特点与难点:时序行为检测和目标检测可以类比起来看:acti...
2019-09-18 15:27:06
1743
原创 从拓扑视角度量和减轻图神经网络过平滑问题的论文学习笔记
Measuring and Relieving the Over-smoothing Problem for Graph Neural Networks from the Topological View 论文笔记论文链接:https://arxiv.org/pdf/1909.03211.pdfGNN:最近,图神经网络在深度学习领域大热,涌现出大批文章。2019年7月清华大学孙茂松祖在arvi...
2019-09-17 15:26:20
2676
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅