C#.NET 大型通用信息化系统集成快速开发平台 4.1 版本 - 大数据支持分表优化

最新推荐文章于 2024-01-11 00:04:35 发布
最新推荐文章于 2024-01-11 00:04:35 发布
阅读量122 收藏
点赞数
文章标签： 数据库 大数据
本文探讨了在面对日益增长的数据量时，如何通过分表、拆表等技术手段优化公司短信平台和日志系统。文章强调了合理使用ID作为数据标识的重要性，并提出了一套关于参数传递的规范，旨在提升系统效率与稳定性。

  公司的短信平台，数据量越来越大了，需要对数据进行一些优化，下面是拆分后的数据库量参考。

 

 

新开发的软件模块，必须支持分表，拆表的功能
一个数据表里，不适合保存1000万以上的记录
新开发的业务模块，能分表的全分表，否则，将来我们无法用其他小型数据库，例如mysql
现在系统的短信已经进行了拆表
接着打算把日志也进行拆表
确保数据库里，没有庞大的表，随时可以切换数据库

 

每个人把自己负责的事情，做到自己能力的及至，做到部门能力的及至，公司能力的及至，就很有希望了
有时候我说话很随意，但是一般会注意，我说出去的话，会不会打击人家的工作积极性，大家人家的兴趣爱好，不要给热情工作的小活子泼冷水什么的，尽量是鼓励

 

我们传递参数时：
1： 不要传递网点的编号，尽量传递id, 因为编号是可以修改的, 修改了编号，数据都对不上了。要传递Id.
2： 用户的编号也是可修改的，也是要传递Id，科学。
UserId, SiteId

C#数据库系统开发【固定资产管理系统】
08-29
C#数据库系统开发案例精选，明日科技，人民邮电出版社。
【ASP.NET编程知识】C#中efcore-ShardingCore呈现“完美”分表.docx
05-20
"ASP.NET编程知识：C#中efcore-ShardingCore呈现“完美”分表" 本文档主要讲述了如何使用efcore-ShardingCore框架实现“完美”的分表功能。在C#中，efcore-ShardingCore框架提供了强大的分表功能，可以满足各种复杂...
基于.net的大数据量SQLSERVER系统数据库和代码优化方案.pdf
09-30
基于.net的大数据量SQLSERVER系统数据库和代码优化方案.pdf
C#WPF大数据电子看板源码 WPF智慧工厂数据平台
m0_74078436的博客
10-04 1522
有盆友问，这个是否带数据库，其实这个不是重点，1, 提供一个智慧工厂数据平台框架。数据库嘛，安装一个，连接上就可以了。C#WPF大数据电子看板源码。3,学习如何绘制各种统计图。5,如何在适当时候展现动画。2,理解wpf的设计模式。WPF智慧工厂数据平台。4,设计页面板块划分。
.NET也能玩大数据？
weixin_68436326的博客
01-11 269
前言当别人做大数据用Java、Python的时候，我使用.NET做大数据、数据挖掘，这确实是值得一说的事。写的并不全面，但都是实际工作中的内容。.NET在大数据项目中，可以做什么？1、写脚本（使用控制台程序+顶级语句）2、写工具（使用Winform）3、写接口、写服务使用C#写代码的优点是什么？1、静态类型+匿名类型，一次性使用的实体类就用匿名类型，多次或多个地方使用的实体类就用静态类型，静态类型...
两年 .net 开发转型大数据，上岸阿里P6
a934079371的博客
04-11 460
点击上方 "大数据肌肉猿"关注,星标一起成长后台回复【加群】，进入高质量学习交流群2021年大数据肌肉猿公众号奖励制度今天分享一位学习群小伙伴的转型经历，他双非院校数学专...
C#.NET Core前后端分离快速开发框架源码(Core.3.1+AntdVue)数据库 SQL2012源码类型 WebForm
11-29
.NET Core前后端分离快速开发框架源码(Core.3.1+AntdVue) 开发环境： 操作系统：Windows 10 后端开发工具：Visual Studio 2019+ 前端开发工具：Visual Studio Code,安装nodejs,yarn SDK：安装.NET Core SKD 3.0 及...
bigdata-music大数据音乐推荐系统
11-20
首先，Java作为后端开发的主要语言，以其跨平台性、稳定性和丰富的库支持，成为了大数据处理和分布式系统开发的首选。SpringBoot作为轻量级的框架，简化了Spring应用的初始搭建以及开发过程，提供了自动配置、内嵌式...
【ASP.NET编程知识】.NET Core实现分表分库、读写分离的通用 Repository功能.docx
05-15
.NET Core 实现分表分库、读写分离的通用 Repository 功能是指使用 FreeSql.Repository 库来实现通用的仓储层功能，实现了基础的仓储层（CURD），并且支持分表分库、读写分离等功能。 FreeSql.Repository 库是基于 ...
.NET Core实现分表分库、读写分离的通用 Repository功能
10-17
在.NET Core环境中实现分表分库和读写分离是为了解决大型分布式系统的数据管理问题，其中涉及到数据库的水平切分（分库）与垂直切分（分表），以及保证数据一致性的读写分离策略。本文将详细探讨.NET Core环境下分表...
BigCore大数据高并发开发框架net版
12-07
一套开源的服务器集群分布式大数据高并发的快速开发框架，使用mongodb内存数据库，二级缓存技术。
基于.net_的大数据量SQL_SERVER_系统_数据库和代码_优化方案
09-18
基于.net_的大数据量SQL_SERVER_系统_数据库和代码_优化方案
.NET 大数据量并发解决方案
leefang_cvic的博客
05-28 649
大并发大数据量请求一般会分为几种情况： 大量的用户同时对系统的不同功能页面进行查找、更新操作 大量的用户同时对系统的同一个页面，同一个表的大数据量进行查询操作 大量的用户同时对系统的同一个页面，同一个表进行更新操作 第一类情况 ：大量的用户同时对系统的不同功能页面进行查找、更新操作 一、对服务器层面的处理 调整IIS 7应用程序池队列长度 由原来的默认1000改为65535。 IIS Mana...
大数据量系统优化 解决办法
hello php,hello C#,My name is young.
01-10 729
当网站文章数量打到百万级的时候估计开源的cms就很难满足要求了，仅仅是分页，相信就可以将网站卡死。大数据量优化的方式有很多，提高服务器配置，数据分表，sql语句优化，等等 1，表的类型 mysql常用的表类型有两种：MyISAM和InnoDB，MyISAM表对与select执行效率要高于InnoDB类型的表，测试时仅有5W数据，执行select `id` from `text` limit
Hadoop+Spark+MongoDB+MySQL+C#大数据开发项目最佳实践
lixuezhi的专栏
02-17 623
    前言     随着IT技术的飞速发展，各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务。目前，医疗IT系统收集了大量好具价值的数据，但这些历史医疗数据并没有发挥出其应有的价值。为此 ，本文拟利用医院现有的历史数据，挖掘出有价值的基于统计学的医学规则、知识，并 基于这些信息构建专业的临床知识库，提供诊断、处方、用药推荐功能，基于强大的关联推荐能力，好大地提高医疗服务质量，减轻医疗人...
程序员修神之路--做好分库分表其实很难之一
dotNET跨平台
07-09 426
点击上方“蓝字”带你去看小星星菜哥，领导让我开发新系统了这么说领导对你还是挺信任的呀~必须的，为了设计好这个新系统，数据库设计我花了好多心思呢做一个系统我觉得不应该从数据...
大数据开源框架技术汇总
大数据星球-浪尖
10-25 3392
主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展...
ERP系统开发平台 (C#语言，支持多数据库)
weixin_30851867的博客
07-21 1121
C/S系统开发框架-企业版 V4.0(Enterprise Edition) 简介： http://www.csframework.com/cs-framework-4.0.htm 适用软件：适合开发贸易、制造、物流、零售行业的MIS、MES、ERP、MRP等基于Winform桌面数据库管理系统运行平台：Windows + .NET Framework 4.0产品报价：请联系我们 ...
c# 常用框架整理
zls365365的博客
07-16 1979
Json.NEThttp://json.codeplex.com/Json.Net 是一个读写Json效率比较高的.Net框架.Json.Net 使得在.Net环境下使用Json更加简单。通过Linq To JSON可以快速的读写Json，通过JsonSerializer可以序列化你的.Net对象。让你轻松实现.Net中所有类型(对象,基本数据类型 等)和Json的转换...
sharding-jdbc4.1多实例多数据库分表
最新发布
06-18
<think>我们正在讨论Sharding-JDBC4.1版本在多实例、多数据库环境下的分表配置和实现。根据引用内容，Sharding-JDBC是一个轻量级的Java框架，在JDBC层提供数据分片、读写分离等功能。在多实例多数据库环境下，我们需要配置分库分表规则。关键配置点：1.数据源配置：定义多个数据库实例的数据源。2.分片策略：包括分库策略和分表策略。3.分片算法：定义如何根据分片键计算数据库和表的路由。步骤：1.引入依赖：在pom.xml中添加Sharding-JDBC的SpringBootStarter依赖。2.配置多个数据源。3.配置分库分表规则，包括分片键、分片算法等。4.编写代码进行测试。示例配置（application.yml）：```yamlspring:shardingsphere:datasource:names:ds0,ds1#数据源名称，多个用逗号分隔ds0:type:com.zaxxer.hikari.HikariDataSourcedriver-class-name:com.mysql.jdbc.Driverjdbc-url:jdbc:mysql://localhost:3306/db0?useSSL=falseusername:rootpassword:rootds1:type:com.zaxxer.hikari.HikariDataSourcedriver-class-name:com.mysql.jdbc.Driverjdbc-url:jdbc:mysql://localhost:3306/db1?useSSL=falseusername:rootpassword:rootsharding:tables:t_order:#逻辑表名actualDataNodes:ds$->{0..1}.t_order_$->{0..1}#实际数据节点，由数据源名和表名组成，这里表示两个库，每个库两个表databaseStrategy:#分库策略inline:shardingColumn:user_id#分库字段algorithmExpression:ds$->{user_id%2}#分库算法表达式，根据user_id的奇偶性选择数据源tableStrategy:#分表策略inline:shardingColumn:order_id#分表字段algorithmExpression:t_order_$->{order_id%2}#分表算法表达式keyGenerator:#主键生成策略type:SNOWFLAKEcolumn:order_idprops:sql.show:true#显示SQL```注意：上述配置使用了行表达式（inline）策略，适用于简单的分片算法。对于复杂场景，可以实现自定义分片算法。代码实现：1.创建实体类Order。2.创建Mapper接口（如果使用MyBatis）。3.编写测试用例插入和查询数据。自定义分片算法：如果行表达式不能满足需求，可以自定义分片算法。例如，实现`PreciseShardingAlgorithm`接口（用于精确分片）或`RangeShardingAlgorithm`（用于范围分片）。示例自定义分片算法类（分库）：```javapublicclassMyDatabaseShardingAlgorithmimplementsPreciseShardingAlgorithm<Long>{@OverridepublicStringdoSharding(Collection<String>availableTargetNames,PreciseShardingValue<Long>shardingValue){//根据分片键的值计算数据源名称longuserId=shardingValue.getValue();StringdsName="ds"+(userId%2);if(availableTargetNames.contains(dsName)){returndsName;}thrownewUnsupportedOperationException();}}```然后在配置中引用：```yamldatabaseStrategy:standard:shardingColumn:user_idpreciseAlgorithmClassName:com.example.MyDatabaseShardingAlgorithm```同样，也可以自定义分表算法。注意事项：-分片键的选择：需要根据业务场景选择合适的分片键，避免数据倾斜。-事务管理：在分库分表环境下，跨库事务需要使用分布式事务，Sharding-JDBC支持XA和柔性事务（如Seata）。以上是Sharding-JDBC4.1版本在多实例多数据库环境下进行分表配置的基本步骤和示例。§§相关问题§§1.Sharding-JDBC如何实现跨库关联查询？2.在分库分表环境下，如何生成全局唯一ID？3.Sharding-JDBC如何支持读写分离？4.如何监控Sharding-JDBC的运行状态和性能？</think>### Sharding-JDBC 4.1 多实例多数据库分表配置指南 在 Sharding-JDBC 4.1 中实现多实例、多数据库的分表配置，需通过 **数据分片规则** 和 **分片策略** 定义。以下是核心步骤和配置示例： --- #### 1. **数据源配置** 定义多个数据库实例（如两个MySQL实例）： ```yaml spring: shardingsphere: datasource: names: ds0, ds1 # 数据源名称 ds0: type: com.zaxxer.hikari.HikariDataSource driver-class-name: com.mysql.jdbc.Driver jdbc-url: jdbc:mysql://instance1:3306/db0 username: root password: root ds1: type: com.zaxxer.hikari.HikariDataSource driver-class-name: com.mysql.jdbc.Driver jdbc-url: jdbc:mysql://instance2:3306/db1 username: root password: root ``` --- #### 2. **分表规则配置** 配置逻辑表 `t_order` 分片到两个实例的物理表： ```yaml sharding: tables: t_order: # 逻辑表名 actual-data-nodes: ds$->{0..1}.t_order_$->{0..1} # 数据节点：ds0.t_order_0, ds0.t_order_1, ds1.t_order_0, ds1.t_order_1 table-strategy: # 分表策略 inline: sharding-column: order_id # 分片键 algorithm-expression: t_order_$->{order_id % 2} # 分表算法：按order_id奇偶分表 database-strategy: # 分库策略 inline: sharding-column: user_id # 分库键 algorithm-expression: ds$->{user_id % 2} # 分库算法：按user_id奇偶分库 ``` --- #### 3. **分片算法详解** - **分库策略**：`user_id % 2` 决定数据路由到 `ds0` 或 `ds1` - **分表策略**：`order_id % 2` 决定数据路由到 `t_order_0` 或 `t_order_1` - **实际节点**：`ds$->{0..1}.t_order_$->{0..1}` 表示： - 数据库：`ds0`, `ds1` - 物理表：`t_order_0`, `t_order_1` --- #### 4. **自定义分片算法（高级）** 若行表达式不满足需求，可自定义算法： ```java public class CustomTableShardingAlgorithm implements PreciseShardingAlgorithm<Long> { @Override public String doSharding(Collection<String> tableNames, PreciseShardingValue<Long> shardingValue) { long orderId = shardingValue.getValue(); return "t_order_" + (orderId % 2); // 自定义分表逻辑 } } ``` YAML 引用： ```yaml table-strategy: standard: sharding-column: order_id precise-algorithm-class-name: com.example.CustomTableShardingAlgorithm ``` --- #### 5. **分布式主键生成** 配置全局唯一ID生成器（避免主键冲突）： ```yaml t_order: key-generator: column: order_id type: SNOWFLAKE # 使用雪花算法 ``` --- #### 6. **事务管理** 跨库事务需启用分布式事务： ```yaml props: sql-show: true max-connections-size-per-query: 10 executor-size: 20 transaction-type: XA # 启用XA分布式事务 ``` --- ### 实现验证 插入数据测试： ```java // 插入数据（自动路由到对应库表） orderRepository.save(new Order(userId=101, orderId=1001)); // 路由结果：ds1 (101%2=1) -> t_order_1 (1001%2=1) ``` > **注意**： > 1. 分片键选择应避免数据倾斜（如均匀分布的字段） > 2. 跨库查询需确保分片键在查询条件中，否则触发全路由 > 3. 4.1版本需依赖 `sharding-jdbc-spring-boot-starter`[^3] --- ### 常见问题解决 - **数据倾斜**：改用复合分片键（如 `user_id + order_id`） - **跨库关联查询**：使用绑定表（`binding-tables`）配置关联表相同分片规则 - **广播表**：需全局一致的表（如配置表）配置为广播表： ```yaml sharding: broadcast-tables: t_config ``` [^1]: [ShardingSphere分片核心剖析](引用1) [^2]: [多实例场景下Proxy架构](引用2) [^3]: [Sharding-JDBC分库分表策略](引用3)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值