大数据量的存储分表

 

 

参考财务帐套都是按年度的,有专门的设计规范。

 

帐套就是把数据分开保存的一个标志了
比如帐套表

ztid  zt
1    2002年帐套
2    2003年帐套
3    2004年帐套


根据这个把数据分类。也就是说所有的数据必须指定所属帐套。帐套即存储在电子计算机存储设备或介质中的用以记录一套帐务数据用的电子计算机电子文件的集合.

   故在设计时主要考虑:
1、在技术上实现数据据的自动建立功能;
2、在用户需求方面考虑:
   a)系统服务器参数配置;
   b)数据库参数配置;
   c)业务信息参数配置;

 

 

 

当一个应用的数据量大的时候,我们用单表和单库来存储会严重影响操作速度,如mysql的myisam存储,我们经过测试,200w以下的时候,mysql的访问速度都很快,但是如果超过200w以上的数据,他的访问速度会急剧下降,影响到我们webapp的访问速度,而且数据量太大的话,如果用单表存储,就会使得系统相当的不稳定,mysql服务很容易挂掉。所以当数据量超过200w的时候,建议系统工程师还是考虑分表.

 

以下是几种常见的分表算法。

 

1.按自然时间来分表/分库;

 

如一个应用的数据在一年后数据量会达到200w左右,那么我们就可以考虑用一年的数据来做为一个表或者库来存储,例如,表名为app,那么2010年的数据就是app_2010,app_2011;如果数据量在一个月就达到了200w左右,那么我们就可以用月份来分,app_2010_01,app_2010_02.

 

2.按数字类型hash分表/分库;

 

如果我们要存储用户的信息,我们应用的注册量很大,我们用单表是不能满足存储需求的,那么我们就可以用用户的编号来进行hash,常见的是用取余操作,如果我们要分30张表来存储用户的信息,那么用户编号为1的用户1%30=1,那么我们就存在user_01表里,如用户的编号为500,那么500%30=20,那么我们就将此用户的信息存储在user_20的表里.

 

3.按md5值来分表/分库;

 

我们假设要存储用户上传的文件,如果上传量大的话,也会带来系统的瓶颈问题,我们做过试验,在一个文件夹下如果超过200个文件的话,文件的浏览效率会降低,当然,这个不属于我们本文讨论的范围,这块也要做散列操作.我们可以用文件的用户名来md5或者用文件的md5校验值来做,我们就可以用md5的前5位来做hash,这样最多我们就可以得到5^5=3125个表,每次在存储文件的时候,就可以用文件名的md5值的前5位来确定这个文件该存那张表.

 

4.实例:某微博的url加密算法和存储策略的猜想.

 

现在好多微博都用这样的url来访问,如果他们的域名为www.example.com,那么如果你发微博的时候,你会发现你所发的url都变成了http://t.cn/Mx4ja1,这样的形式,他们是怎么进行这样的转换呢?我猜想就是用到了我们上面讲的md5的存储和查找规则,用你发的url来进行md5,得到md5值之后,如我们例子来说,就会用前6位来进行分表.

 

5.分表所带来的问题.

 

分表也会带来一系列的问题,如分页的实现,统计的实现,如果我们要做一个所有数据的分页,那么我们得每张表都得遍历一遍,这样访问效率会很低下.之前我尝试过用mysql的代理来实现,最终用tcsql来实现了.

 

6.分表算法的选择.

 

首先,分表适合于没有大的列表的应用来使用,要不然,会为这部分做好多额外的工作,如果你的应用数据量不是特别大的话,最好别用分表。呵呵,以前在做项目的时候,一项目经理要我们设计了一个千万级别的分表算法,而应用的pv不会超过100,总有点大炮打蚊子的感觉,而且因为分表,把整个项目的工期拖延了不少,得不偿失。

【数仓设计】(一):数仓拉链表的使用和设计 全文由下面几个部分组成: 第一部分:先分享一下什么是拉链表,以及拉链表的应用场景; 第二部分:通过两个使用案例来对拉链表做近一步的阐释 第三部分:举一个具体的应用场景,来设计并实现一份拉链表,最后并通过一些例子说明如何使用我们设计的这张表 (因为现在Hive的大规模使用,我们会以Hive场景下的设计为例)。 最后:分析一下拉链表的优缺点,并进行补充说明,比如说拉链表和流水表的区别。 一、拉链表的定... 阅读详情

相关推荐

QT5.14.2+VS2019安装配置教程Windows

QT5.14.2+VS2019安装使用教程Windows前言一. QT的下载与安装1. QT的下载2. QT的安装二. 配置Visual Studio编译器环境1. 扩展工具下载2. 扩展工具配置 前言 由于Visual Studio 的功能强大,很多开发人员比较熟悉使用,所以可以通过将QT配置到Visual Studio中进行开发。 一. QT的下载与安装 1. QT的下载 QT5.14.2下载地址 2. QT的安装 断开网络!断开网络!!断开网络!!! 安装QT之前,需要断开电脑的网络连接,这样就

Zander0的博客 7250

大数据量的存储分表常见算法

当一个应用的数据量大的时候,我们用单表和单库来存储会严重影响操作速度,如mysql的myisam存储,我们经过测试,200w以下的时候,mysql的访问速度都很快,但是如果超过200w以上的数据,他的访问速度会急剧下降,影响到我们webapp的访问速度,而且数据量太大的话,如果用单表存储,就会使得系统相当的不稳定,mysql服务很容易挂掉。所以当数据量超过200w的时候,建议系统工程师还是考虑分表

树蛙PHPER 1533

从零开始开发AI Agent:基于大模型的智能体实战指南

### 摘要 本文介绍了AI Agent的开发全流程,从基础概念到实际部署,涵盖大模型集成、工具调用和记忆系统构建等核心技术。通过电商客服案例展示实战应用,并提供调试优化与部署方案,最后展望了AI Agent的未来发展方向,帮助开发者快速掌握智能体开发技能。

ghs_gss的博客 4868

玩转MySQL:如何在高并发大流量情况下正确分库分表海量数据

话归正题,分库分表这个概念基本上碰过数据库的小伙伴都有听说过,但很多小伙伴对这块具体该如何落地并不清楚,因此接下来这篇会先阐述MySQL分库分表的方法论,以及详细讲解分库分表后产生的后患问题,但在此之前先送上一句话,请牢记:不要为了分库分表而分库分表!!引入SOA架构中的一句话:架构不是一蹶而起的,而是慢慢演进的。只有真正需要分库分表来解决问题时,才去真正的做拆分,否则会导致很多不必要的麻烦产生,

Java_LingFeng的博客 1957

macOS安装Cplex+yalmip

macOS安装Cplex+yalmip

DS 4251

炸金花游戏(3)--基于EV(期望收益)的简单AI模型

前言:   炸金花这款游戏, 从技术的角度来说, 比德州差了很多. 所以他的AI模型也相对简单一些. 本文从EV(期望收益)的角度, 来尝试构建一个简单的炸金花AI. 相关文章:  德州扑克AI--Programming Poker AI(译).  系列文章说来惭愧, 之前一直叫嚷着写德州AI, 不过可惜懒癌晚期, 一直没去实践, T_T. 相比而言,***简单很多, 也更偏重于运...

weixin_30377461的博客 2345

订单表的分库分表方案设计(大数据)

原创文章,转载注明出处 一、两种方案分库分表 一般业界,对订单数据的分库分表,笔者了解,有两类思路:按照订单号来切分、按照用户id来切分。 方案一、按照订单号来做hash分散订单数据 把订单号看作是一个字符串,做hash,分散到多个服务器去。 具体到哪个库、哪个表存储数据呢?订单号里面的数字来记录着。 现在的微信红...

weixin_34010949的博客 752

Python编程基础05:运算符与表达式

文章目录一、算术运算符1、分类说明表2、注意事项3、案例演示任务1、计算成绩差与平均成绩课堂练习:编程处理带余除法。任务2、打印购物小票 运算符就是专门用于告诉程序执行特定运算或逻辑操作的符号。表达式是指由常量、变量和运算符组成的一个算式。编写程序对数据进行处理,其实处理就是对数据实施各种各样的运算,搞懂运算符与表达式是我们编写程序的基础性工作,本次讲课笔记通过案例讲解各种运算符的用法以及正确书写Python表达式的注意事项。 一、算术运算符 Python中的算术运算符就是用来处理四则运算的符号,也是

howard2005的专栏 3121

MyBatisPlus自动分表应对CosyVoice3大数据量存储

针对CosyVoice3语音合成服务中数据量激增导致的数据库性能瓶颈,通过MyBatisPlus集成ShardingSphere-JDBC实现按月自动分表。方案无需改造业务代码,透明路由SQL到对应物理表,显著提升查询效率与写入稳定性,解决单表过大引发的锁争用、索引失效等问题,为高并发场景提供低成本可扩展的数据架构路径。

weixin_35755562的博客 584

计算机组成原理(第三版)唐朔飞-第三章系统总线-课后习题

计算机组成原理(第三版)唐朔飞-第三章系统总线-课后习题

weixin_45735391的博客 6万+

LAMMPS后处理—如何构建二维云图-接触角呢?

计算接触角

Rockyoung 6526

Puter分库分表实践:解决大数据量存储的扩展性问题

Puter是一个先进、开源的互联网操作系统,旨在构建功能丰富、快速可扩展的云操作系统。随着用户数量和业务数据的快速增长,传统单数据库架构面临性能瓶颈,**Puter分库分表**成为解决大数据量存储扩展性的关键技术方案。本文将深入探讨Puter如何通过创新的存储架构和数据库分片策略应对海量数据挑战。 ## 🚀 Puter存储架构概览 Puter采用多层存储架构设计,通过模块化方式实现数据存储的

gitblog_00382的博客 767

PSM倾向性评分分析介绍、spss进行倾向性评分分析示例

PSM倾向性评分分析介绍、spss进行倾向性评分分析示例

statistics+insight+vista+power 1484

大数据量数据存储分表实例(企业级应用系统)附原码

大数据量数据存储分表实例(企业级应用系统) 随着数据不断增长,数据库中单表无法满足大数据量的存储,所以我们就提出按照自然时间、单站点信息分表来存储大量秒级数据。 例如:大气、水利、交通(GPS)信息监测系统中的实时数据进行存储,一般时按照开始时间、结束时间、单站点、多站点、监测项目等方式进行数据查询、分析、图表。 如 按5分钟单站点的数据12*24(小时)*365(天)*(监测项)10=100W ,也就是一个站点一年数据量 100w条,

dengjc2011的博客 3875

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

大数据量的存储分表常见算法(转)

       当一个应用的数据量大的时候,我们用单表和单库来存储会严重影响操作速度,如mysql的myisam存储,我们经过测试,200w以下的时候,mysql的访问速度都很快,但是如果超过200w以上的数据,他的访问速度会急剧下降,影响到我们webapp的访问速度,而且数据量太大的话,如果用单表存储,就会使得系统相当的不稳定,mysql服务很容易挂掉。所以当数据量超过200w的时候,建议系统工程...

weixin_34248849的博客 237

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

分库分表算法

假设目前有一个电商系统使用的是MySQL,要设计大数据量存储、高并发、高性能可扩展的方案,数据库中有用户表。用户会非常多,并且要实现高扩展性,应该怎么分库分表?1.Range范围 2.Hash哈希取模 3.一致性哈希

★【World Of Moshow 郑锴】★ 3598

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

mysql分表的3种方法

一,先说一下为什么要分表 当一张的数据达到几百万时,你查询一次所花的时间会变多,如果有联合查询的话,我想有可能会死在那儿了。分表的目的就在于此,减小数据库的负担,缩短查询时间。 根据个人经验,mysql执行一个sql的过程如下: 1,接收到sql;2,把sql放到排队队列中 ;3,执行sql;4,返回执行结果。 在这个执行过程中最花时间在什么地方呢? 第一,是排队等待的时...

一只苟延残喘的卑微蝼蚁 6808

大数据量的存储,以及分表常见算法及其带来的问题,和微薄url的加密规则猜想

当一个应用的数据量大的时候,我们用单表和单库来存储会严重影响操作速度,如mysql的myisam存储,我们经过测试,200w以下的时候,mysql的访问速度都很快,但是如果超过200w以上的数据,他的访问速度会急剧下降,影响到我们webapp的访问速度,而且数据量太大的话,如果用

lawliet_tang的专栏 534

水平分表和垂直分表

将一张表中的数据,按照某种规则(如 user_id、订单号)分散存储到多个相同结构的表中,每张表只存一部分数据,减少单表数据量。将一张表中字段较多的列,按照业务或功能进行拆分,分成多个表,每张表只存部分字段,减少单次查询的数据量和 I/O。维度水平分表垂直分表拆分方式按行拆,数据量大了按规则分多表按列拆,字段多了按功能分多表表结构完全相同不同(字段按功能分类)典型场景用户、订单、交易、日志表用户信息、商品详情、内容表解决问题数据量过大导致性能下降表字段过多,查询慢、I/O 高。

m0_69529796的博客 515

PostgreSql系列(一)分表实践,大数据量下分类型分月存储

数据库的表继承,面向对象的思想也可以应用在数据库中

坚持、死磕、重复 1112
上一篇: 代码质量管理工具
下一篇: flex错误Error #2044: 未处理的 ErrorEvent:。 text=Error #3702: Context3D 不可用
软件造物主
博客等级 码龄20年 33粉丝 106原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值