
数据
文章平均质量分 96
数据存储
Allen-xs
一个工作60年的程序员
展开
-
MySQL索引优化分析和锁详解
索引(index)是帮助MySQL高效获取数据的数据结构(有序)1、前导模糊查询不能使用索引, 如name like ‘%涛’2、Union、in、or可以命中索引,建议使用in。3、负条件查询不能使用索引,可以优化为in查询,其中负条件有!=、、not in、not exists、not like等4、联合索引最左前缀原则,又叫最左侧查询,如果在(a,b,c)三个字段上建立联合索引,那么它能够加快a|(a,b)|(a,b,c)三组的查询速度。原创 2023-07-26 21:44:30 · 807 阅读 · 0 评论 -
TiDB-亿级订单数据亚秒响应查询方案
TiDB 是一个分布式 NewSQL 数据库,它支持水平弹性扩展、ACID 事务、标准 SQL、MySQL 语法和 MySQL 协议,具有数据强一致的高可用特性,是一个不仅适合 OLTP 场景还适合 OLAP 场景的混合数据库。原创 2023-07-04 22:00:00 · 1237 阅读 · 0 评论 -
ElasticSearch 索引设计
创建索引就像创建表结构一样,必须非常慎重的,索引如果创建不好后面会出现各种各样的问题在创建索引时,可以预先定义字段的类型(映射类型)及相关属性数据库建表的时候,DDL依据一般都会指定每个字段的存储类型,例如:varchar、int、datetime等,目的很明确,就是更精确的存储数据,防止数据类型格式混乱,在Elasticsearch中也是这样,创建索引的时候一般也需要指定索引的字段类型,这种方式称为映射(Mapping)分词器的主要作用将用户输入的一段文本,按照一定逻辑,分析成多个词语的一种工具。原创 2023-07-02 16:46:11 · 951 阅读 · 0 评论 -
高性能分布式缓存Redis(三) 扩展应用
布隆过滤器(英语:Bloom Filter)是 1970 年由Burton Howard Bloom提出的,是一种空间效率高的概率型数据结构。本质上其实就是一个很长的二进制向量和一系列随机映射函数。专门用来检测集合中是否存在特定的元素。原创 2023-07-01 12:35:43 · 624 阅读 · 0 评论 -
高性能分布式缓存Redis(二) 高级应用
RDB:在指定的时间间隔能对你的数据进行快照存储。RDB持久化是将当前进程中的数据生成快照保存到硬盘(因此也称作快照持久化),保存的文件后缀是rdb;当Redis重新启动时,可以读取快照文件恢复数据。在我们安装了redis之后,所有的配置都是在redis.conf文件中,里面保存了RDB和AOF两种持久化机制的各种配置。优势执行效率高,适用于大规模数据的备份恢复。自动备份不会影响主线程工作。备份的文件占用空间小。其备份的是数据快照,相对于AOF来说文件大小要小一些。劣势可能会造成部分数据丢失。原创 2023-06-30 21:50:37 · 482 阅读 · 0 评论 -
高性能分布式缓存Redis(一) 快速实战
简单来说Redis 就是一个使用 C 语言开发的数据库,不过与传统数据库不同的是Redis 的数据是存在内存中的,也就是它是内存数据库,所以读写速度非常快,因此 Redis 被广泛应用于缓存方向。另外,Redis 除了做缓存之外,Redis 也经常用来做分布式锁,甚至是消息队列。Redis 提供了多种数据类型来支持不同的业务场景。Redis 还支持事务 、持久化、Lua 脚本、多种集群方案。Redis应用场景缓存使用,减轻DB压力DB使用,用于临时存储数据(字典表,购买记录)原创 2023-06-30 21:49:29 · 292 阅读 · 0 评论 -
无限容量分布式文件存储解决方案
FastDFS 是一个轻量级、开源的、高性能、分布式的文件系统。文件存储文件同步文件访问(文件上传和文件下载)解决了大容量存储和负载均衡的问题FastDFS 非常适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制。并注重高可用、高性能等指标。使用FastDFS很容易搭建一套高性能的文件服务器集群,提供文件上传、下载等服务。FastDFS是一种轻量级对象存储解决方案。原创 2023-06-28 21:23:20 · 1232 阅读 · 2 评论 -
MongoDB集群搭建(四)
因为由多个容器,配置文件是一样的,只需要创建一个配置文件,其他的容器统一读取该配置文件即可,因为Mongos只负责路由,就不需要数据文件了,并且mongos服务是不负责认证的,需要将。因为有多个容器,配置文件是一样的,只需要创建一个配置文件,其他的容器统一读取该配置文件即可。因为有多个容器,配置文件是一样的,只需要创建一个配置文件,其他的容器统一读取该配置文件即可。因为由多个容器,配置文件是一样的,只需要创建一个配置文件,其他的容器统一读取该配置文件即可。是无中心的配置,所有需要每一台都需要进行分片配置。原创 2023-06-26 21:05:45 · 1173 阅读 · 0 评论 -
MongoDB基本使用(一)
NoSQL(NoSQL = Not Only SQL ),意即”不仅仅是SQL”。在现代的计算系统上每天网络上都会产生庞大的数据量, 这些数据有很大一部分是由关系数据库管理系统(RDBMS)来处理。1970年 E.F.Codd’s提出的关系模型的论文 “A relational model of data for large shared data banks”,这使得数据建模和应用程序编程更加简单。原创 2023-06-24 19:00:41 · 2679 阅读 · 0 评论 -
MySQL千亿级数据生产环境扩容
但是在极限情况下, 即便通过上面的数据校验处理, 也有可能出现99.99%数据一致, 不能保障完全一致,这个时候可以在旧库做一个readonly只读功能, 或者将流量屏蔽降级,等待日志增量同步工具完全追平后, 再进行新库的切换。修复切换异常数据:在切换过程中, 如果出现,Canal未同步,但已切换至新库的请求(比如下单,修改了资金, 但还未同步 ), 可以通过定制程序, 读取检测异常日志,做自动修复或人工处理。线上数据库,为了保障其高可用,一般每台主库会配置一台从库,主库负责读写,从库负责读取。原创 2023-06-21 20:28:16 · 309 阅读 · 0 评论