数据库与数据处理
关注
分享
扫一扫
文章平均质量分 95
数据库与数据处理
Wu_Menghao
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
[搬运]Ali Canal Prometheus QuickStart
Prometheus QuickStartlcybo edited this pageon 29 Aug 2018·3 revisionsPages38Contents 目录Home Introduction/简介 Quick Start QuickStart Docker QuickStart Canal Kafka/RocketMQ QuickStart Aliyun RDS QuickStart Prometheus QuickStart Cl...原创 2022-03-24 10:08:04 · 379 阅读 · 0 评论 -
MYSQL——B-Tree索引与hash索引的比较
B-Tree索引与hash索引的比较对B-Tree索引和hash索引的数据结构的理解可以帮助我们预测，在它们索引上使用到这些数据结构的存储引擎上不同的查询是如何进行的。特别是使用MEMORY存储引擎的时候，你需要去选择使用B-Tree索引或者书hash索引。B-Tree索引的特点1、B-Tree索引可使用=, >, >=, <, <=, or BETWEEN运算符进行列值的比较。B-Tree索引也可以用于LIKE匹配，但LIKE关键字后的字符串常量必须不是以模糊字符开头.原创 2020-09-23 14:12:35 · 219 阅读 · 0 评论 -
MYSQLMYSQL存储过程与游标学习(二)
-- 处理试剂关联方法-- DROP PROCEDURE UpdateKitRelateMethod;DELIMITER //CREATE PROCEDURE UpdateKitRelateMethod()BEGIN DECLARE GKI INT(11) UNSIGNED; DECLARE RMI INT(11) UNSIGNED; DECLARE RMTI INT(11)...原创 2019-12-11 15:43:07 · 297 阅读 · 0 评论 -
MYSQL中游标的定义与使用
仅借鉴学习创建游标首先在MySql中创建一张数据表：CREATE TABLE IF NOT EXISTS `store` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(20) NOT NULL, `count` int(11) NOT NULL DEFAULT '1', PRIMARY KEY (`id...转载 2019-12-11 14:26:14 · 322 阅读 · 0 评论 -
SQL 查询的执行顺序
很多 SQL 查询都是以 SELECT 开始的。不过，最近我跟别人解释什么是窗口函数，我在网上搜索”是否可以对窗口函数返回的结果进行过滤“这个问题，得出的结论是”窗口函数必须在 WHERE 和 GROUP BY 之后，所以不能”。于是我又想到了另一个问题：SQL 查询的执行顺序是怎样的？好像这个问题应该很好回答，毕竟自己已经写了上万个 SQL 查询了，有一些还很复杂。但事实是，我仍然很难确...转载 2019-10-23 14:11:43 · 661 阅读 · 0 评论 -
MYSQL数据库引擎介绍
数据库引擎介绍MySQL数据库引擎取决于MySQL在安装的时候是如何被编译的。要添加一个新的引擎，就必须重新编译MYSQL。在缺省情况下，MYSQL支持三个引擎：ISAM、MYISAM和HEAP。另外两种类型INNODB和BERKLEY（BDB），也常常可以使用。如果技术高超，还可以使用MySQL+API自己做一个引擎。下面介绍几种数据库引擎： ISAM：ISAM是一个定义明确且历经...转载 2019-10-17 11:38:06 · 304 阅读 · 0 评论 -
MySQL中的锁（表锁、行锁，共享锁，排它锁，间隙锁）与避免死锁
目录MySQL锁概述MyISAM表锁如何加表锁查询表级锁争用情况并发插入（Concurrent Inserts）MyISAM的锁调度InnoDB锁获取InonoD行锁争用情况InnoDB的行锁模式及加锁方法InnoDB行锁实现方式间隙锁（Next-Key锁）什么时候使用表锁关于死锁小结锁是计算机协调多个进程或线程并发访问某一资源的机制。在...转载 2019-10-15 17:30:40 · 495 阅读 · 0 评论 -
MYSQL纵表转横表
一、表结构（1）import_genedata（2）gene_info二、存储过程编写DROP PROCEDURE GeneInfoDeal;DROP PROCEDURE GeneInfoUniprotSelect;-- 每个不重复uniprot的处理CREATE PROCEDURE GeneInfoDeal( uniprot VARCHAR(255))B...原创 2019-06-19 12:50:10 · 1356 阅读 · 0 评论 -
SELECT语句执行顺序
SELECT语句执行顺序FROM <left_table> ON <join_condition> <join_type> JOIN <right_table> WHERE <where_condition> GROUP BY <group_by_list> HAVING <having_condition...原创 2019-06-09 10:20:43 · 129 阅读 · 0 评论 -
MySQL配置字符编码，所有客户端连接字符编码默认UTF8
修改my.cnf配置文件，加入以下配置[client]default-character-set=utf8[mysql]default-character-set=utf8[mysqld]collation-server = utf8_unicode_ciinit-connect='SET NAMES utf8'character-set-server = utf8...原创 2019-03-28 12:27:38 · 2402 阅读 · 0 评论 -
MySQL视图简介及优缺点
数据库视图是虚拟表或逻辑表，它被定义为具有连接的SQL SELECT查询语句。 因为数据库视图与数据库表类似，它由行和列组成，因此可以根据数据库表查询数据。 大多数数据库管理系统(包括MySQL)允许您通过具有一些先决条件的数据库视图来更新基础表中的数据。数据库视图是动态的，因为它与物理模式无关。数据库系统将数据库视图存储为具有连接的SQL SELECT语句。当表的数据发生变化时，视图也反...转载 2019-03-19 20:28:17 · 488 阅读 · 0 评论 -
MySQL 5.7 主从配置
MySQL进行主从配置可以降低服务器压力，提高服务器的可用性。设置步骤如下：环境：服务器1：Centos Linux 7.3 ip: 172.16.0.102服务器2：Centos Linux 7.3 ip: 172.16.0.104MySQL：mysql5.7.181，配置主服务器修改/etc下的修改my.cnf文件，在[mysqld]下面增加下面几行，然后重启MySQL...转载 2019-01-26 11:54:50 · 262 阅读 · 0 评论 -
MySQL性能优化总结
一、MySQL的主要适用场景1、Web网站系统2、日志记录系统3、数据仓库系统4、嵌入式系统二、MySQL架构图： 三、MySQL存储引擎概述1）MyISAM存储引擎MyISAM存储引擎的表在数据库中，每一个表都被存放为三个以表名命名的物理文件。首先肯定会有任何存储引擎都不可缺少的存放表结构定义信息的.frm文件，另外还有.MYD和.MYI文件，分别存放了表...转载 2019-01-24 11:43:25 · 219 阅读 · 0 评论 -
Centos7通过yum安装最新MySQL
一：去官网查看最新安装包https://dev.mysql.com/downloads/repo/yum/二：下载MySQL源安装包wget http://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm安装MySql源yum -y install mysql57-community-release-...转载 2019-01-18 14:00:21 · 195 阅读 · 0 评论 -
JDBC参数设置——允许执行多条SQL
属性: 属性名:allowMultiQueries 作用:允许执行多条SQL 使用:添加在jdbcUrl中 示例:jdbc:mysql://127.0.0.1:3306/database?useUnicode=true&characterEncoding=utf8&allowMultiQueries=true...原创 2019-01-11 16:15:39 · 2639 阅读 · 0 评论 -
一千行 MySQL 详细学习笔记（值得学习与收藏）
Windows服务-- 启动MySQL net start mysql-- 创建Windows服务 sc create mysql binPath= mysqld_bin_path(注意：等号与值之间有空格)连接与断开服务器mysql -h 地址 -P 端口 -u 用户名 -p 密码SHOW PROCESSLIST -- 显示哪些线程正在运行SHOW VAR...转载 2019-01-05 16:40:05 · 246 阅读 · 0 评论 -
MySQL函数大全
MySQL数据库提供了很多函数包括：数学函数； 字符串函数； 日期和时间函数； 条件判断函数； 系统信息函数； 加密函数； 格式化函数；一、数学函数 数学函数主要用于处理数字，包括整型、浮点数等。函数 作用 ABS(x) 返回x的绝对值 SELECT ABS(-1) -- 返回1 CEIL(x),CEILING(x)...转载 2019-01-04 19:20:56 · 245 阅读 · 0 评论 -
数据库命名规范
1.1数据库对象 对象 前缀 数据库 无 表 无 视图 VI 索引 IX 存储过程 SP 函数 FN ...转载 2018-12-05 14:01:15 · 1391 阅读 · 0 评论 -
MySQL的btree索引和hash索引的区别
Hash 索引结构的特殊性，其检索效率非常高，索引的检索可以一次定位，不像B-Tree 索引需要从根节点到枝节点，最后才能访问到页节点这样多次的IO访问，所以 Hash 索引的查询效率要远高于 B-Tree 索引。可 能很多人又有疑问了，既然 Hash 索引的效率要比 B-Tree 高很多，为什么大家不都用 Hash 索引而还要使用 B-Tree 索引呢？任何事物都是有两面性的，Hash 索引...转载 2018-12-05 08:40:42 · 147 阅读 · 0 评论 -
mysql索引的使用和优化
mysql索引的使用和优化 关于MySQL索引的好处，如果正确合理设计并且使用索引的MySQL是一辆兰博基尼的话，那么没有设计和使用索引的MySQL就是一个人力三轮车。对于没有索引的表，单表查询可能几十万数据就是瓶颈，而通常大型网站单日就可能会产生几十万甚至几百万的数据，没有索引查询会变的非常缓慢。还是以WordPress来说，其多个数据表都会对经常被查询的字段添加索引，比如wp_c...转载 2018-12-05 08:37:58 · 219 阅读 · 0 评论 -
MYSQL存储过程与游标学习
自己随便写了一个统计用户权限数量插入对应表的案例CREATE TABLE IF NOT EXISTS u_user_role_count ( `id` BIGINT NOT NULL AUTO_INCREMENT COMMENT "表ID", `uid` BIGINT NOT NULL COMMENT "用户ID", `uname` VARCHAR(16) DEFAULT NULL C...原创 2018-10-30 17:41:30 · 267 阅读 · 0 评论 -
MySQL的优化(二) —— SQL语句优化
一、EXPLAIN做MySQL优化，我们要善用 EXPLAIN 查看SQL执行计划。下面来个简单的示例，标注(1,2,3,4,5)我们要重点关注的数据 type列，连接类型。一个好的sql语句至少要达到range级别。杜绝出现all级别 key列，使用到的索引名。如果没有选择索引，值是NULL。可以采取强制索引方式 key_len列，索引长度 row...转载 2019-07-25 08:59:46 · 168 阅读 · 0 评论 -
MySQL 5.7 多实例安装部署实例
1. 背景 MySQL数据库的集中化运维，可以通过在一台服务器上，部署运行多个MySQL服务进程，通过不同的socket监听不同的服务端口来提供各自的服务。各个实例之间是相互独立的，每个实例的datadir, port, socket, pid都是不同的。2. 多实例特点 * 有效利用服务器资源，当单个服务器资源有剩余时，可以充分利用剩余的资源提供更多的服务。 * 资源互相抢...转载 2019-01-26 08:45:14 · 402 阅读 · 1 评论 -
MySQL 定时备份
一、安装crontabs crond是linux系统中用来定期执行命令或者指定程序任务的一种服务或者软件。（用rpm -qa | grep crontab查看是否安装，如果没有安装就执行 yum install -y crontabs ）[root@izbp1938t1plpjxn10fcqwz ~]# yum install crontab -yLoaded plugins...原创 2019-09-20 15:17:51 · 333 阅读 · 0 评论 -
一条SQL语句执行得很慢的原因有哪些？
一、开始装逼：分类讨论一条SQL语句执行的很慢，那是每次执行都很慢呢？还是大多数情况下是正常的，偶尔出现很慢呢？所以我觉得，我们还得分以下两种情况来讨论。1、大多数情况是正常的，只是偶尔会出现很慢的情况。2、在数据量不变的情况下，这条SQL语句一直以来都执行的很慢。针对这两种情况，我们来分析下可能是哪些原因导致的。二、针对偶尔很慢的情况一条SQL大多数情况正常...转载 2019-05-08 09:23:23 · 131 阅读 · 0 评论 -
MySQL的优化(一) —— 索引优化
索引的优点大大加快数据的查询速度 使用分组和排序进行数据查询时，可以显著减少查询时分组和排序的时间 创建唯一索引，能够保证数据库表中每一行数据的唯一性 在实现数据的参考完整性方面，可以加速表和表之间的连接索引的缺点创建索引和维护索引需要消耗时间，并且随着数据量的增加，时间也会增加 索引需要占据磁盘空间 对数据表中的数据进行增加，修改，删除时，索引也要动态的维护，降低了维护...转载 2019-05-08 08:48:53 · 151 阅读 · 0 评论 -
Mysql时区问题导致前端时间显示异常解决
MySQL 时区默认是服务器的时区。可以通过以下命令查看SQL代码mysql> show variables like ‘%time_zone%’;+——————+——–+| Variable_name | Value |+——————+——–+| system_time_zone | CST || time_zone | SYSTEM |+——————+...原创 2019-01-28 11:33:46 · 884 阅读 · 0 评论 -
mysqld_multi 没法stop
在启用MySQL多实例中，很多环境会选择使用mysqld_multi管理多实例，但不幸的是从MySQL 5.6 后，mysqld_mutli不能把MySQL关掉了。对于这个问题的处理办法，首先确认mysqladmin -h127.0.0.1 -P3307 -umdev -p shutdownormysqladmin -S /tmp/mysql3307.sock -umdev -p ...转载 2019-01-26 11:55:46 · 492 阅读 · 0 评论 -
SSM/SSH框架的MySQL 读写分离实现的一种简单方法
简介 MySQL已经是使用最为广泛的一种数据库，往往实际使用过程中，为实现高可用及高性能，项目会采用主丛复制的方式实现读写分离。MySQL本身支持复制，通过简单的配置即可实现一主多从的配置，具体实现可参考https://www.cnblogs.com/luckcs/articles/6295992.html（GTID模式）。一主多从从数据库的层次解决了读写分离的问题，主库负责读写操...转载 2019-04-03 11:49:35 · 315 阅读 · 0 评论 -
mysql配置文件 /etc/my.cnf 详细解释
mysql配置文件 /etc/my.cnf 详细解释 basedir = path 使用给定目录作为根目录(安装目录)。 character-sets-dir = path 给出存放着字符集的目录。 datadir = path 从给定目录读取数据库文件。 ...转载 2019-03-28 11:07:20 · 1796 阅读 · 0 评论 -
使用mysqldump对MYSQL进行数据备份与恢复
第5章：数据库管理/5.9. 备份与恢复/ 5.9.2. 示例用备份与恢复策略5.9.2.1. 备份策略5.9.2.2. 为恢复进行备份5.9.2.3. 备份策略摘要本节讨论进行备份的程序，在出现崩溃后，可以恢复数据：·操作系统崩溃·电源故障·文件系统崩溃·硬件问题(硬盘、...原创 2019-03-30 17:05:16 · 361 阅读 · 0 评论 -
MYSQL数据库管理语句
第13章： SQL语句语法/13.5. 数据库管理语句/ 13.5.1. 账户管理语句13.5.1.1. CREATE USER语法13.5.1.2. DROP USER语法13.5.1.3. GRANT和REVOKE语法13.5.1.4. RENAME USER语法13.5.1.5. SET PASSWORD语法13.5.1.5. SET PASSWORD语法...原创 2019-03-30 14:44:02 · 550 阅读 · 0 评论 -
MySQL多实例启动停止
说明：本实验以MySQL 5.1为例来实验。1、安装MySQL 5.1yum install mysql mysql-server mysql-libs mysql-devel -y2、创建相关目录并初始化mkdir -p /data/mysql1 /data/mysql2mysql_install_db --datadir=/data/mysql1 ...转载 2019-06-10 09:26:35 · 881 阅读 · 0 评论 -
MySQL配置文件my.cnf的参数解析
一、缘由 最近要接手数据库的维护工作，公司首选MySQL。对于MySQL的理解，我认为很多性能优化工作、主从主主复制都是在调整参数，来适应不同时期不同数量级的数据。故，理解透彻my.cnf里的参数是永恒的话题；只有理解透彻了参数设置，才能在某些方面对数据库进行调优。二、参数详解（补充ing...）[client] #客户端设置，即客户端默...转载 2019-06-10 09:31:32 · 401 阅读 · 0 评论 -
mysql主从同步常见错误以及解决方法总结
前言在发生故障切换后，经常遇到的问题就是同步报错，数据库很小的时候，dump完再导入很简单就处理好了，但线上的数据库都150G-200G，如果用单纯的这种方法，成本太高，故经过一段时间的摸索，总结了几种处理方法。生产环境架构图目前现网的架构，保存着两份数据，通过异步复制做的高可用集群，两台机器提供对外服务。在发生故障时，切换到slave上，并将其变成master，坏掉的机器反向同步新的...转载 2019-07-02 12:47:13 · 1259 阅读 · 0 评论 -
实战-MySQL定时全量备份
概要 引言 全量备份 恢复全量备份 定时备份 引言在产品上线之后，我们的数据是相当重要的，容不得半点闪失，应该做好万全的准备，搞不好哪一天被黑客入侵或者恶意删除，那就 gg 了。所以要对我们的线上数据库定时做全量备份与增量备份。例如：每天做一次增量备份，每周做一次全量备份。以下所涉及的操作系统为 centos7 。GitHub 地址：ht...转载 2019-08-13 18:34:00 · 144 阅读 · 0 评论 -
mysql dump备份结合binlog日志恢复讲解
查看Mysql binlog日志mysqlbinlog --no-defaults iZbp1gwwsckn9afrdy0itkZ-relay-bin.000020 | grep 'CREAT DATABASE `brill_lab`'dump方式全量备份Mysqlmysqldump -u root -p --flush-logs --master-data=1 brill_l...原创 2019-08-13 18:30:42 · 333 阅读 · 0 评论 -
MySQL mysqld命令参数详情
C:\Program Files\MySQL\MySQL Server 5.7\bin\mysqld.exe Ver 5.7.23 for Win64 on x86_64 (MySQL Community Server (GPL))Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.Orac...原创 2019-07-23 15:05:41 · 4978 阅读 · 0 评论 -
MySQL 数据库连接Replication协议设置主从链接和从库只读
MySQL Connector/J 8.0 Developer Guide/Multi-Host Connections/ Configuring Server Failover9.1Configuring Server FailoverMySQL Connector/J supports server failover. A failover happens when...转载 2019-07-23 14:52:32 · 659 阅读 · 0 评论 -
spring集成mybatis实现mysql读写分离
前言 在网站的用户达到一定规模后,数据库因为负载压力过高而成为网站的瓶颈。幸运的是目前大部分的主流数据库都提供主从热备功能，通过配置两台数据库主从关系，可以将一台数据库的数据更新同步到另一台服务器上。网站利用数据库的这一功能，实现数据库读写分离，从而改善数据库负载压力。如下图所示： 应用服务器在写数据的时候，访问主数据库，主数据库通过主从复制机制将数据更新同步到从...转载 2019-07-10 09:03:25 · 188 阅读 · 0 评论