小小博客爱分享

最近天天听到一个朋友向我抱怨他十点还在加班做数据报表，跟他推荐了这个报表制作工具以后，他几乎天天准点回家陪老婆孩子了。

依托于互联网的发达，我们可以随时随地利用一些等车或坐地铁的碎片时间学习以及了解资讯。同时发达的互联网也方便人们能够快速分享自己的知识，与相同爱好和需求的朋友们一起共同讨论。但是过于方便的分享也让知识变得五花八门，很容易让人接收到错误的信息。这些错误最多的都是因为技术发展迅速，而且没有空闲时间去及时更新已经发布的内容所导致。为了避免给后面学习的人造成误解，我们今天来看一看 MySQL 设计规范中几个常见的错误例子。主键的设计错误的设计规范：主键建议使用自增 ID 值，不要使用 UUID，MD5，H

本章节将为大家介绍如何防止SQL注入，并通过脚本来过滤SQL中注入的字符。SQL注入可能是目前互联网上存在的最丰富的编程缺陷。 这是未经授权的人可以访问各种关键和私人数据的漏洞。 SQL注入不是Web或数据库服务器中的缺陷，而是由于编程实践较差且缺乏经验而导致的。 它是从远程位置执行的最致命和最容易的攻击之一。我们永远不要信任用户的输入，我们必须认定用户输入的数据都是不安全的，我们都需要对用户输入的数据进行过滤处理。以下实例中，输入的用户名必须为字母、数字及下划线的组合，且用户名长度为 8 到

关系键是关系数据库的重要组成部分。关系键是一个表中的一个或几个属性，用来标识该表的每一行或与另一个表产生联系。 其中就包括外键1 主键（primary key或unique key）又称主码，数据库表中对储存数据对象予以唯一和完整标识的数据列或属性的组合。一个数据列只能有一个主键，且主键的取值不能缺失，即不能为null。技术角度看，primary key和unique key有相似之处。但还是有差异：作为primary key的域／域组不能为null；而unique key可以 在一个表中

先回顾下之前操作数据库的方式，用的是jdbc连接数据库，（操作java代码来操作数据库）jdbc就是一个接口，用它可以来访问数据库，操作数据库。jbbc操作mysql数据库步骤：因为用statement有sql注入的危险，后来使用的是preparedStatement。详情自行复习。jdbc如果有大量的连接怎么办，每次连接都要向数据库要求一个connection,这样会造成数据库的很多系统资源，甚至会导致系统崩溃，后来就有了连接池来解决这个问题。数据库连接池的基本思想就是为数据库连接建立

有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。本章节我们将为大家介绍如何防止数据表出现重复数据及如何删除数据表中的重复数据。防止表中出现重复数据你可以在 MySQL 数据表中设置指定的字段为 PRIMARY KEY（主键） 或者 UNIQUE（唯一） 索引来保证数据的唯一性。让我们尝试一个实例：下表中无索引及主键，所以该表允许出现多条重复记录。CREATE TABLE person_tbl( first_na

1、为什么UNIONALL比UNION快？ 答：因为在使用UNION的时候，需要删除重复的记录，但是使用UNION ALL的时候不用删除。所以如果在知道需要UNION的查询不可能出现重复数据的时候，一定要使用UNIONALL。2、什么是唯一索引? 答：唯一索引可以确保索引列不包含重复的值。在多列唯一索引的情况下，该索引可以确保索引列中每个值组合都是唯一的。聚集索引和非聚集索引都可以是唯一的。因此，只要列中的数据是唯一的，就可以在同一个表上创建一个唯一的聚集索引和多个...

一、什么叫SQL注入攻击？sql注入简介SQL注入是较为普遍的互联网攻击方法，它并不是通过电脑操作系统的BUG来完成攻击，而是对于程序编写时的疏漏，利用SQL语句，达到无帐号登录，乃至改动数据库的目的。SQL注入产生的原因便是：没经查验或是未充分检验的输入数据，出现意外变成了sql代码而被执行。对于SQL注入，则是递交的数据，被数据库系统编译而造成了开发人员预估以外的问题。也就是说，SQL注入是用户的输入信息，在连接SQL语句的过程中，跨越了数据本身，变成了SQL语句逻辑的一部分，随后被拼凑的SQL

MySQL 序列是一组整数：1, 2, 3, …，由于一张数据表只能有一个字段自增主键， 如果你想实现其他字段也实现自动增加，就可以使用MySQL序列来实现。本章我们将介绍如何使用MySQL的序列。使用 AUTO_INCREMENTMySQL 中最简单使用序列的方法就是使用 MySQL AUTO_INCREMENT 来定义列。实例以下实例中创建了数据表 insect， insect 表中 id 无需指定值可实现自动增长。mysql> CREATE TABLE insect

前言：MySQL 8.0第一个GA（General Availability）版本（正式、可用于生产的版本）于2018/4/19发布至今已有3年。8.0是一个全新的版本，增加了数百项功能新特性，重构了SQL解析器，在性能和安全性上越来越向商业数据库靠拢。5.7版本优越的稳定性和性能已经广泛应用，如今性能、安全性和众多企业级特性提升让我们思考是否该使用8.0版本。本文从以下几个方面来了解一下。01官方补丁维护生命周期管理如上图所示，这是oracle官方对软件产品的生命周期管理，MySQL被收.

自我介绍正常介绍就好。报下大名，经历公司与参与项目，负责事项与业绩产出。思想和方法论数据仓库理解：架构、分层 数据仓库理解：主题域、好处 范式建模和维度建模区别，混合使用 场景举例 两种建模的解释和理解 区别 雪花模型 星型模型 解释理解 实体建模和维度建模区别 ER模型图理解解释 模型会随着业务进行迭代优化手段 拉链表理解解释 场景举例，全量拉链vs增量拉链 数据质量如何保证的 讲一下数据治理 如何做元数据管理，实践 怎么理解数据中台与OneData思想Hive...

所谓元数据，就是表示数据本身或关系的数据，这些数据会有点奇怪，一般来说，只要不是我们存储到数据库里的数据，大多都可以理解为元数据。描述数据库的任何数据—作为数据库内容的对立面—是元数据。因此，列名、数据库名、用户名、版本名以及从SHOW语句得到的结果中的大部分字符串是元数据。还包括INFORMATION_SCHEMA数据库中的表中的内容，因为定义的那些表存储关于数据库对象的信息。获取查询语句影响的记录数PERL 实例在 DBI 脚本中， 语句影响的记录数通过函数 do( ) 或 execut

SQL是IT行业很多岗位都要求具备的一项能力，对于数据岗位而言更是如此，甚至说扎实的SQL基础也往往是入职这些岗位的必备技能。而在SQL面试中，一道出镜频率很高的题目就是行转列和列转行的问题，可以说这也是一道经典的SQL题目，本文就这一问题做以介绍分享。给定如下模拟数据集，这也是SQL领域经典的学生成绩表问题。两张期望的数据表分别如下：1）长表：2）宽表：考察的问题就是通过SQL语句实现在这两种形态间转换，其中长表转为宽表即行转列，宽表转为长表即列转行。01 行转列：sum+i.

如何修改密码：在我们记得密码的情况下我们常用的修改密码的方法有三种：方法一：立即生效法使用如下指令：SET PASSWORD FOR 'user'@'host' = PASSWORD(‘password');其中：User 即用户名 host即主机名，用于指定用户在哪个主机上登陆，本地用户为localhost。 Password 为新的密码 *此指令执行后，对密码的修改立即生效。方法二：不立即生效法使用如下指令：UPDATE mysql.user SET pass

如果我们需要完全的复制MySQL的数据表，包括表的结构，索引，默认值等。 如果仅仅使用CREATE TABLE … SELECT 命令，是无法实现的。本章节将为大家介绍如何完整的复制MySQL数据表，步骤如下：使用 SHOW CREATE TABLE 命令获取创建数据表(CREATE TABLE) 语句，该语句包含了原数据表的结构，索引等。复制以下命令显示的SQL语句，修改数据表名，并执行SQL语句，通过以上命令 将完全的复制数据表结构。如果你想复制表的内容，你就可以使用 INSERT INTO

什么是SQL？SQL是一种用于操作数据库的语言。SQL是用于所有数据库的基本语言。不同数据库之间存在较小的语法更改，但基本的SQL语法基本保持不变。SQL是StructuredQueryLanguage 的简短缩写。根据ANSI（美国国家标准协会），SQL是操作关系数据库管理系统的标准语言。SQL用于访问，更新和操作数据库中的数据。它的设计允许管理RDBMS中的数据，例如MYSQL。SQL语言还用于控制数据访问以及数据库模式的创建和修改。什么是MYSQL？MySQL是在90年代中期开...

如何快速定位消耗 CPU 最高的 sql 语句？看看下面的介绍。概述如果是Oracle数据库我们可以很容易通过sql来定位到当前数据库中哪些消耗CPU高的语句，而mysql数据库可以怎么定位呢？这里用一个简单例子说明下…主要是了解如何定位的思路，具体看官网介绍..参考：https://www.percona.com/blog/2020/04/23/a-simple-approach-to-troubleshooting-high-cpu-in-mysql/主要意思是针对定位CPU的.

当工作在非常大的表上时，你可能偶尔需要运行很多查询获得一个大量数据的小的子集，不是对整个表运行这些查询，而是让MySQL每次找出所需的少数记录，将记录选择到一个临时表可能更快些，然后在这些表运行查询临时表只在当前连接可见，当关闭连接时，Mysql会自动删除表并释放所有空间。如果你使用PHP脚本来创建MySQL临时表，那每当PHP脚本执行完成后，该临时表也会自动销毁。实例以下展示了使用MySQL 临时表的简单实例，以下的SQL代码可以适用于PHP脚本的mysql_query()函数。mysq

Medium网站上有很多用户都在找数据科学家或数据分析师的职位，所以他们对这两种职位的面试过程都很感兴趣。树懒君来就这个问题说一些自己的看法。一、数据科学家面试数据科学家们有望在自己的公司实现人工流程的自动化。通过使用sklearn和TensorFlow等库里的机器学习包，他们可以提取数据、清理数据、训练和评估模型，并为终端用户提出建议或预测。在这一过程中，一部分侧重于编程和算法，而另一部分侧重于软技能，比如开发商务问题、向终端用户解释结果等。你还会用到jupiter Notebook之类的工具，以

在日常项目开发过程中，我们经常要连接自己的数据库，此时不知道数据库的版本是万万不可的。今天小树懒来给大家总结一下查看mysql版本的方法。MySQL查看版本的方法主要有以下四种方法1：没有连接到MySQL终端下直接使用mysql命令。打开cmd，切换至 MySQL的bin目录，运行以下命令：[root@localhost lib]# mysql -Vmysql Ver 15.1 Distrib 5.5.47-MariaDB, for Linux (x86_64) using readl

在MySQL的性能优化中，索引是非常重要的一块，好的索引逻辑可以大大提高MySQL的效率。正如google、百度一样，索引也是期数据查询中重要的一个因素。索引分单列索引和组合索引。单列索引，即一个索引只包含单个列，一个表可以有多个单列索引，但这不是组合索引。组合索引，即一个索引包含多个列。创建索引时，你需要确保该索引是应用在 SQL 查询语句的条件(一般作为 WHERE 子句的条件)。实际上，索引也是一张表，该表保存了主键与索引字段，并指向实体表的记录。上面都在说使用索引的好处，但过多的使用

业务很简单：需要批量插入一些数据，数据来源可能是其他数据库的表，也可能是一个外部excel的导入那么问题来了，是不是每次插入之前都要查一遍，看看重不重复，在代码里筛选一下数据，重复的就过滤掉呢？向大数据数据库中插入值时，还要判断插入是否重复，然后插入。如何提高效率看来这个问题不止我一个人苦恼过。解决的办法有很多种，不同的场景解决方案也不一样，数据量很小的情况下，怎么搞都行，但是数据量很大的时候，这就不是一个简单的问题了。几百万的数据，不可能查出来，做去重处理说一下我Google到的解决方

事务这个词来自于英语中的transactional这个词的翻译，这个词的含义更多的是指 “交易”。在数据库系统或者软件系统中我们通常 称 transactional 为事务。数据库事务的四个特性 ACID：分别是 原子性、一致性、隔离性、持久性。数据库事务的这四大特性来源于 ISO标准的 ISO/IEC 10026-1:1992/COR 1:1996，它定义了事务需要具备以上四个特性。那么在InnoDB中是如何实现这些特征的呢？下面内容我们讨论 MySQL （下指InnoDB引擎）对事务特性的支持是怎么

MySQL 事务主要用于处理操作量大，复杂度高的数据。比如说，在人员管理系统中，你删除一个人员，你既需要删除人员的基本资料，也要删除和该人员相关的信息，如信箱，文章等等，这样，这些数据库操作语句就构成一个事务！在 MySQL 中只有使用了 Innodb 数据库引擎的数据库或表才支持事务。事务处理可以用来维护数据库的完整性，保证成批的 SQL 语句要么全部执行，要么全部不执行。事务用来管理 insert,update,delete 语句事务必须满足的4个条件（ACID）：原子性：一个事务（t

接上篇《两道常见的MySQL面试题》，今天小树懒来给大家讲另一道面试题，关于MySQL binlog的几种日志录入格式。一、MySQL BinLog日志的录入格式以及区别Statement:将修改数据的所有sql都记录在binlog中。好处：无需记录每行的变化，减少了binlog日志数量，节省了IO，提高了性能。(相对于row可以节省多少性能和日志数量，这取决于SQL应用程序的情况，通常同一记录修改或插入row格式所产生的日志数量比Statement所产生的日志数量少，但考虑到如果有条件的upd

双机主从备份数据库版本：MySQL 5.6.27操作系统 ：CentOS 7.4Linux 环境下 MySQL 的配置文件的位置是在/etc/my.cnfMaster 的配置如下：log-bin=mysql-binserver-id=1 ：用于标识唯一的数据库binlog-ignore-db=information_schemabinlog-ignore-db=performance_schemabinlog-ignore-db=sysbinlog-ignore-db=m.

在前面的章节我们已经了解到MySQL可以通过 LIKE …% 来进行模糊匹配。MySQL 同样也支持其他正则表达式的匹配， MySQL中使用 REGEXP 操作符来进行正则表达式匹配。如果您了解PHP或Perl，那么操作起来就非常简单，因为MySQL的正则表达式匹配与这些脚本的类似。下表中的正则模式可应用于 REGEXP 操作符中。...

数据库相关的题目频频出现在各大公司的技术岗位面试中，而且内容变化多端，让面试的小伙伴措手不及，但是问法再多，却万变不离其宗，掌握好内容的本质，才是最重要的。今天小树懒来给大家总结了两道最近被问到的MySQL面试题，如果有更好的理解，可以留言补充哦。一、MySQL查询字段是否要区分大小写？答案是不区分的那么该如何解决需要区分英文大小写的场景1.设置“COLLATE”属性值为“utf8_bin”或者“utf8_gerneral_cs”，utf8_bin表示二进制比较，同时也支持区分大小写；在M.

MySQL如今早已变成大部分中小型企业及站长搭建网站的数据库首选，其内置了简易web图形管理phpmyadmin专用工具，可是管理、操作比较有限，这就促使大家不得不找一个更专业，功能更加强大的MySQL管理工具，以便更好的应用和管理MySQL数据库。今日树懒君就给大家介绍一款功能十分强大的MySQL数据库管理工具：Navicat for MySQL。Navicat for MySQL是什么Navicat for MySQL是一款强劲的MySQL数据库管理和开发工具，它为技术人员提供了一套功能

MySQL支持主流的数据类型，可以分为3类：数值、日期/时间、字符串(字符)类型。在后期对MySQL进行性能优化时，数据类型影响很大。数值类型MySQL支持所有标准SQL数值数据类型。这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL和NUMERIC)，以及近似数值数据类型(FLOAT、REAL和DOUBLE PRECISION)。整数类型：BIT、BOOL、TINY INT、SMALL INT、MEDIUM INT、 INT、 BIG INT 浮点数类型：FL

许多面试过开发岗位的小伙伴都知道，“缓存和数据库的双写一致性”是面试的重灾区，我们经常会面对面试官的redis连环提问。本期小树懒来给大家总结一下缓存和数据库一致性相关的面试题，让大家在面试时不再“无话可说”。一、什么是缓存？存储速度不同。缓存是将低速存储的结果暂时存储在高速存储中的技术。...

在本教程中，树懒君介绍了两种最普遍应用的RDBMS—MySQL和Microsoft SQL Server。通过介绍MySQL和SQL Server的几个关键区别，希望大家能在这两者之间做出最适合自己的选择。一、 MySQL和SQL Server的定义区别什么是SQL Server？SQL Server是Microsoft公司发布的关系型数据库管理系统，具备方便使用、可扩展性好、与相关软件集成程度高等优势，可跨越多平台应用。什么是MySQL？MySQL是由瑞典MySQLAB公司开发的关系.

很多面试后端研发的同学都曾经被面试官问：在开发过程如果失手表里的数据修改错误或者误删了，该怎么办？第一步：保证 mysql 已经开启binlog，查看命令：查看binklog是否开启showvariableslike'%log_bin%';查看binlog存放日志文件目录（如下图，博主binlog目录为/data/mysql）：showvariableslike'%datadir%';...

讲过如何创建数据库之后，这次来说一下如何删除数据库。删除数据库是将已经存在的数据库从磁盘空间中清除，连同数据库中的所有数据也全部被删除。MySQL删除数据库的基本语法格式如下：DROP DATABASE db_name;其中“db_name”是要删除的数据库名称，如果指定数据库名不存在，则删除出错。例子：删除数据库删除数据库shulanxt，输入语句如下：DROP DATABASE shulanxt;执行上述语句，数据库shulanxt被删除，再次使用SHOW CREAT

熟悉数据库的人都知道数据库分为关系型数据库和非关系型数据库，那么这两种数据库到底是什么意思，它们之间有什么区别呢？本文就对此做一个深度的解析。

上期我们讲了索引，MyISAM和InnoDB的选择等相关的数据库面试题目，小伙伴们掌握得怎么样了？这期树懒君决定分享一下分库分表方面的面试题目，这是一个很经典的面试问题哦~首先，要知道分库分表是两回事儿，大家可别搞混了，可能是光分库不分表，也可能是光分表不分库，都有可能。下面直接上问题！1.分区方案有哪些？分区表是由多个相关的底表实现的。这些基础表也由句柄对象表示，因此我们也可以直接访问各个区域，存储引擎管理区域的各个基础表与管理普通表相同(所有基础表都必须使用相同的存储引擎)，区域表的索...

数据库在互联网公司各个岗位jd上出现的频率可是相当高，为此，树懒君花了一些时间汇总了一些比较热门的数据库面试题目，希望可以帮助大家拿到offer~1.为什么使用数据索引可以提高工作效率 ？索引是通过预先排列的顺序，这样在查找时可以应用二分查找等高效算法。常规顺序查找，复杂性(O(n)，二分查找复杂性(log2n)。在n很大的情况下，两者的效率差别极其悬殊。举例来说：该表包含一百万个数据，您需要为某个特定id查找数据。在连续查找的情况下，平均需要50万个数据。并且使用二分法，最多二十次就...

「数据库教程」MySQL 创建数据库2021-05-31 14:11:42·树懒学堂安装好MySQL和其管理工具后，这期小树懒来给大家讲解一下，MySQL如何创建数据库。创建数据库就是在系统磁盘上划分一块区域用于存储和管理数据，管理员可以为用户创建数据库，被分配了权限的用户可以自己创建数据库。MySQL中创建数据库的基本语法格式如下。CREAT DATABASE db_name;其中“db_name”是将要创建的数据库名称，该名称不能与已经存在的数据库重名。注：数据库名最好为小写字

MySQL报错2003的原因一般有如下两种：第一种情况：mysql服务没有启动 第二种情况：端口号出错那么当出现这种情况的时候该如何去解决呢？小树懒来给大家分析一下。解决方法一：使用鼠标操作重启MySQL服务第一步：打开任务管理器第二步：点击“打开服务”...

之前有小伙伴询问MySQL服务器该如何存Emoji表情的问题，在这里树懒君将方法分享给大家。utf8 是三字节，utf8mb4 是 4 字节而，emoji 表情也是 4 字节，修改 mysql 配置文件 my.cnf[client] default-character-set = utf8mb4[mysql] default-character-set = utf8mb4[mysqld] character-set-client-handshake = FALSE charac...