Spring , Hadoop, Spark , BI , ML

在对大表进行分页时，如果在服务端实现分页，大多数情况采用SQL的limit语法来实现。但是当页数越来越大时，性能很可能成为问题，尤其是需要查询表的所有字段。1. 索引与非索引字段在查询的结果集中，如果只包含索引字段，性能相比于包含非索引字段，差别很大。下面是一个简单的例子，在大约50w行的表上操作：只查询索引id字段SELECT id FROM test.bas_tablelimit 400000

本文整理了一些PostgreSQL相对于标准SQL或者MySQL的一些特殊语法。LimitPG:limit nlimit n offset mMySQL:limit n limit m,nLike/ILIKE:提供的一个扩展ILIKE：同LIKE，只是不区分大小写。 符号表示： LIKE: ~~ ILIKE: ~~ * NOT LIKE: !~~ NOT ILIKE: !

在本文描述在CentOS下安装mysql代理mysql-proxy的步骤。安装查询yum相关信息：yum info mysql-proxy安装： yum install mysql-proxy完毕后查看状态：service mysql-proxy status查看安装位置：whereis mysql-proxy配置编辑配置文件：vim /etc/mysql-proxy.cnf主要配置： 1）代理

MySQL CASE表达式是一个流程控制结构，用在在SELECT、WHERE等语句中根据条件动态构造内容。2种MySQL CASE格式MySQL的CASE表达式有2中形式，一种更像是编程语言当中的CASE语句，拿一个给定的值（变量）跟一系列特定的值作比较,我称之为CASE类型。另一种则更像是编程语言中的if语句，当满足某些条件的时候取特定值，我称之为IF类型。CASE类型此类型的语句结构如下：CAS

MySQL dump工具用于导出现有数据，导出结果为SQL文件 目前dump工具支持整库dump以及单表dump。下面为单表dump操作过程：1) 选择导出目标目录确保该目录有足够的存储空间。mkdir /opt/bas_backup2）使用mysqldump命令导出表数据：mysqldump -u user-h host -P port-p schema-name table-name> /op

在MySQL中，大表同步或者数据复制，可以使用mysqldump工具导出，然后使用mysql source命令导入。该方法的前提是能够访问到MySQL所在的机器，导出的SQL文件需要上传到目标机器。具体方法参考MySQL单表同步数据这篇文章.但是当使用云服务RDS时，往往无法访问到目标主机，这时候还可以使用如下方式： 首先使用mysqldump导出表（表结构和数据）。然后在导出数据的机器或者其他机

MySQL和Lucene都可以对数据构建索引并通过索引查询数据，一个是关系型数据库，一个是构建搜索引擎（Solr、ElasticSearch）的核心类库。两者的索引（index）有什么区别呢？以前写过一篇《Solr与MySQL查询性能对比》，只是简单的对比了下查询性能，对于内部原理却没有解释，本文简单分析下两者的索引区别。1. MySQL索引实现在MySQL中，索引属于存储引擎级别的概念，不同存储引

在SQL中，如果在IN从句中出现null，将会出现完全不符合预期的情况。例如： select * from user where id not in (1, 2, null)此时返回结果为空，而不是除了1，2和null以外的结果。事实上，上述not in语句相当于：where id <> 1 and id <>2 and id<>nullnull与非null数据进行比较，其结果是UNKNOWN，

在开窗函数出现之前存在着很多用 SQL 语句很难解决的问题，很多都要通过复杂的相关子查询或者存储过程来完成。为了解决这些问题，在2003年ISO  SQL标准加入了开窗函数，开窗函数的使用使得这些经典的难题可以被轻松的解决。目前在 MSSQLServer、Oracle、DB2 等主流数据库中都提供了对开窗函数的支持，不过非常遗憾的是 MYSQL 暂时还未对开窗函数给予支持。为了更加清楚地理解，我们来