深度解析MySQL 5.7之中文全文检索

InnoDB默认的全文索引parser非常合适于Latin，因为Latin是通过空格来分词的。但对于像中文，日文和韩文来说，没有这样的分隔符。一个词可以由多个字来组成，所以我们需要用不同的方式来处理。在MySQL 5.7.6中我们能使用一个新的全文索引插件来处理它们：n-gram parser。

前言

root@localhost [ngram]> show variables like 'ngram_token_size';

其实全文检索在MySQL里面很早就支持了，只不过一直以来只支持英文。缘由是他从来都使用空格来作为分词的分隔符，而对于中文来讲，显然用空格就不合适，需要针对中文语义进行分词。这不，从MySQL 5.7开始，MySQL内置了ngram全文检索插件，用来支持中文分词，并且对MyISAM和InnoDB引擎有效。

在使用中文检索分词插件ngram之前，先得在MySQL配置文件里面设置他的分词大小，比如，

?

1 2	[mysqld] ngram_token_size=2

这里把分词大小设置为2。要记住，分词的SIZE越大，索引的体积就越大，所以要根据自身情况来设置合适的大小。

示例表结构：

?

1 2 3 4 5 6

CREATE TABLE articles (     id INTUNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY ,     titleVARCHAR(200),     body TEXT,     FULLTEXT (title,body) WITH PARSER ngram    ) ENGINE=InnoDBCHARACTER SET utf8mb4;

示例数据，有6行记录。

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

mysql> select * from articles\G ***************************1. row ***************************    id: 1 title: 数据库管理   body: 在本教程中我将向你展示如何管理数据库 ***************************2. row ***************************    id: 2 title: 数据库应用开发   body: 学习开发数据库应用程序 ***************************3. row ***************************    id: 3 title: MySQL完全手册   body: 学习MySQL的一切 ***************************4. row ***************************    id: 4 title: 数据库与事务处理   body: 系统的学习数据库的事务概论 ***************************5. row ***************************    id: 5 title: NoSQL精髓   body: 学习了解各种非结构化数据库 ***************************6. row ***************************    id: 6 title: SQL 语言详解   body: 详细了解如果使用各种SQL 6 rows inset (0.00 sec)

显式指定全文检索表源

?

1 2	mysql> SETGLOBAL innodb_ft_aux_table= "new_feature/articles" ; Query OK, 0 rows affected (0.00 sec)

通过系统表，就可以查看到底是怎么划分articles里的数据。

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

mysql> SELECT * FROM information_schema.INNODB_FT_INDEX_CACHE LIMIT 20,10; + ------+--------------+-------------+-----------+--------+----------+ | WORD | FIRST_DOC_ID | LAST_DOC_ID | DOC_COUNT | DOC_ID| POSITION | + ------+--------------+-------------+-----------+--------+----------+ | 中我 |   2 |   2 |   1 |  2 |  28 | | 习m |   4 |   4 |   1 |  4 |  21 | | 习了 |   6 |   6 |   1 |  6 |  16 | | 习开 |   3 |   3 |   1 |  3 |  25 | | 习数 |   5 |   5 |   1 |  5 |  37 | | 了解 |   6 |   7 |   2 |  6 |  19 | | 了解 |   6 |   7 |   2 |  7 |  23 | | 事务 |   5 |   5 |   1 |  5 |  12 | | 事务 |   5 |   5 |   1 |  5 |  40 | | 何管 |   2 |   2 |   1 |  2 |  52 | + ------+--------------+-------------+-----------+--------+----------+ 10 rows in set (0.00 sec)

这里可以看到，把分词长度设置为2，所有的数据都只有两个一组。上面数据还包含了行的位置，ID等等信息。

接下来，我来进行一系列检索示范，使用方法和原来英文检索一致。

一、自然语言模式下检索：

1、得到符合条件的个数，

?

1 2 3 4 5 6 7 8

mysql> SELECT COUNT (*) FROM articles -> WHERE MATCH (title,body) AGAINST ( '数据库' IN NATURALLANGUAGE MODE); + ----------+ | COUNT (*) | + ----------+ |  4 | + ----------+ 1 row in set (0.05 sec)

2、得到匹配的比率，

?

1 2 3 4 5 6 7 8 9 10 11 12 13

mysql> SELECT id, MATCH (title,body) AGAINST ( '数据库' IN NATURAL LANGUAGE MODE)   AS score FROM articles; + ----+----------------------+ | id| score    | + ----+----------------------+ | 1 | 0.12403252720832825 | | 2 | 0.12403252720832825 | | 3 |     0 | | 4 | 0.12403252720832825 | | 5 | 0.062016263604164124| | 6 |     0 | + ----+----------------------+ 6rows in set (0.00 sec)

二、布尔模式下搜索，这个就相对于自然模式搜索来的复杂些：

1、匹配既有管理又有数据库的记录，

?

1 2 3 4 5 6 7 8

mysql> SELECT * FROM articles WHERE MATCH (title,body)    ->  AGAINST ( '+数据库 +管理' IN BOOLEAN MODE); + ----+------------+--------------------------------------+ | id| title  | body         | + ----+------------+--------------------------------------+ | 1 | 数据库管理 | 在本教程中我将向你展示如何管理数据库  | + ----+------------+--------------------------------------+ 1 rowin set (0.00 sec)

2、匹配有数据库，但是没有管理的记录，

?

1 2 3 4 5 6 7 8 9 10

mysql> SELECT * FROM articles WHERE MATCH (title,body)    ->  AGAINST ( '+数据库 -管理' IN BOOLEAN MODE); + ----+------------------+----------------------------+ | id| title    | body      | + ----+------------------+----------------------------+ | 2 | 数据库应用开发  | 学习开发数据库应用程序   | | 4 | 数据库与事务处理 | 系统的学习数据库的事务概论  | | 5 | NoSQL 精髓  | 学习了解各种非结构化数据库  | + ----+------------------+----------------------------+ 3 rows in set (0.00 sec)

3、匹配MySQL，但是把数据库的相关性降低，

?

1 2 3 4 5 6 7 8

mysql> SELECT * FROM articles WHERE MATCH (title,body)    ->  AGAINST ( '>数据库 +MySQL' INBOOLEAN MODE); + ----+---------------+-----------------+ | id| title   | body   | + ----+---------------+-----------------+ | 3 | MySQL完全手册 |学习MySQL的一切 | + ----+---------------+-----------------+ 1 rowin set (0.00 sec)

三、查询扩展模式，比如要搜索数据库，那么MySQL，oracle，DB2也都将会被搜索到，

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14

mysql> SELECT * FROM articles    ->  WHERE MATCH (title,body)    ->  AGAINST ( '数据库' WITH QUERY EXPANSION); + ----+------------------+--------------------------------------+ | id| title   | body         | + ----+------------------+--------------------------------------+ | 1 | 数据库管理  | 在本教程中我将向你展示如何管理数据库  | | 4 | 数据库与事务处理 | 系统的学习数据库的事务概论    | | 2 | 数据库应用开发  | 学习开发数据库应用程序     | | 5 | NoSQL 精髓  | 学习了解各种非结构化数据库    | | 6 | SQL 语言详解  | 详细了解如果使用各种SQL     | | 3 | MySQL完全手册  | 学习MySQL的一切      | + ----+------------------+--------------------------------------+ 6 rows in set (0.01 sec)

当然，我这里只是功能演示，更多的性能测试，大家有兴趣可以进行详细测试。由于N-grm是中文检索常用的分词算法，已经在互联网大量使用，这次集成到MySQL中，想必效果上不会有太大的问题。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流。

　　由于模糊搜索的需求越来越多，所以在从库上创建全文索引来应付各种搜索需求。现在创建一个用户名的全文搜索，全表大小为1100W条记录左右。

1、表结构查询

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

mysql>  desc  ucenter_member; + ------------------+------------------+------+-----+------------+----------------+ | Field            | Type             |  Null  |  Key  |  Default     | Extra          | + ------------------+------------------+------+-----+------------+----------------+ | id               |  int (10) unsigned |  NO    | PRI |  NULL        | auto_increment | | nickname         |  char (20)         | YES  | MUL |            |                | | devicetoken      |  varchar (60)      |  NO    | MUL |            |                | | version          |  char (10)         | YES  |     |            |                | | app_type         | tinyint(1)       | YES  |     | 0          |                | |  password          |  char (32)         |  NO    |     |  NULL        |                | | salt             |  char (4)          |  NO    |     |  NULL        |                | | mobile           |  varchar (13)      | YES  | MUL |  NULL        |                | | avatar           |  int (11)          |  NO    |     | 0          |                | | sex              | tinyint(1)       |  NO    |     | 0          |                | | birthday         |  date              | YES  |     | 0000-00-00 |                | + ------------------+------------------+------+-----+------------+----------------+ 11  rows  in  set  (0.00 sec)

必要的参数设置

1 2 3 4 5 6 7

mysql> show variables  like  'ft_min_word_len' ; + -----------------+-------+ | Variable_name   | Value | + -----------------+-------+ | ft_min_word_len | 1     | + -----------------+-------+ 1 row  in  set  (0.00 sec)

　　

 

2、添加全文索引

1	mysql>  alter  table  ucenter_member  add  fulltext  index  ix_ft_ucenter_member_nickname(nickname)  with  parser ngram;

　　

3、添加过程（添加全文整个过程要很长的时间，并且这段时间里所有业务将不能执行）

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60

主从复制将会停止<br>mysql> show slave status\G *************************** 1. row ***************************                 Slave_IO_State: Waiting  for  master  to  send event                    Master_Host: 192.168.1.200                    Master_User: slave                    Master_Port: 3306                  Connect_Retry: 60                Master_Log_File: mybin.000750            Read_Master_Log_Pos: 746166232                 Relay_Log_File: relay-bin.002247                  Relay_Log_Pos: 17345090          Relay_Master_Log_File: mybin.000750               Slave_IO_Running: Yes              Slave_SQL_Running: Yes                Replicate_Do_DB:             Replicate_Ignore_DB:              Replicate_Do_Table:          Replicate_Ignore_Table:         Replicate_Wild_Do_Table:     Replicate_Wild_Ignore_Table: sys.%,mysql.%,information_schema.%,performance_schema.%                     Last_Errno: 0                     Last_Error:                    Skip_Counter: 0            Exec_Master_Log_Pos: 736231270                Relay_Log_Space: 27280306                Until_Condition: None                 Until_Log_File:                   Until_Log_Pos: 0             Master_SSL_Allowed:  No             Master_SSL_CA_File:              Master_SSL_CA_Path:                 Master_SSL_Cert:               Master_SSL_Cipher:                  Master_SSL_Key:           Seconds_Behind_Master: 1104 Master_SSL_Verify_Server_Cert:  No                  Last_IO_Errno: 0                  Last_IO_Error:                  Last_SQL_Errno: 0                 Last_SQL_Error:     Replicate_Ignore_Server_Ids:                Master_Server_Id: 1                    Master_UUID: 5a00f33b-8551-11e5-9122-0016310207a0               Master_Info_File: mysql.slave_master_info                      SQL_Delay: 0            SQL_Remaining_Delay:  NULL        Slave_SQL_Running_State: Waiting  for  dependent  transaction  to  commit             Master_Retry_Count: 86400                    Master_Bind:         Last_IO_Error_Timestamp:        Last_SQL_Error_Timestamp:                  Master_SSL_Crl:              Master_SSL_Crlpath:              Retrieved_Gtid_Set: 5a00f33b-8551-11e5-9122-0016310207a0:1451340674-1451398198              Executed_Gtid_Set: 5a00f33b-8551-11e5-9122-0016310207a0:1-1451377326, 9905e5a2-815d-11f5-8244-00163f004aa2:1-84                  Auto_Position: 1           Replicate_Rewrite_DB:                    Channel_Name:  1 row  in  set  (0.00 sec)

查询进程

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

mysql> show processlist; + ----+-------------+-----------+--------+---------+------+---------------------------------------------+------------------------------------------------------------------------------------------------------+ | Id |  User         | Host      | db     | Command |  Time  | State                                       | Info                                                                                                 | + ----+-------------+-----------+--------+---------+------+---------------------------------------------+------------------------------------------------------------------------------------------------------+ |  1 | system  user  |           |  NULL    |  Connect  | 1673 | Waiting  for  master  to  send event            |  NULL                                                                                                  | |  2 | system  user  |           |  NULL    |  Connect  | 1123 | Waiting  for  dependent  transaction  to  commit  |  NULL                                                                                                  | |  3 | system  user  |           |  NULL    |  Connect  | 1123 | Waiting  for  table  metadata lock             |  NULL                                                                                                  | |  4 | system  user  |           |  NULL    |  Connect  | 1195 | Waiting  for  an event  from  Coordinator       |  NULL                                                                                                  | |  5 | system  user  |           |  NULL    |  Connect  | 1673 | Waiting  for  an event  from  Coordinator       |  NULL                                                                                                  | |  6 | system  user  |           |  NULL    |  Connect  | 1673 | Waiting  for  an event  from  Coordinator       |  NULL                                                                                                  | |  9 | root        | localhost | peiyin | Query   | 1123 | altering  table                               |  alter  table  ucenter_member  add  fulltext  index  ix_ft_ucenter_member_nickname(nickname)  with  parser ng | | 14 | root        | localhost |  NULL    | Query   |    0 | starting                                    | show processlist                                                                                     | + ----+-------------+-----------+--------+---------+------+---------------------------------------------+------------------------------------------------------------------------------------------------------+ 8  rows  in  set  (0.00 sec)

　　

4、完成创建

1 2 3

mysql>  alter  table  ucenter_member  add  fulltext  index  ix_ft_ucenter_member_nickname(nickname)  with  parser ngram; Query OK, 0  rows  affected, 1 warning (31  min  7.29 sec) Records: 0  Duplicates: 0  Warnings: 1

 

5、查询索引

按布尔全文搜索模式查询

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

mysql>  select  version,nickname  from  ucenter_member  where  match(nickname) against( '中国'  in  boolean mode) limit 10; + ---------+--------------------------------------------------+ | version | nickname                                         | + ---------+--------------------------------------------------+ | 4.63    | 我爱中国 立场中国                                | |         | 中国联通一窍不通中国移动一动不动                 | | 4.21    | 姜振光（中国·北科、中国·沪航）                   | | 4.63    | 我是中国人，我爱中国                             | | 4.40    | 中国人中国心                                     | | 4.52    | 中国特警――中国青年财神爷                         | | 4.52    | 完美中国，中国完美                               | | 4.81    | 中国梦、梦中国                                   | | 4.52    | 中国梦～我的梦                                   | |         | A   中国梦                                       | + ---------+--------------------------------------------------+ 10  rows  in  set  (0.01 sec)<br><br>

 

 

1 2	mysql>  select  version,nickname from ucenter_member where match(nickname) against( '中国梦想'  in  boolean mode) limit 10; Empty  set  (0.03 sec)

　　

按自然语言搜索模式查询

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

mysql>  select  version,nickname  from  ucenter_member  where  match(nickname) against( '中国'  in  natural language mode) limit 10; + ---------+--------------------------------------------------+ | version | nickname                                         | + ---------+--------------------------------------------------+ | 4.63    | 我爱中国 立场中国                                | |         | 中国联通一窍不通中国移动一动不动                 | | 4.21    | 姜振光（中国·北科、中国·沪航）                   | | 4.63    | 我是中国人，我爱中国                             | | 4.40    | 中国人中国心                                     | | 4.52    | 中国特警――中国青年财神爷                         | | 4.52    | 完美中国，中国完美                               | | 4.81    | 中国梦、梦中国                                   | | 4.52    | 中国梦～我的梦                                   | |         | A   中国梦                                       | + ---------+--------------------------------------------------+ 10  rows  in  set  (0.01 sec)   mysql>  select  version,nickname  from  ucenter_member  where  match(nickname) against( '中国梦想'  in  natural language mode) limit 10; + ------------+--------------------------------------------------+ | version    | nickname                                         | + ------------+--------------------------------------------------+ | 4.81       | 中国梦、梦中国                                   | | 4.63       | 中国梦我的梦，我的梦想是行业顶尖                 | | 4.52       | 中国梦～我的梦                                   | |            | A   中国梦                                       | |            | 中国梦                                           | | 3.17       | 中国梦                                           | | 3.171      | AST中国梦                                        | | 3.20201505 | 中国梦  红楼梦                                   | | 3.211      | 中国梦                                           | | 4.63       | 中国梦                                           | + ------------+--------------------------------------------------+ 10  rows  in  set  (0.05 sec)

 

6、产生的文件

1 2 3 4 5 6 7 8 9 10 11 12

[root@mysql01 mydbs] # ls -alh FTS* -rw-r----- 1 mysql mysql 104M Oct 26 11:47 FTS_0000000000000353_0000000000000710_INDEX_1.ibd -rw-r----- 1 mysql mysql  17M Oct 26 11:47 FTS_0000000000000353_0000000000000710_INDEX_2.ibd -rw-r----- 1 mysql mysql  14M Oct 26 11:47 FTS_0000000000000353_0000000000000710_INDEX_3.ibd -rw-r----- 1 mysql mysql  40M Oct 26 11:47 FTS_0000000000000353_0000000000000710_INDEX_4.ibd -rw-r----- 1 mysql mysql  44M Oct 26 11:48 FTS_0000000000000353_0000000000000710_INDEX_5.ibd -rw-r----- 1 mysql mysql 212M Oct 26 11:47 FTS_0000000000000353_0000000000000710_INDEX_6.ibd -rw-r----- 1 mysql mysql  96K Oct 26 11:43 FTS_0000000000000353_BEING_DELETED_CACHE.ibd -rw-r----- 1 mysql mysql  96K Oct 26 11:42 FTS_0000000000000353_BEING_DELETED.ibd -rw-r----- 1 mysql mysql  96K Oct 26 11:41 FTS_0000000000000353_CONFIG.ibd -rw-r----- 1 mysql mysql  96K Oct 26 11:40 FTS_0000000000000353_DELETED_CACHE.ibd -rw-r----- 1 mysql mysql  96K Oct 26 12:09 FTS_0000000000000353_DELETED.ibd

逻辑全文搜索支持下面的操作符：

+ 

一个领头的加号表示，该词必须出现在每个返回的记录行中。

- 

一个领头的减号表示，该词必须不出现在每个返回的记录行中。

缺省的 (当既没有加号也没有负号被指定时)词是随意的，但是包含它的记录行将被排列地更高一点。这个模仿没有 IN BOOLEAN MODE 修饰词的 MATCH() ... AGAINST() 的行为。

< > 

这两个操作符用于改变一个词的相似性值的基值。< 操作符减少基值，> 操作符则增加它。参看下面的示例。

( ) 

圆括号用于对子表达式中的词分组。

~ 

一个领头的否定号的作用象一个否定操作符，引起行相似性的词的基值为负的。它对标记一个噪声词很有用。一个包含这样的词的记录将被排列得低一点，但是不会被完全的排除，因为这样可以使用 - 操作符。

* 

一个星号是截断操作符。不想其它的操作符，它应该被追加到一个词后，不加在前面。

" 

短语，被包围在双引号"中，只匹配包含这个短语(字面上的，就好像被键入的)的记录行。 

这里是一些示例：

apple banana 

找至少包含上面词中的一个的记录行 

+apple +juice 

... 两个词均在被包含 

+apple macintosh 

... 包含词 “apple”，但是如果同时包含 “macintosh”，它的排列将更高一些 

+apple -macintosh 

... 包含 “apple” 但不包含 “macintosh” 

+apple +(>pie 

... 包含 “apple” 和 “pie”，或者包含的是 “apple” 和 “strudel” (以任何次序)，但是 “apple pie” 排列得比 “apple strudel” 要高一点 

apple* 

... 包含 “apple”，“apples”，“applesauce” 和 “applet” 

"some words" 

... 可以包含 “some words of wisdom”，但不是 “some noise words” 

6.8.1 全文的限制

MATCH() 函数的所有参数必须是从来自于同一张表的列，同时必须是同一个FULLTEXT 索引中的一部分，除非 MATCH() 是 IN BOOLEAN MODE 的。

MATCH() 列列表必须确切地匹配表的某一 FULLTEXT 索引中定义的列列表，除非 MATCH() 是 IN BOOLEAN MODE 的。

AGAINST() 的参数必须是一个常量字符串。 

6.8.2 微调 MySQL 全文搜索

不幸地，全文搜索仍然只有很少的用户可调参数，虽然增加一些在 TODO 上排列很高。如果你有一个 MySQL 源码发行(查看章节 2.3 安装一个 MySQL 源码发行)，你可以发挥对全文搜索的更多控制。

注意，全文搜索为最佳的搜索效果，被仔细地调整了。修改默认值的行为，在大多数情况下，只会使搜索结果更糟。不要修改 MySQL 的源代码，除非你知道你在做什么！

被索引的词的最小长度由 MySQL 变量 ft_min_word_len 指定。查看章节 4.5.6.4 SHOW VARIABLES。将它改为你所希望的值，并重建你的 FULLTEXT 索引。 (这个变量只从 MySQL 4.0 开始被支持)

stopword 列表可以从 ft_stopword_file 变量指定的文件中读取。查看章节 4.5.6.4 SHOW VARIABLES。在修改了 stopword 列表后，重建你的 FULLTEXT 索引。(这个变量只从 MySQL 4.0.10 开始被支持)

50% 阈值选择由所选择的特殊的衡量模式确定。为了禁止它，修改 `myisam/ftdefs.h' 文件中下面的一行： 

#define GWS_IN_USE GWS_PROB

改为： 

#define GWS_IN_USE GWS_FREQ

然 后重新编译 MySQL。在这种情况下，不需要重建索引。 注意：使用了这个，将严重地减少 MySQL 为 MATCH() 提供足够的相似性值的能力。如果你确实需要搜索这样的公共词，最好使用 IN BOOLEAN MODE 的搜索代替，它不遵守 50% 的阈值。

有时，搜索引擎维护员希望更改使用于逻辑全文搜索的操作符。这些由变量 ft_boolean_syntax 定义。查看章节 4.5.6.4 SHOW VARIABLES。然而，这个变量是只读的，它的值在 `myisam/ft_static.c' 中被设置。 

对于这些更改，要求你重建你的 FULLTEXT 索引，对于一个 MyISAM 表，最容易的重建索引文件的方式如下面的语句：

mysql> REPAIR TABLE tbl_name QUICK;

6.8.3 全文搜索 TODO

使所有对 FULLTEXT 索引的操作更快 

邻近(Proximity)操作符 

对 "always-index words" 的支持。他们可以是用户希望视为一个词处理的任意字符串，例如 "C++"、"AS/400"、"TCP/IP"，等等 

支持在 MERGE 表中的全文搜索 

对多字节字符的支持 

依照数据的语言建立 stopword 列表 

Stemming (当然，依赖于数据的语言) 

Generic user-suppliable UDF preparser. 

使模式更加灵活 (通过为 CREATE/ALTER TABLE 中的 FULLTEXT 增加某些可调整参数)