MySQL全文索引：中文语义分词检索（相似度匹配）

MySQL全文索引：中文语义分词检索（相似度匹配）

一. 前言

项目需求是查询时实现分词检索，一般情况下我们一般会用ES组件，但是当前业务数据量不大、没有很高的并发要求，最终选择用MySQL内置的ngram分词器。
ngram分词器支持中文分词使用全文索引，即可实现对中文语义分词检索。
MySQL5.6之后版本支持中文分词检索。
以 %关键字% 进行模糊查询结果的，不能查询多个列必须手动添加条件以实现，效率不高。

MATCH (col1,col2,…) AGAINST (expr [search_modifier])

说明(必看)：

1.MySQL全文索引类型是FULLTEXT
2.全文索引只能用于InnoDB或MyISAM表，并且只能为CHAR、VARCHAR或TEXT列创建。
3.MySQL5.7提供了一个内置的全文ngram解析器，支持中文，日文和韩文(CJK)，以及一个可安装的MeCab日文全文解析器插件。
4.FULLTEXT索引定义可以在创建表时在CREATE TABLE语句中给出，也可以稍后使用ALTER TABLE或CREATE INDEX添加。
5.对于大型数据集，将数据加载到一个没有FULLTEXT索引的表中，然后在此之后创建索引，比将数据加载到一个已有FULLTEXT索引的表中要快得多。

官方文档MySql5.7

二. 使用演示

1. 环境准备

1.1 创建表并设置索引

create table articles (
id int unsigned auto_increment not null primary key,
title varchar(255) character set utf8 collate utf8_general_ci not null comment '标题',
text varchar(255) character set utf8 collate utf8_general_ci not null comment '文本',
fulltext(title, text) with parser ngram) engine = InnoDB character set utf8 collate utf8_general_ci;

若建表时未设置分词索引,可执行下面语句

create fulltext index title on articles(title, text) with parser ngram;

create fulltext index 索引名称 on 表名(字段名1, 字段名2) with parser ngram;

1.2 测试数据加载

insert into