⼀、分析器
1.1 概念:
分析器包括:
1. 字符过滤器(CharacterFilters):⾸先,字符串按顺序通过每个 字符过滤器 。他们的任务是在分词
前整理字符串。⼀个字符过滤器可以⽤来去掉HTML,或者将 & 转化成 and;
2. 分词器(Tokenizer):字符串被 分词器 分为单个的词条。得到分词,标记每个分词的顺序或位置
⼀、分析器
1.1 概念:
分析器包括:
1. 字符过滤器(CharacterFilters):⾸先,字符串按顺序通过每个 字符过滤器 。他们的任务是在分词
前整理字符串。⼀个字符过滤器可以⽤来去掉HTML,或者将 & 转化成 and;
2. 分词器(Tokenizer):字符串被 分词器 分为单个的词条。得到分词,标记每个分词的顺序或位置