solr FieldType代码

最新推荐文章于 2023-05-09 13:54:48 发布

源远流长

最新推荐文章于 2023-05-09 13:54:48 发布

阅读量2.3k

点赞数

CC 4.0 BY-SA版权

分类专栏：算法搜索引擎技术学习笔记文章标签： solr types string schema class

本文链接：https://blog.youkuaiyun.com/duck_genuine/article/details/6975903

技术学习笔记同时被 3 个专栏收录

183 篇文章

订阅专栏

搜索引擎

104 篇文章

订阅专栏

算法

19 篇文章

订阅专栏

本文详细介绍了如何在Solr中设置特定字段为索引但不进行分词处理，通过源码解析揭示了StrField类型的工作原理，包括其默认分词器的限制与应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天在群里看到有人在问:如何用solr设置某个字段是索引但不分词的？

一想到的就是solr.strField类型，突发其想看一下源代码

StrField简单的继承父类FieldType，其中有个分析字段，如果在配置中没有设置这个类型的索引与查询分词器，就会使用默认的分词器

DefaultAnalyzer

，如下，这个分词器没有进行切词，不过有限定字符长度。小于这个长度的字符串会原串保存下来，否则截取

/**
   * Analyzer set by schema for text types to use when indexing fields
   * of this type, subclasses can set analyzer themselves or override
   * getAnalyzer()
   * @see #getAnalyzer
   * @see #setAnalyzer
   */
protected Analyzer analyzer=new DefaultAnalyzer(256);

/**
   * Analyzer set by schema for text types to use when searching fields
   * of this type, subclasses can set analyzer themselves or override
   * getAnalyzer()
   * @see #getQueryAnalyzer
   * @see #setQueryAnalyzer
   */
protected Analyzer queryAnalyzer=analyzer;

  /**
   * Default analyzer for types that only produce 1 verbatim token...
   * A maximum size of chars to be read must be specified
   */
  protected final class DefaultAnalyzer extends SolrAnalyzer {
    final int maxChars;

    DefaultAnalyzer(int maxChars) {
      this.maxChars=maxChars;
    }

    @Override
    public TokenStreamInfo getStream(String fieldName, Reader reader) {
      Tokenizer ts = new Tokenizer(reader) {
        final char[] cbuf = new char[maxChars];
        final CharTermAttribute termAtt = addAttribute(CharTermAttribute.class);
        final OffsetAttribute offsetAtt = addAttribute(OffsetAttribute.class);
        @Override
        public boolean incrementToken() throws IOException {
          clearAttributes();
          int n = input.read(cbuf,0,maxChars);
          if (n<=0) return false;
          String s = toInternal(new String(cbuf,0,n));
          termAtt.setEmpty().append(s);
          offsetAtt.setOffset(correctOffset(0),correctOffset(n));
          return true;
        }
      };

      return new TokenStreamInfo(ts, ts);
    }
  }

这里