利用DIH将数据库中的数据导入Solr

最新推荐文章于 2021-01-19 17:17:58 发布

原创最新推荐文章于 2021-01-19 17:17:58 发布 · 477 阅读

0 ·

CC 4.0 BY-SA版权

Solr 专栏收录该内容

7 篇文章

订阅专栏

本文介绍如何在Solr中配置MySQL数据源并实现数据导入，同时添加了IK中文分词器来增强文本处理能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

导入jar包

在apache-tomcat-8.0.15\webapps\solr\WEB-INF\lib下添加mysql驱动，mysql-connector-java-5.1.34
复制solr-7.3.1\dist下的solr-dataimporthandler-7.3.1.jar和solr-dataimporthandler-extras-7.3.1.jar至apache-tomcat-8.0.15\webapps\solr\WEB-INF\lib文件夹下

配置数据库

solr_home\mycore\conf下新增db-data-config.xml，格式内容如下：

<dataConfig>
    <dataSource 
        type="JdbcDataSource" 
        driver="com.mysql.jdbc.Driver" 
        url="jdbc:mysql://192.168.3.11/db-name" 
        user="root" 
        password="p@ssw0rd" />
    <document>
        <entity 
            name="singer"
            query="select singer_id, singer_name, country from qm_singer">
            <field column="singer_id" name="id"/>
            <field column="singer_name" name="singer_name"/>
            <field column="country" name="country"/>
        </entity>
    </document>
</dataConfig>

配置solr

修改solr_home\mycore\conf下的solrconfig.xml文件，添加以下内容：

<!-- Solr data import handler -->
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
  <lst name="defaults">
    <str name="config">db-data-config.xml</str>
  </lst>
</requestHandler>

添加中文分词器：

先将IK分词器引入到apache-tomcat-8.0.15\webapps\solr\WEB-INF\lib下

再在solr_home\mycore\conf下的managed-schema文件中添加以下内：

<!-- IK 分词 -->
<fieldType name="text_ik" class="solr.TextField">
    <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>
</fieldType>

在solr_home\mycore\conf下的managed-schema文件中，添加字段信息：

<field name="singer_name" type="text_ik" indexed="true" stored="true"/>
<field name="country" type="string" indexed="true" stored="true"/>

启动solr，进行数据导入

进入solr的Dataimport菜单后，再Entity下拉列表中可以发现我们之前在db-data-config.xml定义的实体。
solr有两种导入模式，full-import(全量导入)和delta-import(增量导入)。

模式选择full-import, 实体选择singer后，点击执行，就会进入导入状态。导入完成后，即可在Overview和Query中查看结果。