Elasticsearch 2.3.3 搜索引擎的elasticsearch-jdbc插件安装

本文详细介绍如何使用Elasticsearch 2.3.3的JDBC插件从MySQL数据库导入数据。包括下载JDBC链接包、配置脚本、执行导入等步骤,并提供了具体的配置示例。

Elasticsearch 2.3.3的jdbc插件安装跟之前的版本是不一样的,之前的版本,网上的内容介绍的都是elasticsearch使用river同步mysql数据 ,哪些都是老的文章了,最新的版本是不适用的。那么我们如何从数据库导入数据呢?其实安装 Elasticsearch 2.3.3 的JDBC插件很简单,只不过,安装完以后的配置,稍微有些麻烦。

第一步:下载JDBC链接包

具体可以执行下面的命令:

wget http://xbib.org/repository/org/xbib/elasticsearch/importer/elasticsearch-jdbc/2.3.3.0/elasticsearch-jdbc-2.3.3.0-dist.zip

214619_DxdE_2767157.png

第二步: 解压 elasticsearch-jdbc-2.3.3.0-dist.zip

unzip elasticsearch-jdbc-2.3.3.0-dist.zip

214836_A86L_2767157.png

第三步:进入elasticsearch-jdbc-2.3.3.0/bin目录

我们看到下面有很多链接数据库的样例文件。

我们以MSYQL为例,做一个基本的介绍。

第四步:编辑mysql-blog.sh,修改成如下的样子。

#!/bin/sh

DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
bin=${DIR}/../bin
lib=${DIR}/../lib

echo '
{
    "type" : "jdbc",
    "jdbc" : {
        "url" : "jdbc:mysql://192.168.1.100:3306/hotel?useUnicode=true&characterEncoding=gbk",
        "statefile" : "statefile.json",
        "user" : "root",
        "password" : "root",
        "sql" : "select * from hotel",
        "index" : "hotel",
        "type" : "hotel",
        "elasticsearch" : {
             "cluster" : "elasticsearch",
             "host" : "192.168.133.134",
             "port" : 9300 
        }   
    }
}
' | java \
    -cp "${lib}/*" \
    -Dlog4j.configurationFile=${bin}/log4j2.xml \
    org.xbib.tools.Runner \
    org.xbib.tools.JDBCImporter

上述脚本的意思是:链接192.168.1.100这个机器上的hotel数据库,将此数据库中的hotel数据全部导入到hotel索引中。导入的集群名称是elasticsearch,搜索引擎访问地址是192.168.133.132.

第五步,结合之前的内容,我们搭建了 elasticsearch 集群,但是没有建立索引。

我们可以再head插件中新建索引.

221225_HH4T_2767157.png

索引创建成功后,我们可以在 “概览”里面看到新建的索引。

221339_w15C_2767157.png

 

暂且不表分片和复制。我们看到我们成功了创建了一个hotel索引,目前索引中文档个数为0.

第六步,执行刚才修改的mysql-blog.sh脚本。

执行之前确定你的Mysql数据库已经启动,并且数据库的链接账号和密码存在。

我的数据库中是5W条酒店的数据。

221844_Z0ic_2767157.png

脚本执行完成后,5W条数据从导入到索引创建完成,大约是2分钟,速度还是蛮快的。,我们再次查看head插件,可以看到,文件个数已经发生了变化。

222421_wNLo_2767157.png

好了,本篇文章就写到这里,其实ElasticSerach-jdbc导入数据还有很多的参数。

大家可以看https://github.com/jprante/elasticsearch-jdbc 文章,或者点击链接观看 数航教育的在线视频教程

转载于:https://my.oschina.net/besthadoop/blog/698150

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值