从Mysq了中导入数据到Elasticsearch中

最新推荐文章于 2024-08-19 10:28:44 发布

ywb201314

最新推荐文章于 2024-08-19 10:28:44 发布

阅读量237

点赞数

分类专栏： elasticSearch

原文链接：https://blog.youkuaiyun.com/u014315200/article/details/78630618

版权

elasticSearch 专栏收录该内容

24 篇文章

订阅专栏

公司业务在中途由于数据库的压力，要将之前的搜索从DB中查询修改为Elasticsearch中

想法是提供jar 在数据新增和修改的地方调用jar中方法，写入kafka中，再使用consumer 写入ES，为了不造成数据重复，使用主键ID做upert操作

目前流程已经开发完成，查询接口和分词都完成，最后工作是将历史数据从DB中(MYSQL)中最终写入到ES中

有三种方案：

第一种：写程序，链接MYSQL，批量的写入kakfa中，后续在现有逻辑已经完成，可以好low啊而且麻烦

第二种：使用kafka的connect 从 mysql 导入 kafka ，kafka的consumer 程序写入ES中

第三种:直接从数据库中写入 ES中，最直接最省事

直接使用第三种：

查询第三种方案认为靠谱的实现方式有两种

A 使用ElasticSearch-jdbc 组件

B:使用logstash-jdbc 插件

一开始个人认为 elasticsearch-jdbc 会简单一点

安装 elasticsearch-jdbc 最新版本是 elasticsearch-jdbc-2.3.4.1

写脚本：

LIB=/usr/elasticsearch-jdbc-2.3.4.1/lib
BIN=/usr/elasticsearch-jdbc-2.3.4.1/bin/

echo "lib path : ${LIB}"
echo "bin path : ${BIN}"

echo ' {
    "type" : "jdbc",
    "jdbc" : {
        "elasticsearch.cluster":"motor-application",
        "url" : "jdbc:mysql://10.33.96.213:3306/motor",
        "user" : "root",
        "password" : "123456",
        "sql" :  "SELECT id AS _id,id,title,intro,autherid,logo,background,view,fans,sort,score,dynamic,recommend_flag AS recommendFlag,recommend_sort AS recommendSort,status,unix_timestamp(create_date) AS createDate ,unix_timestamp(update_date) AS updateDate  FROM motor_short_topic",
        "treat_binary_as_string" : true,
        "elasticsearch" : {
             "host" : "192.168.136.145",
             "port" : 9300
        },
        "index" : "motor_fans_short_topic",
        "type" : "motor_fans_short_topic"
      }
}' | java \
        -cp "${LIB}/*" \
        -Dlog4j.configurationFile="${BIN}\log4j2.xml" \
        "org.xbib.tools.Runner" \
        "org.xbib.tools.JDBCImporter"

将该文件命名为 es-mysql-import.sh

创建该文件之后是没有可执行权限的修改 chmod 777 es-mysql-import.sh

执行出现各种错误

错误1：elasticsearch 无可用节点请检查elasticsearch 的族群名称是否正确

错误2：无法加载执行主类：org.xbib.tools.Runner 请检查路径红色标注部分

折腾了大半天，还是没法完成，后来实在没办法估计是版本问题，Elasticsearch版本已经是6.0版本，最新的jdbc是2.3.4.1

所有打算另找解决办法

采用logstash-jdbc：

如何安装logstash-input-jdbc插件
首先 logstash-input-jdbc 是 logstash的插件，需要先安装logstash

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.0.0.zip

解压: unzip logstash-6.0.0.zip

logstash-2.3.4/bin 下执行 ./logstash -e ""

输入hello 输出如下表示安装成功：

安装 logstash-input-jdbc 插件

logstash-input-jdbc插件是logstash 的一个个插件

使用ruby语言开发。下载插件过程中最大的坑是下载插件相关的依赖的时候下不动，因为国内网络的原因，访问不到亚马逊的服务器。解决办法，改成国内的ruby仓库镜像。此镜像托管于淘宝的阿里云服务器上：

如果没有安装 gem 的话安装gem

sudo yum install gem
1，gem sources --add https://ruby.taobao.org/ --remove https://rubygems.org/
2，gem sources -l

*** CURRENT SOURCES ***

https://ruby.taobao.org
# 请确保只有 ruby.taobao.org
如果还是显示 https://rubygems.org/ 进入 home的 .gemrc 文件
sudo vim ~/.gemrc
手动删除 https://rubygems.org/
2，修改Gemfile的数据源地址。步骤：

1， whereis logstash # 查看logstash安装的位置，我的在 /opt/logstash/ 目录
2， sudo vi Gemfile #
修改 source 的值为： "https://ruby.taobao.org"
3, sudo vi Gemfile.jruby-1.9.lock # 找到 remote 修改它的值为： https://ruby.taobao.org
或者直接替换源这样你不用改你的 Gemfile 的 source。

sudo gem install bundler
$ bundle config mirror.https://rubygems.org https://ruby.taobao.org
安装logstash-input-jdbc

我一共试了三种方法，一开始都没有成功，原因如上，镜像的问题。一旦镜像配置成淘宝的了，理论上随便选择一种安装都可以成功，我用的是第三种。

cd /opt/logstash/

sudo bin/plugin install logstash-input-jdbc

如果成功就成功了。
以上之后 logstash 和 logstash -input -jdbc 插件安装完成

准备执行脚本: 本人在 logstash-6.0.0下新建conf 文件夹其中保存了执行的sql脚本和 input的执行脚本文件

分别是 jdbc.sql 和 jdbc.conf文件

文件内容如下：

jdbc.sql:

SELECT id AS _id,
    id,title,intro,autherid,logo,background,view,fans,sort,score,dynamic,
    recommend_flag AS recommendFlag,recommend_sort AS recommendSort,status,
    unix_timestamp(create_date) AS createDate ,unix_timestamp(update_date) AS updateDate
    FROM motor_short_topic

jdbc.conf:

input {
    stdin {
    }
    jdbc {
      jdbc_connection_string => "jdbc:mysql://10.33.96.213:3306/motor"
      jdbc_user => "root"
      jdbc_password => "123456"
      jdbc_driver_library => "/usr/logstash-6.0.0/lib/mysql-connector-java-5.1.38.jar"
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      statement_filepath => "/usr/logstash-6.0.0/conf/jdbc.sql"
      schedule => "* * * * *"
      type => "motor_fans_short_topic"
    }
}

filter {
    json {
        source => "message"
        remove_field => ["message"]
    }
}

output {
    elasticsearch {
        hosts => "192.168.136.128:9200"
       # port => "9300"
       # protocol => "http"
        index => "motor_fans_short_topic"
        document_id => "%{id}"
       # cluster => "motor-application"
    }
    stdout {
        codec => json_lines
    }
}

需要注意的是你需要根据你的数据库类型将对应的数据库驱动上传到相应位置，然后配置数据库的信息

另外 elasticsearch 的在网上低版本的配置都是 host 和 port 在高版本中修改为了 hosts 了和ElasticSearch版本配置是同步的，其他注意端口号是 9200 不是 http端口号 9300，根据你的Elasticsearch配置修改

以上工作做完之后就可以准备导入数据了

./bin/logstash -f conf/jdbc.conf
执行之后，会将数据库中的数据导入到Elasticsearch中

本人在该过程中参考了 http://blog.youkuaiyun.com/yeyuma/article/details/50240595#quote 这个帖子，在总结的也是从中考取部分文章，安装logstash-input-jdbc 插件的过程请参考该文章，写的十分详细