利用udf函数将Hive统计结果直接插入到MySQL

最新推荐文章于 2024-04-19 16:58:19 发布

原创最新推荐文章于 2024-04-19 16:58:19 发布 · 243 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#java #数据库 #大数据

hive 专栏收录该内容

16 篇文章

订阅专栏

本文介绍了一种使用Hive UDF函数直接将Hive统计结果导入MySQL数据库的方法，避免了中间文件的创建及二次导入过程。具体步骤包括添加必要的JAR包、创建临时函数并调用该函数执行插入操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中，再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中。

今天同事给推荐了一个利用udf函数直接将统计结果导入mysql的方法。

步骤为

hive>add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar;

Added /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar to class path
Added resource: /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar

hive>add jar /usr/share/java/mysql-connector-java-5.1.17.jar;

Added /usr/share/java/mysql-connector-java-5.1.17.jar to class path
Added resource: /usr/share/java/mysql-connector-java-5.1.17.jar

hive>CREATE TEMPORARY FUNCTION dboutput AS 'org.apache.hadoop.hive.contrib.genericudf.example.GenericUDFDBOutput';

hive>select dboutput('jdbc:mysql://localhost/result','root','123456','INSERT INTO dc(code,size) VALUES (?,?)',code,size) from accesslog limit 10;

select dboutput('jdbc:mysql://192.168.239.100/hive','hadoop','hadoop','INSERT INTO testroom(Name,CtfId) VALUES (?,?)',Name,CtfId) from hive_hbase limit 10;
注：result为mysql数据库名，dc为数据库result中的表名 dc(code,size)括号中的字段为mysql表dc字段，values(?,?)对应hive统计结果的值后面的code,size为hive表中的字段，accesslog表示hive中的表名称。

通过以上步骤即可将hive统计结果直接导入到mysql数据库中。