用flume 导入数据到mysql

基于CDH安装部署的flume导入mysql数据到kafak的jar包 利用flume将mysql的数据同步到kafak,flume是基于CDH6.2.0安装的。解决已下问题:java.lang.NoSuchMethodError:    org.apache.flume.Context.getSubProperties(Ljava/lang/String;)Lcom/google/common/collect/ImmutableMap; 立即下载

用flume 导入数据到mysql

转载  2018年01月17日 15:25:34
  • 42

转:http://blog.youkuaiyun.com/poisions/article/details/51695372

  1. 代码如下:  
[java]  view plain  copy
  1. /** 
  2.  * Licensed to the Apache Software Foundation (ASF) under one 
  3.  * or more contributor license agreements.  See the NOTICE file 
  4.  * distributed with this work for additional information 
  5.  * regarding copyright ownership.  The ASF licenses this file 
  6.  * to you under the Apache License, Version 2.0 (the 
  7.  * "License"); you may not use this file except in compliance 
  8.  * with the License.  You may obtain a copy of the License at 
  9.  * 
  10.  *     http://www.apache.org/licenses/LICENSE-2.0 
  11.  * 
  12.  * Unless required by applicable law or agreed to in writing, software 
  13.  * distributed under the License is distributed on an "AS IS" BASIS, 
  14.  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. 
  15.  * See the License for the specific language governing permissions and 
  16.  * limitations under the License. 
  17.  */  
  18. package org.flume.mysql.sink;  
  19. /** 
  20.  * create by yong 2016-6-16 
  21.  */  
  22. import com.google.common.base.Preconditions;  
  23. import com.google.common.base.Throwables;  
  24. import com.google.common.collect.Lists;  
  25. import org.apache.flume.*;  
  26. import org.apache.flume.conf.Configurable;  
  27. import org.apache.flume.sink.AbstractSink;  
  28. import org.slf4j.Logger;  
  29. import org.slf4j.LoggerFactory;  
  30.    
  31. import java.sql.Connection;  
  32. import java.sql.DriverManager;  
  33. import java.sql.PreparedStatement;  
  34. import java.sql.SQLException;  
  35. import java.util.List;  
  36.    
  37. public class MysqlSink extends AbstractSink implements Configurable {  
  38.    
  39.     private Logger LOG = LoggerFactory.getLogger(MysqlSink.class);  
  40.     private String hostname;  
  41.     private String port;  
  42.     private String databaseName;  
  43.     private String tableName;  
  44.     private String user;  
  45.     private String password;  
  46.     private PreparedStatement preparedStatement;  
  47.     private Connection conn;  
  48.     private int batchSize;  
  49.    
  50.     public MysqlSink() {  
  51.         LOG.info("MysqlSink start...");  
  52.     }  
  53.    
  54.     public void configure(Context context) {  
  55.         hostname = context.getString("hostname");  
  56.         Preconditions.checkNotNull(hostname, "hostname must be set!!");  
  57.         port = context.getString("port");  
  58.         Preconditions.checkNotNull(port, "port must be set!!");  
  59.         databaseName = context.getString("databaseName");  
  60.         Preconditions.checkNotNull(databaseName, "databaseName must be set!!");  
  61.         tableName = context.getString("tableName");  
  62.         Preconditions.checkNotNull(tableName, "tableName must be set!!");  
  63.         user = context.getString("user");  
  64.         Preconditions.checkNotNull(user, "user must be set!!");  
  65.         password = context.getString("password");  
  66.         Preconditions.checkNotNull(password, "password must be set!!");  
  67.         batchSize = context.getInteger("batchSize", 100);  
  68.         Preconditions.checkNotNull(batchSize > 0, "batchSize must be a positive number!!");  
  69.     }  
  70.    
  71.     @Override  
  72.     public void start() {  
  73.         super.start();  
  74.         try {  
  75.             //调用Class.forName()方法加载驱动程序  
  76.             Class.forName("com.mysql.jdbc.Driver");  
  77.         } catch (ClassNotFoundException e) {  
  78.             e.printStackTrace();  
  79.         }  
  80.    
  81.         String url = "jdbc:mysql://" + hostname + ":" + port + "/" + databaseName;   
  82.         //调用DriverManager对象的getConnection()方法,获得一个Connection对象  
  83.    
  84.         try {  
  85.             conn = DriverManager.getConnection(url, user, password);  
  86.             conn.setAutoCommit(false);  
  87.             //创建一个Statement对象  
  88.             preparedStatement = conn.prepareStatement("insert into " + tableName +   
  89.                                                " (content) values (?)");  
  90.    
  91.         } catch (SQLException e) {  
  92.             e.printStackTrace();  
  93.             System.exit(1);  
  94.         }  
  95.    
  96.     }  
  97.    
  98.     @Override  
  99.     public void stop() {  
  100.         super.stop();  
  101.         if (preparedStatement != null) {  
  102.             try {  
  103.                 preparedStatement.close();  
  104.             } catch (SQLException e) {  
  105.                 e.printStackTrace();  
  106.             }  
  107.         }  
  108.    
  109.         if (conn != null) {  
  110.             try {  
  111.                 conn.close();  
  112.             } catch (SQLException e) {  
  113.                 e.printStackTrace();  
  114.             }  
  115.         }  
  116.     }  
  117.    
  118.     public Status process() throws EventDeliveryException {  
  119.         Status result = Status.READY;  
  120.         Channel channel = getChannel();  
  121.         Transaction transaction = channel.getTransaction();  
  122.         Event event;  
  123.         String content;  
  124.    
  125.         List<String> actions = Lists.newArrayList();  
  126.         transaction.begin();  
  127.         try {  
  128.             for (int i = 0; i < batchSize; i++) {  
  129.                 event = channel.take();  
  130.                 if (event != null) {  
  131.                     content = new String(event.getBody());  
  132.                     actions.add(content);  
  133.                 } else {  
  134.                     result = Status.BACKOFF;  
  135.                     break;  
  136.                 }  
  137.             }  
  138.    
  139.             if (actions.size() > 0) {  
  140.                 preparedStatement.clearBatch();  
  141.                 for (String temp : actions) {  
  142.                     preparedStatement.setString(1, temp);  
  143.                     preparedStatement.addBatch();  
  144.                 }  
  145.                 preparedStatement.executeBatch();  
  146.    
  147.                 conn.commit();  
  148.             }  
  149.             transaction.commit();  
  150.         } catch (Throwable e) {  
  151.             try {  
  152.                 transaction.rollback();  
  153.             } catch (Exception e2) {  
  154.                 LOG.error("Exception in rollback. Rollback might not have been" +  
  155.                         "successful.", e2);  
  156.             }  
  157.             LOG.error("Failed to commit transaction." +  
  158.                     "Transaction rolled back.", e);  
  159.             Throwables.propagate(e);  
  160.         } finally {  
  161.             transaction.close();  
  162.         }  
  163.    
  164.         return result;  
  165.     }  
  166. }  


pom依赖如下:

[java]  view plain  copy
  1. <?xml version="1.0"?>  
  2. <!--  
  3. Licensed to the Apache Software Foundation (ASF) under one or more  
  4. contributor license agreements.  See the NOTICE file distributed with  
  5. this work for additional information regarding copyright ownership.  
  6. The ASF licenses this file to You under the Apache License, Version 2.0  
  7. (the "License"); you may not use this file except in compliance with  
  8. the License.  You may obtain a copy of the License at  
  9.    
  10.      http://www.apache.org/licenses/LICENSE-2.0  
  11.    
  12. Unless required by applicable law or agreed to in writing, software  
  13. distributed under the License is distributed on an "AS IS" BASIS,  
  14. WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.  
  15. See the License for the specific language governing permissions and  
  16. limitations under the License.  
  17. -->  
  18. <project xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd" xmlns="http://maven.apache.org/POM/4.0.0"  
  19.     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">  
  20.   <modelVersion>4.0.0</modelVersion>  
  21.   <parent>  
  22.     <groupId>org.apache.flume</groupId>  
  23.     <artifactId>flume-parent</artifactId>  
  24.     <version>1.4.0</version>  
  25.   </parent>  
  26.   <groupId>org.apache.flume</groupId>  
  27.   <artifactId>flume-mysql-sink</artifactId>  
  28.   <version>1.4.0</version>  
  29.   <name>flume-mysql-sink</name>  
  30.   <url>http://maven.apache.org</url>  
  31.   <properties>  
  32.     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>  
  33.   </properties>  
  34. <dependencies>  
  35.         <dependency>  
  36.             <groupId>org.apache.flume</groupId>  
  37.             <artifactId>flume-ng-core</artifactId>  
  38.         </dependency>  
  39.    
  40.         <dependency>  
  41.             <groupId>org.apache.flume</groupId>  
  42.             <artifactId>flume-ng-configuration</artifactId>  
  43.         </dependency>  
  44.    
  45.         <dependency>  
  46.             <groupId>mysql</groupId>  
  47.             <artifactId>mysql-connector-java</artifactId>  
  48.             <version>5.1.25</version>  
  49.         </dependency>  
  50.    
  51.         <dependency>  
  52.             <groupId>org.slf4j</groupId>  
  53.             <artifactId>slf4j-api</artifactId>  
  54.         </dependency>  
  55.    
  56.         <dependency>  
  57.             <groupId>org.slf4j</groupId>  
  58.             <artifactId>slf4j-log4j12</artifactId>  
  59.             <scope>test</scope>  
  60.         </dependency>  
  61. </dependencies>  
  62. </project>  

讲代码打成jar包后,上传到flume安装目录下的lib文件夹中,同时需要上传MySQL的驱动jar包


=====================================================================================================================

给flume添加mysqlSink.conf文件:

agent1.sources = source1
agent1.sinks = mysqlSink
agent1.channels = channel1
 
 
 
# Describe/configure source1
agent1.sources.source1. type  =  exec
agent1.sources.source1. command  = tail -F /home/yong/Work/flum-1.6/tail_log_exec
agent1.sources.source1.channels = channel1
 
 
# Describe mysqlSink
agent1.sinks.mysqlSink. type  = org.flume.mysql.sink.MysqlSink
agent1.sinks.mysqlSink. hostname =localhost
agent1.sinks.mysqlSink.port=3306
agent1.sinks.mysqlSink.databaseName=sinktest
agent1.sinks.mysqlSink.tableName=mysqltest
agent1.sinks.mysqlSink.user=root
agent1.sinks.mysqlSink.password=root
agent1.sinks.mysqlSink.channel = channel1
  
# Use a channel which buffers events in memory
agent1.channels.channel1. type  =  memory
agent1.channels.channel1.capacity = 1000
agent1.channels.channel1.transactionCapactiy = 100
 
===============================================================================================================================
启动flume命令:

/home/yong/Work/flume-1.6/bin/flume-ng agent -c/home/yong/Work/flume-1.6/conf/ -f /home/yong/Work/flume-1.6/conf/mysqlSink.conf -n agent1 -Dflume.root.logger=INFO,console

============================================================================

运行程序时,先在Mysql中创建一个表:

mysql> create table mysqltest(
-> id int(11) NOT NULL AUTO_INCREMENT,
-> content varchar(50000) NOT NULL,
-> PRIMARY KEY (`id`)

-> ) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8; 

========================================================================================================================

生成数据到目标日志文件中:

for i in {1..1000};do echo "exec tail$i" >> /home/yong/Work/flume-1.6/tail_log_exec;done;


完成后,数据和预想中的一样,写入了数据库中。

sysbench测试系统内存 系统内存读写测试方法,报告解读 阅读详情

相关推荐

从量子兔AlphaPi硬件拆解到ESP32-C3库开发实战

本文详细拆解了量子兔AlphaPi开发板的硬件构成,重点分析了其核心ESP32-C3芯片及外围传感器。通过逆向工程揭示了GPIO引脚定义与通信协议,并实战演示了如何从零开发MicroPython库,驱动按键、加速度计及LED点阵,最终整合成一个互动平衡球游戏项目,展现了开源硬件在教育与二次开发中的潜力。

weixin_29164497的博客 462

flume 读取数据存入mysql(一)

本文需求是用flume 监控文件,然后将文件的内容存放在数据库中。本文结构1.mysql 表设计2. MysqlSink编写3.conf 配置4. 打包测试1.mysql 表设计首先声明本文的event ,本文的event内容 是”exec taili,yang”,exectaili , yang” , exec taili 为数据 content ,“yang“ 为createBY 中间用“

哎幽的成长 1万+

智能体在车联网中的应用:第9天 核心工具链与仿真世界:SUMO交通仿真入门——从安装到构建你的第一个虚拟十字路口

摘要 SUMO是一款开源微观交通仿真工具,为车联网和自动驾驶算法开发提供高效安全的测试环境。文章详细介绍了SUMO的核心概念、安装方法及实战应用。在Ubuntu或Windows系统安装SUMO后,可通过netedit工具构建十字路口路网,包括创建节点、连接边、设置交通信号灯等步骤。随后通过编写.rou.xml文件定义车辆类型、路线和车流,实现动态交通场景模拟。SUMO支持与外部程序交互,能复现真实场景、进行极端测试和算法验证,是车联网研究的理想数字沙盘。

IT深耕十余载,大道之简 1455

脚本启动flume报错,no configuration dirctory set

使用命令行直接启动flume没有问题,但是使用shell脚本启动flume会报错 ssh $i "nohup /opt/module/flume/bin/flume-ng agent --conf-file /opt/module/flume/jobs/taildir_kafka.conf --name a1 -Dflume.root.logger=INFO,LOGFILE > /opt/module/flume/log1.txt 2>&1 &" Caused by: jav

weixin_45415743的博客 710

Win10安全模式下修改C盘权限的完整指南(附解决开始菜单失灵方案)

本文提供了一份在Win10安全模式下修复因C盘权限误改导致开始菜单失灵的完整指南。文章深入剖析了权限体系,特别是TrustedInstaller角色的重要性,并详细讲解了通过安全模式进入系统、使用ICACLS命令或图形界面精准重置C盘关键目录权限的步骤,最终恢复系统核心功能。

weixin_29250403的博客 237

车载导航GPS欺骗

因此,如果我们能够模拟卫星信号,将模拟的信号通过信号发射装置发送给GPS传感器,那么就有可能实现欺骗GPS传感器获取虚假的位置信息,这种技术即SDR(软件无线电,Software Defined Radio)[2]。究其原因,在不使用时钟模块的条件下,HackRF发送信号的频率可能不十分精准,因此GPS传感器接收到信号之后可能无法正常解析GPS信号,因此时钟信号可能是HackRF进行GPS欺骗的关键。2)HackRF是否使用了时钟模块,时钟模块决定了信号发送频率的精准程度,对实验的成败也是至关重要的。

2503_90751789的博客 1326

Flume启动脚本报错/无效

(1)执行 fl.sh stop时,能正常关闭。————> 表示该脚本能正常执行(权限为777)(2)但在执行 fl.sh start ,却发现没有启动任何一个服务器的 Flume进程(即 JPS都查不到Application)可以正常启动 Flume,用jps查询进程能查到 “Application”

Y_Aryan的博客 806

车辆动力学从入门到进阶之路(传统篇)

新手如何入门车辆动力学开发领域,本文为您引路!

CrazyRabbit的博客 1万+

Flume1.9.0自定义Sink组件将数据发送至Mysql

实现flume采集日志数据发送至mysql存储。

weixin_44351477的博客 1198

【unity游戏开发入门到精通——通用篇】Post Processing 后处理插件Post-process Volume 和 Volume最全基础使用说明

之前我已经实现了不少后处理功能,本文其实就是将他们归类整理,以便更好的查找和理解。在Unity中,后处理(Post-Processing)是在相机所捕捉的图像上应用一些特殊效果的过程,后处理会让图像视觉效果更好(前提是做的好)。这些效果的范围有非常细微的颜色调整,也包括整体的美术风格的大修,可以让场景看起来更加真实或风格化,或者只是变得更好看。就像我们都会用手机拍照,但很多时候我们拍的原始的相片都打不到我们想要的效果。比如照片可能亮度不够,颜色不饱和或者对比度不好等。

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 7904

使用DrissionPage实现携程酒店信息智能爬取

本文介绍了一个基于DrissionPage技术的携程酒店信息爬虫系统,通过监听API数据包实现高效采集。系统可自动获取酒店名称、价格、评分、位置等15个维度的数据,支持多页滚动加载和智能去重。相比传统爬虫,该方法直接解析API返回的JSON数据,避免了复杂的HTML解析和加密参数分析,提高了开发效率和稳定性。文章详细阐述了13个关键实现步骤,并强调数据采集应严格遵守法律法规,仅用于技术学习和市场研究。该系统可为旅游决策、价格监测等提供数据支持,但需注意合理使用频率和隐私保护。

那些看似不起波澜的日复一日,会在某天让你看到坚持的意义 392

flume mysql 导入数据到 hdfs

#声明source, channel, sink a1.sources=sqlSource a1.channels=c1 a1.sinks=s1 #声明source类型 a1.sources.sqlSource.type=org.keedio.flume.source.SQLSource a1.sources.sqlSource.hibernate.connection.url=jdbc:mys...

mjlfto的博客 1477

路径规划 | 详解混合A*算法Hybrid A*(附ROS C++/Python/Matlab仿真)

Hybrid A*算法通过结合连续状态空间搜索、运动约束考虑和轨迹优化等技术,弥补了普通A*算法在高维连续空间和的不足,提高了路径规划的效率和鲁棒性,广泛应用于车规级路径规划。本文详细图解Hybrid A*算法的原理——启发式、维诺耗散项、节点扩展法则等,并给出ROS C++、python、matlab三种语言的仿真实现加深理解

FRIGIDWINTER的博客 1万+

flume mysql hbase_Flume将数据导入Hbase的步骤

Flume将数据导入Hbase的步骤1:创建.conf文件#cd /usr/tmp#mkdir flumesrc#vim netcat_to_hbase_user.confa1.sources=r1a1.sinks=s1a1.channels=c1a1.sources.r1.type=netcata1.sources.r1.bind=mastera1.sources.r1.port=44444a1...

weixin_33347911的博客 336

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

flume mysql to hbase_04 flume将数据导入到Hbase

我们已经了解了使用flume监听端口以及文件内容,本节将展示使用flume导入数据到hbase。1 系统、软件以及前提约束CentOS 7 64 工作站 作者的机子ip是192.168.100.200,请读者根据自己实际情况设置xshell客户端为去除权限对操作的影响,所有操作都以root进行2 操作1 使用xshell登录到192.168.100.2002 启动hbase服务,登录到hbase客...

weixin_39668496的博客 174

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

flume实现jdbc source将mysql数据实时监控导入kafka

flume将mysql数据实时监控导入kafka一、数据准备二、flume-ng-sql-source资源下载准备三、编辑flume配置四、启动并实现五、结果展示 一、数据准备 这里我们使用一个极为简单的mysql数据表作为测试使用,如下 二、flume-ng-sql-source资源下载准备 需要到https://github.com/keedio/flume-ng-sql-source下载源码并且使用maven编译打包程序获得jar包 流程如下: 下载源码压缩包 上传压缩包并解压 unzip f

weixin_42487460的博客 1234

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

flume对kafka中数据的导入导出、datax对mysql数据库数据的抽取

抽取trans_info.json的数据到kafka上,对其中的tr_flag=0的数据进行过滤抛弃,只保留正常的状态数据在pom.xml中放入依赖包:使用java代码,自定义拦截器:@Override@Overridetry {// 获取事件体中的数据(假设数据是JSON格式存储在事件体中)// 使用Jackson将JSON字符串解析为JsonNode对象// 获取tr_flag的值// 如果tr_flag不等于0,保留该事件if (trFlag!

weixin_64860388的博客 2101

flume mysql to hbase_Flume将数据从MySQL迁移到Hadoop

5 个答案:答案 0 :(得分:3)根据我的理解,Flume不是为了这个。Flume基本上用于读取数据源(平面文件)等日志,并以结构化方式将它们推送到接收器。Sqoop可以使用,试一试http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html答案 1 :(得分:0)你问题的直接答案是肯定的。 Flume被设计为用于事件/日志结构化数据的分...

weixin_42501850的博客 176

mysql 迁移hadoop_数据到hadoop的迁移

最近在用flume和sqoop来做非关系数据(日志)和关系数据(MYSQL)迁移到hdfs的工作,简单记录下使用过程,以此总结一 flume的使用使用flume把web的log日志数据导入到hdfs上步骤1 在 elephant 节点上先安装flume sudo yum install --assumeyes flume-ng2 创建配置文件vi /etc/hadoop/conf/flume-co...

weixin_32824725的博客 601

Spark读取Hdfs的数据批量导入MySQL

背景:一般情况下,我们在大数据使用中,我们习惯用Spark来做计算,用JAVA来JDBC MySQL库,随着Spark的成熟,Spark自己也有实现一套连接Mysql的方法。这里主要以Spark Core 来处理数据,然后用JDBC 来批量导入数据。 工程:我们的数据工程通过flume收集nginx上数据,直接落地到Hdfs,然后用SparkCore 解析处理数据,JDBC批量入MySQL库。 主...

weixin_44695980的博客 1352

sqoop,flume草稿

使用flume命令加载simple-hdfs-flume.conf配置信息,启动Flume传输数据。然后给权限:hdfs dfs -chmod 777 /tmp/flume让它能够接收和发送数据。在hdfs创建:hdfs dfs -mkdir -p /tmp/flume。hdfs dfs -ls /tmp/flume看是否有传输文件。连接MySQL并列出test数据库中的表。从MySQL中导出数据,并导入hive。从hive中导出数据,并导入MySQL。从数据库导出表的数据到HDFS文件中。

2301_80917747的博客 1269

基于flume-ng抓取mysql数据到kafka

flume是一个日志收集器,更多详细的介绍可以参照官网:http://flume.apache.org/   在apache flume的官网上没有找到sql数据源数据抓取的source, 可以利用github上的plugin插件:https://github.com/keedio/flume-ng-sql-source,1.4.3版本基于hibernate实现,已可以适配所有的

jingqiang521的专栏 4666

大数据-sqoop工具以及相关案例实现功能 flume工具及相关案例

一.sqoop: sqoop的概念: 是一个工具,是一个Java写的小工具。 是将hive 中的数据 导出到MySQL中 或者将MySQL中的数据导入到hive中。 二、配置安装测试

spire_di 595

flume-ng抓取日志文件存入mysql中

编写代码: 创建一个Maven项目,在pom.xml中添加下面的内容           org.apache.flume       flume-ng-configuration       1.5.2               org.apache.flume       flume-ng-core       1.5.2

u012689336的专栏 2526
上一篇: kafka
下一篇: maven 打包 符号不存在 删除<scope>test</scope>
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值