qq_45952294的博客

FlinkX安装及数据抽取导入

文章目录1. 上传解压搭建sqoop1.1 解压后改名1.2 修改配置文件1.3 重命名1.4修改配置文件1.5拷贝mysql驱动包到/usr/sqoop/lib库下1.6 sqoop version查看版本1.7 测试连接2.将mysql中学生表导入到hive中2.1 先清空hive中的student表2.2 MysqlToHive.opt 文件内容2.3 执行命令3. 将hive中student表导出到mysql的学生表中3.1 先清空mysql中的学生表3.2 HiveToMysql.opt 文件

文章目录前言一、Flume定义二、Flume安装部署1.上传压缩包2.解压、修改配置文件2.1解压2.2修改配置文件三、Flume简单使用3.1 使用 Flume 监听一个端口，收集该端口数据，并打印到控制台*也可以使用telnet工具*前言本文对flume进行简单的介绍，及对flume进行安装和使用一、Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供

文章目录1.安装DataX1.1上传datax压缩包1.2解压至/usr目录下2. 使用DataX实现mysql中student表导数据到student2表。2.1在mysql中创建数据库2.2导入student.sql文件2.3创建student2表2.3 datax.py mysql2mysql.json2.4查看student2数据3. 使用DataX实现mysql的student表导入hive的student表。3.1 启动hive，创建数据库3.2 创建student数据表3.3 datax.p