@羲凡—只为更好的活着

@羲凡——只为了更好的活着DataX mysql与hive间传输数据官网前期准备a.下载并配置DataX，见官网b.有hive环境和mysql库0.注意事项a.mysql数据导入到hive 中 connection 中的 jdbcUrl必须是个list，也就是要加中括号b.hive数据导出到mysql 中 connection 中的 jdbcUrl必须是string，也就是别加中括号c.hive数据导出到mysql 中,hdfsreader数据类型转化,hive中的TINYINT,SMAL

@羲凡——只为了更好的活着Sqoop 使用——sqoop job 应用看本文前默认你已经用shell脚本执行sqoop，不会的可以借鉴我另一篇博客 https://blog.youkuaiyun.com/weixin_42003671/article/details/886658641.参数说明Job management arguments: --create <job-id> ...

@羲凡——只为了更好的活着Sqoop 增量导入hive(incremental)问：业务中每天增量产生的数据(比如用户登录日志)如何更新到hive中呢答：使用参数 incrementalsqoop import \--connect jdbc:mysql://deptest23:3306/test_data?useUnicode=true&characterEncoding=ut...

@羲凡——只为了更好的活着Sqoop Job 应用(二)问：在看了 Sqoop Job 应用(一) 后应该对sqoop job有一定的认识了，但是实际业务中我们肯定不会每次都手动执行sqoop脚本，更不会盯着去输入数据库密码，那怎么办呢？答：用调度器。之前的文章提到过用oozie调度sqoop，本文介绍用crontab0.重点说明a.省略输入密码要将之前的 –passowrd 换成 –p...

@羲凡——只为了更好的活着Sqoop 安装——sqoop1.4.7安装前默认你已经安装hadoop、hive和mysql。博主使用的版本是hadoop2.7.3、hive1.2.2 和 mysql5.7.241.下载安装包http://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz2.解压配...

@羲凡——只为了更好的活着踩坑——Sqoop报错ERROR tool.ExportTool: Error during export控制台打印的报错是19/04/19 20:17:09 ERROR mapreduce.ExportJobBase: Export job failed!19/04/19 20:17:09 ERROR tool.ExportTool: Error during ...

@羲凡——只为了更好的活着Sqoop 使用——将mysql数据导入到hive分区表前期准备a./etc/profile添加export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*b.将hive-site.xml 拷贝到 $SQOOP_HOME/conf目录下(否则报错找不到hive库)0.参数说明--connect #关系型数...

@羲凡——只为了更好的活着Kettle 简单应用——作业kettle是一个神奇的工具，第一，开源；第二，应用简单默认你已经掌握创建 转换 的方法，且有一个 test_kettle.ktr 的转换文件，如果没有，请看我的另一篇博客 https://blog.youkuaiyun.com/weixin_42003671/article/details/888456071.创建好名为 test_kettle...

@羲凡——只为了更好的活着Kettle 简单应用kettle是一个神奇的工具，第一，开源；第二，应用简单1.下载https://community.hitachivantara.com/docs/DOC-10098552.不用安装直接打开在Kettle的家目录下找到 Spoon.bat 文件双击即可打开3.新建mysql连接点击左上角的文件——新建——数据库连接，如下图，填好保存即...

@羲凡——只为了更好的活着Sqoop 使用——mysql与hdfs间传输数据1.mysql数据导入到hdfssqoop import \--connect jdbc:mysql://deptest75:3306/aarontest \--username root \--password 123456\--table stu_info \--direct \--delete-ta...