Vivi_static的博客

本文简介列出了flink需要学习的基本原理框架梗概，适合初学者的学习思路，具体flink要学些什么，可以解决什么问题，细致的参数设置、脚本提交、API调用还是要参考官网。截止到目前 flink已经更新到 1.131.12版本已经实现了sql的批流统一，和hive有了较好的交互1.10之前的版本与之后相差较大，尤其是内存模型、flinktable和flinksql部分、提交脚本和参数设置也略有不同【官网传送】https://ci.apache.org/正文！！！【概述】【 解决】更

【应用场景】1 同步数据到业务数据库所使用的工具【导出命令】sqoop export -D mapred.job.queue.name=xx\--table xx\--connect jdbc:mysql://xx/xx\--username xx\--password xx\--export-dir hdfs://xxxx \#非必须参数，按列顺序导出--columns a,b,c \--input-fields-terminated-by '\t' \--input-lines-

【应用场景】sqoop是常用的 关系数据库离线同步到数仓的 工具sqoop导入有两种方式：1）直接导入到hdfs，然后再load到表中2）直接导入到hive中下面介绍sqoop import 导入到hive中的 完整参数命令【sqoop-import-mysql到hive完整命令】1）需要已知的参数mysql 的jdbc连接参数：jdbc链接、用户名、密码mysql同步表的信息：列、表名hive链接参数 ：是否有链接限制hive目标表的信息：表名、分隔符、是否分区2）具体参数#