
flink
文章平均质量分 80
lsr40
菜鸡一个,还请见谅
展开
-
【Flink】获取配置参数方式总结
一、背景以前写的比较多的是spark,传入外部参数,通常有两种方法:1、用main方法传入,代码中通过args获取(基本上只要是个java程序,就可以通过这种方式来传参)2、通过--conf 传入一个spark开头的key的配置,代码中通过sparkConf来获取对应的value(这个是spark独有的特性)那么flink如何读取properties,又如何读取外部传入的参数呢?二、正文1、main方法传入这个其实不用多说,就是:flink run -m yarn-clust原创 2021-04-24 01:00:33 · 7817 阅读 · 3 评论 -
【Flink】SQL-Client运行yarn-session模式
flink有个sql-client.sh(如下的图,是从flink官网截图下来的)官网地址:https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/sqlClient.html具体如何配置sql-client和各种框架集成, 我就不搞了,大家有兴趣研究下官网或者百度下,我就试了下集成hive具体如何配置,请看以下文章!flink 1.11.2-sql-client 集成hive:htt..原创 2021-02-01 21:20:22 · 9210 阅读 · 6 评论 -
【Flink】Flink的编译(包含hadoop的依赖)
好久没写文章了,手都有点生。菜鸡一只,如果有说错的还请大家批评!最近工作上的事情还是有点忙的,主要都是一些杂活,不干又不行,干了好像提升又不多,不过拿人家手短吃人家嘴软,既然拿了工资就应该好好的干活,当然前提是需求相对合理的情况嘿嘿~近来Flink的势头有点猛啊,它和spark的区别在于:spark更倾向于批处理或者微批处理(spark现在的发展方向往人工智能的分布式算法上走了),但是...原创 2019-08-01 15:21:06 · 5735 阅读 · 1 评论