zeppelin
关注
分享
扫一扫
文章平均质量分 75
黄瓜炖啤酒鸭
黄瓜炖啤酒鸭 欢迎分享，欢迎交流，有不懂的可以加微信交流，拒绝红包等利益交流，不懂就问。
展开
-
Zeppelin client执行flink sql on hive流程备份
主要目的：防止自己忘记，重新记录一下1，Flink 1.11.2版本 集群配置查看官网地址：https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/connectors/hive/找到对应hive版本:下载这几个依赖包，放入到Flink集群lib下:2, zeppelin的flink和hive配置整合地址：https://www.yuque.com/jeffzhangji...原创 2021-07-21 14:19:29 · 475 阅读 · 0 评论 -
hudi同时读写遇到的问题,以及疑惑汇总
1，创建一个kafka的表%flink.ssqlDROP TABLE IF EXISTS logtail;--创建kafka表CREATE TABLE logtail (order_state_tag int ......................) WITH ('connector' = 'kafka','topic' = 'ods.rds_core.plateform_stable.assure_orders','prop...原创 2021-05-07 15:37:45 · 5288 阅读 · 6 评论 -
基于zeppelin使用hive或Flink查询hudi的数据
目录目标：一，导入jar二，创建hudi表：mor：cow：写入数据：三，创建hive外部表四，查询结果五，问题总结最后提醒：目标：像iceberg一样，在hive能直接查询hudi表数据。一，导入jar将hudi-hadoop-mr-bundle-0.9.0-SNAPSHOT.jar放入到hivelib下面；二，创建hudi表：mor：cow：写入数据：三，创建h...原创 2021-04-28 16:39:02 · 1409 阅读 · 1 评论 -
基于zeppelin，Flink操作hudi 草稿
声明测试是CDH环境Flink 1.12.2hudi是最新版本1，flinklib下面hudi-flink-bundle_2.11-0.9.0-SNAPSHOT.jar这个包是大佬编译的，解决了hive的依赖冲突，已经提到社区了，后续会合并到分支。2，zeppelin操作...原创 2021-04-27 19:23:12 · 466 阅读 · 4 评论 -
iceberg整合hive（从hive读取iceberg表数据）实践02
目录实现目标：1，创建hadoop catalog在zeppelin创建hadoop catalog2，创建基于hadoop_catalog的iceberg表 3,从hadoop_catalog来创建hive表，在hive shell执行4，向iceberg插入数据验证5，hive查询实现目标： 在hive查询iceberg表数据1，创建hadoop catalog在zeppelin创建hadoop catalogCREATE CAT...原创 2021-04-26 20:19:39 · 5900 阅读 · 6 评论 -
基于zeppelin ，Flink sql 读取kafka数据写入数据到iceberg
目录一、基于zeppelin ，Flink sql读取kafka数据写入数据到iceberg 1，首先一定要添加checkpoint2，创建iceberg表3，切换catalog ,创建kafka表usecataloghive;4，执行sql插入数据5，查看iceberg二、参考文章总结一、基于zeppelin ，Flink sql读取kafka数据写入数据到iceberg 1，首先一定要添加checkpoin...原创 2021-04-23 17:58:00 · 834 阅读 · 0 评论 -
zeppelin 屏蔽模块
起因：运维不让在web通过sh操作机器，因为没有经过堡垒机，没有操作记录做法：修改zeppelinconf目录下 配置文件 zeppelin-site.xml修改为：<property><name>zeppelin.interpreter.exclude</name><value>sh</value><description>All the inteprreters that you would lik...原创 2020-12-25 11:23:42 · 179 阅读 · 0 评论 -
涉及到一些源码修改的地方-未完
1，zeppelin的interpreter开发思路：可以直接参考修改FlinkInterpreter正常流程：1）创建子项目：2）resource放入json文件3）开发主类，关键就是继承Interpreter核心在于：publicabstractclassInterpreter{/***初始化的时候调用，可以在这个里面加一些系统初始化的工作，这个方法只调用一次。*写过flink自定义source和sink的同...原创 2020-10-14 10:28:41 · 265 阅读 · 0 评论 -
通过zeppelin调用脚本，提交Flink任务
一，环境准备，我们在一个节点上部署zeppelin跟Flink。zeppelin配置（啥也没改）：二，在节点创建脚本vim dwd-task2.sh#bashecho "开始dwd任务..."${FLINK_HOME}/bin/flink run -d -c com.sjb.dev.dwd.DwdEtl_flatMap ./flink-neiwang-dev-1.0-SNAPSHOT-shade.jarecho "任务开始执行......$0,$1,$3"参考传参：ht.原创 2020-10-12 16:04:36 · 905 阅读 · 1 评论 -
zeppelin Interpreter Yarn 模式 和 doris的 bitmap_union
1，记录一下zeppelin Interpreter Yarn 模式在上生产部署的路上，需要思考一下各组件的高可用，出现意外情况等情况，所以才发现zeppelin存在Interpreter Yarn 模式：首先需要声明的是这里的Interpreter Yarn 模式和 Flink的Yarn模式不是一个概念。Flink的Yarn模式是指把Flink集群运行在Yarn环境里，而这里的 Interpreter Yarn 模式是指把 Flink Interpreter 进程运行在 Yarn 环...原创 2020-08-21 14:36:16 · 1200 阅读 · 0 评论 -
Flink 几种checkpoint的姿势，脚本，web端，zeppelin
1，主要验证了一下flinkon zeppelincheckpoint的这个功能，临时写了个案例去测试一下。2，首先我们知道正常的checkpoint恢复取消的任务，我们需要在脚本里面指定路径，这个我之前博客有写，直接贴官网的案例：https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/state/checkpoints.html3，不知道大家是不是这样子，如果在一些集群环境运行。我们的任务需要重启，需要登录..原创 2020-08-07 16:24:48 · 761 阅读 · 1 评论