
Flink
文章平均质量分 94
相关flink的代码
lbship
工科专业转行大数据分析
展开
-
利用Flink CDC和Flink SQL构建实时数仓Flink写入Doris
一、MySQL 开启binlog日志、创建用户1.开启bin logMySQL 8.0默认开启了binlog,可以通过代码show variables like "%log_bin%";查询是否开启了,show variables like "%server_id%";查询服务器ID。上图分别显示了bin long是否开启以及bin log所在的位置。2.创建用户CREATE USER 'flinktest' IDENTIFIED BY 'root';GRANT SELECT,原创 2021-11-14 11:46:28 · 14147 阅读 · 3 评论 -
Flink on K8s安装与使用
1.安装K8S2.安装HelmHelm可以帮忙管理k8s的应用。curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3chmod 700 get_helm.sh./get_helm.sh原创 2021-05-19 11:13:10 · 1369 阅读 · 0 评论 -
K8S原理、安装和部署
参考:Kubernetes中文文档一、K8S架构和原理首先看一下K8S的架构图,方便对组件有所了解Master主要有以下组件:apiserver: K8s的网关,提供了资源操作的唯一入口,并提供认证、授权、访问控制、API注册和发现等机制,; controller manager负责维护集群的状态,比如故障检测、自动扩展、滚动更新等,类似于CRUD,不直接调度node节点,而是把指令给Apiserver存储在etcd中; scheduler负责资源的调度,按照预定的调度策略将Pod调原创 2021-05-08 10:04:12 · 1062 阅读 · 3 评论 -
Flink解析kafka的json字段并利用Flink CEP实时监控订单数据写入MySQL
上篇博客写了Flink接入Kafka数据并实时写入数据库实时展示,这次利用Flink CEP进行实时监控。实现目标如下:1.如果同一个顾客买了5次牛奶,输出用户id,时间2.如果2分钟内某个产品被卖了10个,输出商品,时间3.如果一个顾客来了10次,输出用户id,初始消费时间,最后消费时间先了解一下Flink CEP 开发过程:a.定义Patternb.把pattern应用于输入流CEP.pattern(inputstream, pattern) 变成patternstr..原创 2021-01-07 16:38:00 · 5004 阅读 · 0 评论 -
Flink实时读取Kafka数据写入Clickhouse并实时展示
1.启动ZooKeeper./zkServer.sh start.2.启动Kafka./kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties3.创建topic./kafka-topics.sh --create --zookeeper 192.168.226.10:2181 --replication-factor 1 --partitions 1 --topic test查看是否成功./kafka-原创 2020-10-30 17:43:05 · 8667 阅读 · 6 评论