Flink
文章平均质量分 94
相关flink的代码
lbship
工科专业转行大数据分析
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
利用Flink CDC和Flink SQL构建实时数仓Flink写入Doris
一、MySQL 开启binlog日志、创建用户 1.开启bin log MySQL 8.0默认开启了binlog,可以通过代码show variables like "%log_bin%";查询是否开启了,show variables like "%server_id%";查询服务器ID。 上图分别显示了bin long是否开启以及bin log所在的位置。 2.创建用户 CREATE USER 'flinktest' IDENTIFIED BY 'root'; GRANT SELECT,原创 2021-11-14 11:46:28 · 14484 阅读 · 3 评论 -
Flink on K8s安装与使用
1.安装K8S 2.安装Helm Helm可以帮忙管理k8s的应用。 curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 chmod 700 get_helm.sh ./get_helm.sh原创 2021-05-19 11:13:10 · 1552 阅读 · 0 评论 -
K8S原理、安装和部署
参考:Kubernetes中文文档 一、K8S架构和原理 首先看一下K8S的架构图,方便对组件有所了解 Master主要有以下组件: apiserver: K8s的网关,提供了资源操作的唯一入口,并提供认证、授权、访问控制、API注册和发现等机制,; controller manager负责维护集群的状态,比如故障检测、自动扩展、滚动更新等,类似于CRUD,不直接调度node节点,而是把指令给Apiserver存储在etcd中; scheduler负责资源的调度,按照预定的调度策略将Pod调原创 2021-05-08 10:04:12 · 1188 阅读 · 3 评论 -
Flink解析kafka的json字段并利用Flink CEP实时监控订单数据写入MySQL
上篇博客写了Flink接入Kafka数据并实时写入数据库实时展示,这次利用Flink CEP进行实时监控。 实现目标如下: 1.如果同一个顾客买了5次牛奶,输出用户id,时间 2.如果2分钟内某个产品被卖了10个,输出商品,时间 3.如果一个顾客来了10次,输出用户id,初始消费时间,最后消费时间 先了解一下Flink CEP 开发过程: a.定义Pattern b.把pattern应用于输入流CEP.pattern(inputstream, pattern) 变成patternstr..原创 2021-01-07 16:38:00 · 5175 阅读 · 0 评论 -
Flink实时读取Kafka数据写入Clickhouse并实时展示
1.启动ZooKeeper ./zkServer.sh start .2.启动Kafka ./kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties 3.创建topic ./kafka-topics.sh --create --zookeeper 192.168.226.10:2181 --replication-factor 1 --partitions 1 --topic test 查看是否成功 ./kafka-原创 2020-10-30 17:43:05 · 8946 阅读 · 6 评论
分享