- 博客(7)
- 收藏
- 关注
RSS订阅原创 Flink的优势
一种兼具低延迟和高吞吐能力，同时支持窗口计算、状态和恰好一次语义的计算引擎。 流批一体。 主要应用场景包括实时数仓、实时大屏、实时推荐、实时报表、实时风控和实时监控，当然还有其他一些应用场景。总之，实时计算的业务需求，一般都会用 Flink 进行开发。 ...
2021-09-01 09:04:48
411
原创 分布式binlog同步
需求点 同步数据源的连接数过多 减少运维的复杂度，统一管理 分布式调度，高可用 一致性哈希，防止任务重复运行 检查点机制，状态可恢复 服务注册与发现 数据一致性检验 监控 告警 整体架构 mysql etcd canal master work kafka elasticsearch 挑战 同步延迟 表结构变更 任务热点 ...
2021-08-04 21:24:15
221
1
原创 Flink On K8S
动力 K8S基础能力有保障。 Flink 版本已升级至最新版。 Flink On Yarn的不足。 整体架构 实时平台 CICD(镜像构建) Flink On K8s(Ingress创建 Podtemplate) K8S Logger Metrics Alerts 网络模型 Kong nodePort Ingress (ingress-controller+ingress) Pod 状态存储 HDFS OSS 容量规划 网络带宽 任务热点 DNS解析 ...
2021-08-04 21:05:10
357
原创 tcp/http 分析
tcp tcpdump异常请求分析来源ip tcpdump -s 0 -A 'tcp dst port 9200 and tcp[((tcp[12:1] & 0xf0) >> 2):4] = 0x47455420' http tcpdump查看HTTP流量 查看HTTP GET请求 sudo tcpdump -s 0 -A 'tcp dst port 80 and tcp[((tcp[12:1] & 0xf0) >> 2):4] = 0x47455420' 查
2021-07-14 22:07:39
207
1
原创 使用Redis实现分布式锁
使用Redis实现分布式锁在不同线程以竞争方式操作共享资源时，分布式锁是非常有用的。分布式锁一般有三种实现方式：1. 数据库乐观锁；2. 基于Redis的分布式锁；3. 基于ZooKeeper的分布式锁。本博客基于Redis实现分布式锁。前提使用Jedis实现Redis客户端且Redis服务端单机部署参考 https://redis.io/topics/distlock Redis分布式锁的正确实现
2017-12-09 19:17:50
733
原创 Vagrant安装和使用
Vagrant介绍Vagrant 是一款通过简单的工作流来构建和管理虚拟机环境的工具。通过简单易用的工作流和完全自动化来降低开发环境的搭建实践、提高生产力和使“在我机器上好好的”成为过去。Vagrant安装 安装VirtualBox 使用VirtualBox来搭建虚拟机，免费小巧。 Vagrant 支持 Vagrant和VMware 安装Vagrant 从https://www.vagrant
2017-11-25 09:41:11
315
原创 ZooKeeper的安装和配置
写在前面的话工作了一段时间，一直在优快云博客上学习，现在遇到不懂得就直接搜博客，优快云博客已经成为了我学习的知识来源，最近一直思考如何记录自己的学习和生活，发现写博客会是一个不错的选择，从此不再潜水，用博客与大家分享。ZooKeeper的安装和配置从http://zookeeper.apache.org/下载需要的安装包，这里使用的是zookeeper-3.4.11.tar.gz 保证Java运
2017-11-25 00:18:39
253
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人