大数据开发与实战
分享
扫一扫
文章平均质量分 79
采用业界最优秀的开源解决方案flink cdc, pulsar，跨数据库，跨平台，批流一体，低延迟，非侵入式， 切分算法无锁读取，实现存量与增量实时数据同步，断点续传，异步处理，分布式任务调度，exact once。
超级会员免费看
vandh
20年以上金融、互联务、物联网经验，历任ＣＴＯ、技术总监、项目经理、架构师等职。具有丰富的技术战略指导、团队管理、项目管理、架构搭建等经验。精通物联网、大数据、区块链、数字孪生、人工智能等领域类应用与开发；精通java、python、go、c等开发语言；精通mysql、Oracle、Taos、Redis、MongoDB等数据库；精通微服务架构；精通业务需求分析与设计、数据建模；精通K8s、docker、DevOps等智能运维；精通单片机、各种传感器开发；精通机器人slam、mpc、wbc相关理论与应用；接受一对一技术咨询服务。
展开
-
十二、建立自已的北斗卫星实时定位基站
数据处理中心管理各种采样间隔和时段的不同数据存储、存储包含北斗的GNSS原始观测数据、存储网络模型文件、进行数据的质量检查和转换、定期进行整网的解算保障基准框架的稳定、建立数据共享平台；1）基准站子系统，由单个基准站设施（含GNSS 接收机、天线、UPS、防电涌设备、机柜、交换机、数模转换器光纤转换器等）组成，属CORS网络的数据源，GNSS卫星信号的捕获、跟踪、采集、本地存储与实时数据传输；3) 基准站设备的安装，包括天线电缆的铺设、GNSS天线的安装和天线高的量取，GNSS接收的、UPS电源的安装；原创 2024-09-04 15:05:53 · 883 阅读 · 0 评论 -
十一、结合数字孪生与时间技术进行多维分析设计与实施
大数据可视化中心以主题为分析对象，选择业务分类下的某个主题，可以在数据面板中展示其二维图表，在地图中标记其空间分布，并叠加其相应的二维或三维图层。原创 2023-08-10 10:14:36 · 341 阅读 · 0 评论 -
十、批流一体流程化大数据架构设计
在当代信息社会中，数据的处理和分析已经成为了一个重要的议题，大量的数据处理需求推动了数据处理技术不断的发展，出现了很多解决海量数据处理的软件方案。4、处理过程全流程化开发：将数据开发处理的各个过程，包括数据同步、提取、清洗、转换、脱敏、执行、入库等，均定义成可配置的流程节点，各节点之间有序连接构成一个可执行的工作流，实现从数据获取到数据输出的整个过程的全流程化。4、开发难以协作维护成本高：传统的模块化开发，将系统按模块划分，不同的模块被不同的开发人员负责，导致模块之间的协作和协同开发变得复杂。原创 2023-07-25 08:50:55 · 419 阅读 · 0 评论 -
九、OLAP之多维分析
实际上，Mondrian并不会一开始就将的所有的数据从数据库Load到内存中，而是随着不断的钻取而执行不同的查询，它的执行速度等同于我们sql的执行速度，其展现的数据与我们的业务设计相关，除非我们要一次性从数据库中查询出几十万甚至上百万条数据，否则，效率问题是可以不考虑的。prefix为前缀，suffix为后缀，再结合传入的query，整合起来就是 /WEB-INF/queries/AccessInfo.jsp，接着打开该文件，即通过mdx实现。用户可以执行典型的OLAP导航，如下钻、切片。原创 2023-06-29 17:36:46 · 373 阅读 · 0 评论 -
7、sqlserver-＞pulsar-＞mysql
本文实现通过Flink计算平台，将sqlserver数据通过pulsar消息队列，异步传输到mysql库表的全过程代码实现，包括sqlserver配置，代码运行效果展示。全部使用Flink cdc最新版本实现，虽然代码精简，但确属全网最全，最完整的案例，没有之一。原创 2023-05-05 09:39:30 · 150 阅读 · 0 评论 -
8、Flink集群环境搭建与数据同步几种场景介绍
源数据库与目标数据库不能直接连通，此时一般将数据同步程序打包成独立jar包，登录到本地系统的目标数据库，上传jar包。本地同时运行发送端与接收端，不需要MQ，直接通过jdbc直连二个数据源，通过sql同步数据，而不是采用flink cdc的方式，此时为批处理执行。此处要特别注意的是，flink启动时需要二次调用flink命令，mq前的为发送端，mq后的为接收端，以此对应二个独立的进程，即发送端和接收端。为什么使用Flink，因为可以集群，可以并行，可以可视化监控啊，详后面的flink环境搭建章节。原创 2023-04-28 09:38:13 · 273 阅读 · 0 评论 -
6、数据断点续传
如果CDC一旦崩溃，数小时或数天才得以恢复，CDC恢复后虽然继续运行，但数小时或数天前数据库发生的业务，CDC如何才从中断处开始读取呢？本文从数据库事务提交重做日志的原理，检查点与保存点的区别，Flink CDC检查点设置与同步策略，断点续传代码解析的全过程，进行了详细的介绍。原创 2023-02-15 19:31:41 · 573 阅读 · 0 评论 -
5、mysql-＞pulsar-＞mysql
本文实现mysql数据通过pulsar消息队列，异步传输到mysql库表的全过程代码实现，包括pulsar环境搭建，代码运行效果展示。全部使用Flink cdc最新版本实现，虽然代码精简，但确属全网最全，最完整的案例，没有之一。原创 2023-02-13 20:44:41 · 234 阅读 · 0 评论 -
4、mysql--＞kafka--＞mysql
实现mysql数据通过kafka消息队列，异步传输到mysql库表的全过程代码实现，包括kafka环境搭建，代码运行效果展示。全部使用Flink cdc最新版本实现，虽然代码精简，但确属全网最全，最完整的案例，没有之一。原创 2023-02-13 20:15:46 · 666 阅读 · 0 评论 -
2、Flink CDC环境搭建
本文从FlinkCDC介绍能支持哪些数据库同步开始，以mysql库为例，介绍了要同步mysql库，首先如何搭建mysql环境，如何安装Flink集群，在Flink集群中如何引入CDC的支持包，实现了FlinkCDC环境的完全实现。最后以先前搭建的mysql为源库表，用FlinkCDC建立目标库表，实现二者同步的标准实例，让大家对FlinkCDC实现原理作了生动的演示。原创 2023-02-13 19:45:48 · 1296 阅读 · 0 评论 -
3、mysql--＞mysql库表同步
关于Flink，Scala，Flink cdc的版本问题，因为网上很多文章都是采用的旧版本，如果升级了其中某个组件的版本，要不导致版本冲突，要不导致缺少包。搭建并实现一个完整的案例全部代码。1、建立SpringBoot项目2、LogBack日志3、代码：从mysql中同步数据到mysql4、测试原创 2023-02-13 19:02:32 · 241 阅读 · 0 评论 -
1、数据同步方案设计
包括七大部分内容：一. 传统的数据同步方案及存在的问题二、大数据时代数据同步方案及存在的问题三、基于日志同步的优秀开源产品有哪些四、各大同步开源框架比较五、为什么需要MQ中间件六、MQ中间件常用比较七、最终同步方案选型原创 2023-02-10 15:41:03 · 1319 阅读 · 0 评论