大数据
文章平均质量分 91
pierre94
just think!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【Scala】一小时学会基础语法
改编自 https://learnxinyminutes.com/docs/zh-cn/scala-cn/Scala可以进行面向对象的声明式编程,也可以进行函数式编程;可以进行业务代码的编制,也可以进行元程序的编制(定义程序的程序);可以开发大规模的服务应用,亦可进行类似shell的脚本编程;可以使用共享变量的并发编程模式,当然也可以采用基于Actor的消息机制的高并发编程模式用scala...原创 2020-03-14 10:55:04 · 269 阅读 · 0 评论 -
【Flink】学习笔记-20200302更新
flink-notesflink的一些学习笔记,将在github上持续更新https://github.com/pierre94/flink-notes一、技术博客索引Flink中文官方文档综合类,中文,不全Flink官方博客读文档永远是学习的首选方向Flink中文社区ververicaFlink中文社区,大量学习资料和视频JarkWu的博客...原创 2020-01-13 19:39:09 · 568 阅读 · 0 评论 -
【FlinkX】数据同步工具的研究与实践
文章目录一、Flink简介与数据同步需求1、Flink简介2、数据同步需求1)支持多种部署模式2)分布式资源调度能力3)支持断点续传3、常见异构数据同步工具对比二、Flinkx框架实现与原理1、实现概览2、任务自动组装3、并发同步实现分析1)配置文件2)并发读取分析4、断点续传1) 概念解读2) Flink checkpoint机制3) MySQL同步时的断点续传4) 断点续传不是万能的三、开发一...原创 2019-12-12 15:54:06 · 2786 阅读 · 3 评论 -
【转载】基于flink的分布式同步工具
文章目录FlinkX概览FlinkX的设计思路一.插件式架构二. Flink任务的自动组装FlinkX的优势一.便于使用二.性能优越三.多运行模式四.插件式开发五.错误控制六.任务资源限制欢迎试用FlinkXFlinkX概览一.FlinkX是一个基于Flink的异构数据源离线同步工具,用于在多种数据源(MySQL、Oracle、SqlServer、Ftp、Hdfs,HBase、Hive、Ela...转载 2019-02-15 16:12:06 · 565 阅读 · 0 评论 -
《hadoop权威指南》笔记二: hdfs读写过程剖析
基于《hadoop权威指南》第四版。温故知新一、hdfs简介Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。hdfs的设计如下:https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.htmlps:...原创 2019-09-07 11:35:16 · 295 阅读 · 0 评论
分享