- 博客(8)
- 收藏
- 关注
RSS订阅原创 Flink快速入门
Flink快速入门 Flink概念 Flink是什么？ 官网介绍：Apache Flink® — Stateful Computations over Data Streams 翻译：Apache Flink ——数据流上的有状态计算 Flink定义： Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 数据可以被作为 无界 或者 有界 流来处理。 1.无界流：有定义流的开始，但没
2021-11-23 10:44:19
2063
原创 DolphinScheduler
DolphinScheduler 定义：分布式易扩展的可视化工作流任务调度平台 Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 架构图： master master 采用分布式无中心设计理念，master 主要负责 DAG 任务切分、任务提交监控，并同时监听其它 master 和 worker 的健康状态。 master 服务启动时向 Zookeeper 注册临时节
2021-11-17 18:28:47
13220
原创 SpringBoot快速入门案例
SpringBoot快速入门 第一步：新建 Spring Initializr 项目： （1）选择 Spring Initializr （2）选择 SDK，点击【new】这里就是使用 JAVA SDK 要求版本 1.8+，选择你默认安装在 C:\Program Files\Java\jdk1.8.0_191 目录： （3）然后选择默认的 url （不用管）点击【Next】： （4）然后填写一下项目的信息 （5）先勾选上 Web 依赖： （6）勾选 SQl 下的 MySQL，MyBatis 依赖： （
2021-09-09 17:43:33
231
原创 使用tunnel采集postgresql数据到kafka
1.下载软件 tunnel 从git上下载源码并打包： git clone https://github.com/hellobike/tunnel.git cd tunnel mvn clean package -Dmaven.test.skip=true 使用格式： cd target unzip AppTunnelService.zip cd AppTunnelService java -server -classpath conf/*:lib/* com.hellobike.base.tunnel.
2021-07-19 14:53:30
716
原创 使用kafka-connect-oracle采集oracle数据
1.下载软件包 将kafka-connect-oracle的jar包放到kafka客户端的libs目录下，并将连接oralce的驱动包ojdbc的jar包（根据oracle的版本选择jar包，此处使用的是ojdbc6.jar）放到kakfa客户端libs目录下。 2.登录oracle数据库，对用户授权 a.数据库必须处于archivelog模式： sqlplus / as sysdba //sqlplus sys/sys as sysdba; SQL>shutdown immedi
2021-07-19 14:28:01
936
4
原创 十大经典排序算法
十大经典排序算法 排序算法可以分为内部排序和外部排序，内部排序是数据记录在内存中进行排序，而外部排序是因排序的数据很大，一次不能容纳全部的排序记录，在排序过程中需要访问外存。常见的内部排序算法有：插入排序、希尔排序、选择排序、冒泡排序、归并排序、快速排序、堆排序、基数排序等。用一张图概括： 关于时间复杂度 平方阶 (O(n2)) 排序 各类简单排序：直接插入、直接选择和冒泡排序。 线性对数阶 (O(nlog2n)) 排序 快速排序、堆排序和归并排序； O(n1+§)) 排序，§ 是介于 0 和 1 之间
2021-07-19 14:14:59
352
原创 Hudi编译
Hudi编译过程文档 从github上下载hudi源码，github地址为：https://github.com/apache/hudi.git。 引入项目需要的jar包： 引入过程中部分jar可能不能下载，多reimport几次，可能还有几个下不下来，需要手动下载。 这个两个目录下的文件可能都下载不了，需要手动下载，下载地址为： https://public.nexus.pentaho.org/service/rest/repository/browse/proxy-public-3rd-
2021-07-19 14:11:26
688
原创 oracle19c安装
oracle19c安装 环境准备 (1) 物理内存不少于 2G (2) 硬盘空间不少于 12G (3) swap分区空间不少于 2G (4) 关闭防火墙 ① 临时关闭 systemctl stop firewalld ② 永久关闭 systemctl disable firewalld (5) 关闭SELINUX ① vi /etc/selinux/config 将SELINUX=enforcing改为SELINUX=disabled 下载安装包 (1) oracle-database-ee-19c
2021-07-19 14:02:13
740
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人