- 博客(13)
- 收藏
- 关注
RSS订阅原创 Flink与Kafka
Apache Flink是一个流处理框架，用于处理大量实时数据。它支持数据流和数据集两种操作模式，可以处理批量数据和流式数据。Flink提供了一种高效的、可扩展的、可靠的流处理解决方案，适用于各种应用场景，如实时分析、事件驱动应用、数据流处理等。具体来说，Flink可以作为Kafka的消费者，从Kafka中读取数据，并进行流处理。同时，Flink也可以将处理结果写入Kafka，实现数据的持久化和分布式传输。因此，Flink和Kafka在数据流处理中具有很高的兼容性和可扩展性。
2025-06-04 13:52:38
1977
1
原创 指标体系搭建模型
指标体系是指一系列相互关联的指标，它们按照一定的业务逻辑系统性地组织起来，用来衡量、评估和监控业务的经营效果。它是围绕某一业务主题，基于一定的逻辑关系和层次结构，将相互独立又彼此关联的指标连接起来组成的有机整体。它是对业务过程的全面完整的刻画，同时也涉及对指标的分类分级和标准化管理。建设企业指标体系的过程，实际上就是拆解企业经营逻辑的过程。良好的指标体系设计，能恰当地反映企业的业务逻辑和度量经营情况，帮助业务部门达成目标。形成标准化的衡量指标，监控业务发展状况；
2025-05-13 17:29:24
1049
原创 Hive：基础
1）hive简介Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；
2025-05-09 17:01:58
1125
原创 Flink : checkpoint机制
checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保证应用流图状态的一致性。Flink的checkpoint机制原理来自“Chandy-Lamport algorithm”算法。
2025-05-09 11:42:26
855
原创 Scala：函数与匿名函数
Scala：函数与匿名函数在scala中，函数是第一等公民函数类型高阶函数匿名函数在scala中，函数是第一等公民函数类型在这里插入图片描述高阶函数高阶函数接受的参数是一个函数，或者返回值是一个参数，或者两者皆有之下图中第一个函数是以另一个函数作为参数（f）接入⚠️f函数是以两个int类型的值作为参数，并返回一个int值匿名函数上图中第二个函数就是一个匿名函数，...
2018-09-28 15:32:04
859
原创 Scala：try & match
Scala：try & matchtry表达式match 表达式try表达式try表达式的语意与java中try…catch…finally是一样的。但是try在scala中不是一个语句，而是一个表达式，会返回一个值。首先看下面这个例子： val result_try = try { Integer.parseInt("Dog") } catch { ...
2018-09-28 11:26:25
1582
原创 Scala：函数与代码块
Scala：函数与代码块Block代码块有两种写法写法一：表达式都写在一行，用分号隔开写法二：一个表达式一行（不需要分号）函数函数定义方式Block在scala中，代码块用于组织多个表达式而代码块也是一个表达式，其最终的求得的值是最后一个表达式的值代码块有两种写法写法一：表达式都写在一行，用分号隔开 {exp1 ; exp2}写法二：一个表达式一行（不需要分号） { exp...
2018-09-28 10:21:41
1026
原创 Scala：数据结构
Scala：数据结构Scala 类型体系Scala 数据类型详解1.Numeric types:byte/short/int/long/float/double2.Boolean：true/false3.Char4.Unit5.Null6.Nothing7.StringScala 类型体系1.scala的根类是Any，Any是scala所有类的父类，Any下面有两个子类：AnyVal、...
2018-09-27 20:53:22
743
原创 Scala：基础语法之变量
Scala基础语法之变量变量类型三种变量修饰符数据类型变量类型何时使用lazy val：定义的变量可能在之后的程序中不会被用到三种变量修饰符（1）val：修饰常量，不可变，如果重复给val修饰的常量赋值，会报错如下：Error:(11, 6) reassignment to val a=30（2）var：修饰变量（3）lazy var：⚠️可以不限时指定变量的类型，因为S...
2018-09-27 20:06:01
361
原创 IDEA 集成Scala
IDEA 集成Scala步骤安装完毕后，重启IDEA配置Scala SDK新建Scala项目当scala文件夹是灰色状态时，不能新建‘Scala Class’需要将灰色变成“蓝色”再右击选择‘NEW’时，会出现‘Scala Class’选项选择‘Scala Class’后，可选择‘Object’，新建任务步骤安装完毕后，重启IDEA配置Scala SDK新建Scala项目...
2018-09-20 19:41:52
3346
原创 Hive：解决Hive创建文件数过多的问题
IntelliJ IDEA集成Scala插件——MAC集成步骤进入IntelliJ IDEA点击【Configure】选择并点击进入【plugins】选择【Browse repositoroes】搜索【scala】重启IntelliJ IDEA创建新项目创建包集成步骤进入IntelliJ IDEA点击【Configure】选择并点击进入【plugins】选择【Browse repo...
2018-09-17 22:42:42
2398
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人