- 博客(697)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 一文搞懂FLink中算子的并行度
一个算子的子任务（subtask）的个数被称之为其并行度（parallelism）。它是一个重要的概念，对于优化作业的性能和资源利用非常关键，本文对此进行学习。
2025-08-21 23:11:35
3
原创 Flink作业执行的第一步：DataFlow graph的构建
通过DataFlow graph，可以清晰地了解Flink程序的数据流动和处理逻辑，可以方便地进行性能优化和调整，以提高程序的性能和吞吐量。。同时，DataFlow graph也是Flink作业在Flink集群上执行的基础，Flink会根据DataFlow graph来进行任务的划分和调度，将任务分配给不同的TaskManager进行执行。
2025-08-17 14:07:17
110
原创 人工智能之数学基础：随机变量
样本空间为Ω，然后wi是样本空间中的某个样本点，设置一个实值函数X，使得每一个样本点wi都有一个对应X(wi),这样就将样本空间中的每一个样本点数量化了，这个X(wi)就是随机变量，其实它是一个函数，我们一般使用X来表示。设 E 是随机试验，Ω是其样本空间。如果对每个ω∈Ω, 总有一个实数X(ω)与之对应，则称Ω上的实值函数 X(ω) 为 E 的一个随机变量随机变量通常用英文大写字母X,Y, Z 或 希腊字母ζ,η等表示，其取值一般用小写字母 x, y, z 等表示。
2025-08-17 14:05:20
152
原创 人工智能之数学基础：条件独立
条件独立性（Conditional Independence）是指，在给定某个随机变量或事件集合的条件下，两个或多个随机变量之间不再存在统计关联。其严格的数学表述为：设X,Y,Z为三个随机变量（或事件），若满足：或等价地：则称X与Y在给定Z的条件下条件独立。那么我们就可以认为事件X和事件Y关于事件Z独立，因为在事件Z发生的前提下，我们可以看到事件X并不会影响到事件Y，也就是说此时事件X和事件Y是独立的。这一定义揭示了条件独立性的本质：当已知信息Z时，X与Y。
2025-08-16 12:23:21
133
原创 人工智能之数学基础：如何理解事件的独立性？
若两事件 A, B 满足, 则称 A 与 B 相互独立。如果事件A和事件B独立，那么我们可以认为事件A和事件B之间没有任何影响。
2025-08-10 15:00:49
487
原创 人工智能之数学基础：事件独立性
如果P(B|A)=P(B)，或者P(A|B)=P(A)，则可以认为事件A并不会影响到事件B，专业术语是事件A和事件B独立。如果事件A和事件B独立，那么P(A,B)=P(A)P(B)示例：抛掷一枚均匀硬币两次，事件A="第一次正面朝上"，事件B="第二次反面朝上"。由于两次抛掷结果互不影响，显然：符合独立性的定义。
2025-08-08 23:31:08
348
原创 零基础深度学习规划路线：从数学公式到AI大模型的系统进阶指南
在人工智能革命席卷全球的2025年，深度学习已成为改变行业格局的核心技术。本规划路线整合最新教育资源与实践方法，为完全零基础的学习者构建一条从数学基础到AI大模型的系统学习路径。通过清华大佬的实战课程、吴恩达的经典理论、Kaggle竞赛的实战锤炼，最终掌握生成式AI、Transformer架构等前沿技术。
2025-08-08 23:27:38
1769
原创 人工智能之数学基础：利用全概率公式如何将复杂事件转为简单事件
全概率公式是概率论中的核心工具，用于计算复杂事件的概率。其核心思想是将复杂事件分解为若干互斥且穷尽的简单事件，通过计算各简单事件的概率及其条件概率，最终求得目标事件的概率。
2025-08-05 23:50:13
184
原创 零基础人工智能学习规划之路
人工智能（AI）是当前科技领域最炙手可热的方向之一，涵盖机器学习、深度学习、计算机视觉、自然语言处理等多个分支。无论是就业市场的高需求，还是技术改变生活的潜力，AI都为学习者提供了广阔的发展空间。：AI不是魔法，而是数学、代码与数据的结晶。从今天开始，写第一行代码，读第一篇论文，你的AI之路，就此启程！：理解深度学习原理，掌握主流框架（TensorFlow/PyTorch）。：建立对AI的整体认知，掌握数学基础和Python编程。：掌握经典机器学习算法，理解模型训练与调优。
2025-08-05 23:49:21
1592
原创 人工智能之数学基础：条件概率及其应用
在上面的课程中，我们对条件概率有了一个简单的了解，现在我们来看一下条件概率的定义是什么?我们可以理解为条件事件A改变了样本空间，它让样本空间变小了。使它由原来样本空间S缩减为原来的新的样本空间A。
2025-08-04 23:18:32
163
原创 自然语言理解领域算法模型演进图谱
在计算资源受限的早期阶段，研究者主要依赖统计方法构建语言模型。TF-IDF算法通过词频-逆文档频率衡量词语重要性，至今仍是信息检索的基础工具。其核心思想在于识别文档中具有区分度的关键词，这种基于词袋模型的方法虽然简单，却在垃圾邮件过滤、文档分类等场景中展现出实用价值。隐马尔可夫模型（HMM）的引入标志着序列建模的开端。该模型通过状态转移概率和观测概率建模时序数据，在语音识别和词性标注任务中取得突破。例如在中文分词中，HMM能够根据字符出现的上下文概率自动划分词汇边界。
2025-08-04 23:16:52
693
原创 Flink程序关键一步：触发环境执行
在前面的课程中，我们学习了很多的flink流程序，在这些流程序中都有一个共同的特点，就是在代码的最后一行都有一个env.execute();，它的作用是什么呢？
2025-08-03 23:15:22
102
原创 人工智能之数学基础：几何型(连续型)随机事件概率
几何型概率定义在无限不可数集上，根据测度值（长度、面积、体积）定义。事件A发生的概率为区域A的测度值与Ω测度值的比值：其中S(A)为事件A的测度，S(Ω)为整个样本空间的测度。对于一维情况，可以通过长度值来计算概率对于二维情况，可以通过面积值来计算概率对于三维情况，可以通过体积值来计算概率对于更高维度的情况，可以通过多重积分来计算概率值。
2025-08-03 23:13:25
54
原创 一文搞懂Flink框架中的输出算子Sink
如果Flink没有为我们提供了一些数据源的Sink，那么我们可以通过自定义的方法来完成。Flink为我们提供了SinkFunction接口和对应的RichSinkFunction抽象类，只要实现它们，就可以实现任何我们想要数据源Sink了。在实现SinkFunction 的时候，需要重写的一个关键方法invoke()，该方法的内容就是将流里的数据发送出去的逻辑。自定义influxdb输出sink。
2025-08-02 21:24:20
292
原创 人工智能之数学基础：离散型随机事件概率(古典概型)
前面我们学习了频率和概率，概率可以理解为衡量某个事件发生的可能性。本文将学习概率中经典的古典概型，它是一种特殊的古典概率模型。
2025-08-02 21:01:03
182
原创 Flink富函数：一种更灵活、可扩展的方式来定义数据流的处理逻辑
Flink中的富函数类是一组用于处理数据流的函数接口和实现类。富函数类提供了一种更灵活和可扩展的方式来定义数据流的处理逻辑。
2025-08-01 00:08:36
419
原创 人工智能之数学基础：频率和概率之间的关系
设A是一个事件，在相同的条件下进行n次实验，A发生了m次。则称m为事件A在n次实验中发生的频数或次数，称m与n之比m/n为事件A在n次实验中发生的频率，即为fn（A）对每个事件A，均有P(A)≥0p(Ω)=1若事件A1，A2，...两两互斥（概率的可加性），则有：则称p(A)为事件A的概率函数，也就是我们所说的概率。概率的自变量是事件，事件是多个结果的集合。概率又可以分为离散型随机事件概率和几何型随机事件概率。有限的或者无限可数的样本空间中的概率称为离散型随机事件概率。
2025-08-01 00:03:50
369
原创 物联网开发者的进阶宝典：《物联网系统开发（第二版）》深度推荐
特别是在第4章的实战中，读者将亲手实现带有重传机制的客户端，理解保留消息与遗嘱消息在工业监控场景中的具体应用。付强与傅静涛合著的《物联网系统开发（第二版）》正是为解决这些痛点而生，它以"理论+实战+源码"的三维架构，构建了完整的物联网开发知识体系。书中每章末尾的"知识图谱"模块，正是其教学经验的结晶。特别值得关注的是第14章的EMQX插件开发案例，作者以Erlang语言实现Grpc Hook插件，将设备消息转发至RabbitMQ，这个案例完整展示了EMQX插件系统的扩展能力。
2025-08-01 00:00:27
595
原创 学习人工智能所需知识体系及路径详解
入门阶段（0-6个月）目标：掌握Python编程与数学基础，理解机器学习核心概念。行动计划完成Python基础课程，掌握NumPy/Pandas/Matplotlib。学习线性代数、概率论，结合Scikit-learn实现KNN、线性回归。参与Kaggle入门竞赛，提交第一个模型（如Titanic生存预测）。
2025-07-28 23:59:38
1123
1
原创 一文搞懂FLink流框架中的聚合算子
在前面的课程中，我们学习了分区的概念，数据分区完成中，我们就可以进行数据聚合了，本文我们将学习FLink中的聚合算子。
2025-07-28 23:51:43
169
原创 Flink是如何实现物理分区？
FLink为我们提供了自定义的方式来完成分区，可以调用partitionCustom(Partitioner，KeySelector)来实现。第一个参数是自定义分区器（Partitioner）对象确定分区方式，第二个参数是指定分区器的字段（用法和keyby一样）// 创建一个包含两个字段的DataStream// 使用partitionCustom进行自定义分区// 自定义分区器@Override// 将奇数分配到分区0，偶数分配到分区1@Override。
2025-07-26 12:17:46
252
1
原创 人工智能之数学基础：概率论之韦恩图的应用
由于事件的计算有时候太过于抽象了，此时我们可以使用韦恩图的方式来进行验证，我们下面来举一个例子，A∪B）-C=A∪(B-C)是否成立？我们可以通过韦恩图来完成这个任务：我们通过这种方式来一点一点的比较，我们可以看到二者根本就不相等。
2025-07-26 12:13:38
272
原创 人工智能之数学基础：事件间的运算
并运算（Union）A∪B表示事件 A 或 B 至少有一个发生。例如，掷骰子时，A 为“出现奇数点”，B 为“出现偶数点”，则 A∪B 表示“所有可能结果”（即必然事件）。交运算A∩B定义：表示事件 A 和 B 同时发生。数学表达式：例如，掷骰子时，A 为“出现3点”，B 为“出现偶数点”，则 A∩B 为空集（不可能发生）。差运算A−B 或 A∩B定义：表示事件 A 发生而 B 不发生。直观意义：例如，掷骰子时，A 为“出现奇数点”，B 为“出现3点”，则 A−B 表示“出现1点或5点”
2025-07-23 23:34:53
53
原创 Flink框架：keyBy实现按键逻辑分区
keyBy是一种按照键的哈希值来进行重新分区的操作。keyby分区操作只能保证把数据按key“分开”，但无法控制每个key 的数据具体会分到哪一区去，所以keyBy 是一种逻辑分区操作，后面我们会学习物理分区操作。
2025-07-21 23:48:53
130
原创 人工智能之数学基础:事件间的关系
在前面的课程中，我们介绍了事件（随机事件，一个事件中包含多个结果），事件和事件之间是存在关系的，下面我们来介绍它们之间的关系。
2025-07-21 23:46:52
170
原创 一文快速搞懂FLink框架中的转换算子
在前面的课程中，我们学习了源算子，本文我们将学习转换算子，转换算子接收一个或多个DataStream，然后将输出一个新的DataStream。本文中的转换算子接收一个DataStream，然后输出一个新的DataStream，至于接收多个DataStream，将在之后的文章中进行介绍。一个Flink程序的核心，其实就是所有的转换操作，它们决定了处理的业务逻辑。本文对基础的转换算子进行介绍。
2025-07-20 23:13:57
395
原创 人工智能之数学基础：随机实验、样本空间、随机事件
这个世界上有必然现象和随机现象，我们只考虑随机现象，随机现象我们无法预测每一次的结果，但是它的所有结果是可以知道的，当我们重复进行多次实验的时候，那么我们可以发现规律。为了方面描述，我们令所有的结果称为样本空间，样本空间中每一个子集合我们称为是随机事件，其中当随机事件中只有一个元素的时候，我们称为基本事件，当有多个元素的时候，我们称为复合事件。当且仅当事件中的某个样本点发生称事件A发生。
2025-07-20 23:12:06
188
原创 基于Socket来构建无界数据流并通过Flink框架进行处理
随着大数据技术的不断发展，实时数据流处理已成为企业应对海量数据、实现快速决策的关键技术。Apache Flink是一个开源的流处理框架，它能够对无界数据流进行高效的、精确的处理。本文将介绍如何通过Socket构建无界数据流，并利用Flink框架进行无界流处理。
2025-07-19 12:43:00
107
原创 人工智能之数学基础：随机现象和必然现象
在相同的条件下重复进行试验时，每次所得到的结果未必相同，或即使知道它过去的状态，也不能肯定它将来的发展状态。比如明天的温度是多少？这个是随机的，你很难运算，即使得天气预报，也是进行大数据下的估计，也不是百分百正确的。
2025-07-19 12:38:59
42
原创 人工智能之数学基础:概率论和数理统计在机器学习的地位
在前面的课程中，我们主要学习了线性代数以及矩阵论，从本节课程之后，线性代数将告一段落，将开启概率论和数理统计的学习。
2025-07-17 23:48:35
463
原创 一文搞懂FLINK框架支持的所有源算子（包含代码实现）
/用于实现org.apache.kafka.common.serialization.Deserializer接口的的反序列化器类//自动将偏移重置为最新的偏移量.build();//用于实现org.apache.kafka.common.serialization.Deserializer接口的的反序列化器类//自动将偏移重置为最新的偏移量.build();
2025-07-17 23:46:56
185
原创 人工智能之数学基础：神经网络之多样本矩阵参数求导
这里并没有说是使用了什么工具，如果你没有看前面的几篇文章，而是仅仅看这篇文章，那么你肯定是看不懂的，你不知道我在做什么。
2025-07-16 23:46:59
560
原创 一文快速搞懂分布式框架FLink支持的数据类型
Flink框架是一个分布式框架，Flink 的分布在不同节点上的 Task 的数据传输必须经过序列化/反序列化，因此序列化/反序列化也是影响 Flink 性能的一个重要因素。Flink利用类型信息的概念来表示数据类型，并且对于每种类型，都会为其生成特定的序列化器，反序列化器以及比较器。本文就对Flink中的类型进行详细的介绍。
2025-07-16 23:45:04
45
原创 第一个Flink 程序 WordCount，词频统计(批处理)
本文将通过一个统计词频的小程序来看一下flink是如何对数据进行批处理的，需要声明的是，一般我们使用Flink常常用于流式处理，即使是有界的数据，我们也将其看成是无界数据进行流式处理，所以批量处理并不是很常用，这里只是为了了解一下Flink是如何进行批处理的。
2025-07-13 22:03:14
127
原创 人工智能之数学基础:神经网络的矩阵参数求导
这个的核心还是三步，第一步求dl，然后求tr，然后变成d..的形式，还要注意向上面的这样复合和函数，就要反反复复的应用这个步骤，直到最终求到自己想要求得参数矩阵。
2025-07-13 21:44:40
270
原创 Flink创建执行环境的三种方式，也是Flink搭建程序的第一步
一般而言，我们建议在FLINK中不要使用批模式，即使FLINK支持批模式。因为我们也可以将有界数据看成是无界数据，使用FLINK的流模式进行数据处理。获取到程序执行环境后，我们还可以对执行环境进行灵活的设置。比如可以全局设置程序的并行度、禁用算子链、定义程序的时间语义、配置容错机制等，后续我们将一一进行介绍。
2025-07-12 15:06:09
149
原创 人工智能之数学基础:多元逻辑回归算法的矩阵参数求导
前面我们对逻辑回归进行了参数矩阵求导操作，下面我们看一下多元逻辑回归是如何求导的，其中损失l如下所示其中softmax我们使用上面的方式表示，1^T表示全1的向量，那么此时的分母就是求和了，其中x是一个n*1的向量，和之前的线性回归不同，这里是单样本了，不再是多样本了。
2025-07-12 14:58:15
179
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人