北_鱼-优快云博客

原创支持向量机（SVM）：算法讲解与原理推导

本文介绍支持向量机（SVM）推导过程。

2025-02-22 17:53:10 1587

原创 Hive 部署

Hive是一个构建在Hadoop之上的数据仓库工具，可将结构化数据文件映射为数据库表，并提供类SQL查询功能，适用于大规模数据的离线分析，支持多种分布式计算引擎。

2024-12-24 07:30:00 1407

原创决策树：ID3、C4.5和CART特征选择方式

决策树是一种通过特征和标签构建树状图进行分类或回归的模型。ID3利用信息增益选特征，构建多叉树。C4.5是ID3的改进，用信息增益率，支持连续值，可剪枝。CART构建二叉树，用基尼系数或均方差，适用于分类和回归。

2024-12-05 13:32:23 1140

原创强化学习5：策略梯度推导

策略梯度方法在强化学习中非常重要，因为它们允许我们直接优化策略函数，而不需要对环境模型进行显式建模。这种方法在处理高维、复杂动作空间和连续动作空间时特别有效，因为它们可以处理直接对策略参数进行优化的问题，而不需要离散化动作或状态。此外，策略梯度方法能够在策略空间中探索更为复杂和灵活的策略，从而找到潜在的更优解。

2024-08-26 14:48:52 1053

原创智能优化算法之粒子群优化算法（Particle Swarm Optimization, PSO）

粒子群优化算法是一种基于群体智能的优化算法，通过模拟生物群体的行为来实现全局最优解的搜索。其简单易实现、全局搜索能力强等特点使得它在许多领域都得到了广泛的应用。

2024-08-18 12:54:17 853

原创 ZooKeeper 部署

记录 ZooKeeper 环境部署步骤。

2024-07-20 16:05:19 978

原创 kafka 常用命令

Kafka 基本的使用命令总结。

2024-07-12 20:37:00 1299 1

原创 Hadoop 部署

Hadoop部署，一键开启大数据之旅！在几台廉价服务器上，轻松构建高效、可靠、可扩展的分布式计算平台。HDFS存储海量数据，MapReduce加速处理，为数据分析和挖掘提供强大动力。无需深究底层细节，轻松驾驭大数据时代！

2024-06-27 11:41:24 1861

原创 Flink 资源静态调度

本内容是根据 FLink 1.18.0-sacla_2.12 版本源码梳理而来。本文主要讲述任务提交时，为 Task 分配资源的过程。

2024-06-19 16:13:48 1193

原创集群初始配置

记录了一些部署集群时需要的一些操作。

2024-06-17 14:30:03 813

原创 Kafka 架构

Kafka架构以分布式集群为基础，实现高吞吐量的消息发布与订阅，支持数据持久化和容错处理，确保系统的高可用性和可扩展性。

2024-06-09 20:31:51 1408 2

原创强化学习4：DQN 算法

深度 Q 网络（Deep Q-Network，DQN）是一种基于深度学习的强化学习算法，用于解决马尔科夫决策过程（MDP）中的控制问题。DQN算法结合了深度神经网络和Q-learning算法，通过近似值函数来学习最优策略。

2024-05-22 11:04:40 2366

原创 Flink JobMaster 调度源码分析3：Physical Slot 分配过程

在Apache Flink中，Slot是用于执行并行任务的基本单位。Physical Slot分配策略是指如何有效地将任务分配给可用的Slot。

2024-05-16 16:39:59 889

原创 VSCode 配置 CMake

CMake是一个跨平台的开源构建工具，用于自动化构建过程。它可以生成标准的构建文件，从而简化了项目的构建和管理过程。

2024-04-26 07:33:40 9177 4

原创强化学习3：SARSA 算法

SARSA算法是一个在线学习算法，它在每一步都更新值函数，因此可以在动态环境中实时学习最优策略。与Q-learning算法相比，SARSA算法考虑了代理在下一个状态下选择的动作，因此更适合用于需要考虑探索与利用平衡的任务。

2024-04-22 15:24:24 1120 1

原创强化学习2：Q-learning 算法

Q-learning是一种基于强化学习的算法，用于解决智能体在未知环境中做出决策的问题。在Q-learning中，智能体通过不断地与环境交互，学习到一个值函数Q，该值函数表示在某个状态下采取某个动作所能获得的长期回报。通过不断地更新Q值，智能体能够逐步优化其策略，最终实现在未知环境中做出最优决策的目标。

2024-04-17 21:14:51 1426

原创 VSCode 配置 C/C++ 环境

该文章详细介绍了如何在 VSCode 中安装必要的插件、配置编译器和调试器，以及如何创建和管理 C/C++ 项目。通过阅读这篇文章，读者可以快速地搭建起适合 C/C++ 开发的工作环境，提高开发效率和代码质量。

2024-04-17 21:10:58 3039 2

原创强化学习1：基本概念

一般机器学习分为有监督学习和无监督学习，它们的区分依据是用于训练的数据集中是否提供预期输出来指导学习。而强化学习不属于这两种里面的任何一个，因为他不需要事先准备数据集，而是通过与环境交互获取训练数据，然后通过一种称为奖励的概念来指导学习。

2024-03-22 15:24:08 1782 1

原创 Flink JobMaster 调度源码分析2：Slot 分配策略

在Apache Flink中，Slot是用于执行并行任务的基本单位。Slot分配策略是指如何有效地将任务分配给可用的Slot，以最大化资源利用率和任务执行效率。

2024-03-22 14:49:25 1575 2

原创 Flink JobMaster 调度源码分析1：调度过程

在Flink中，调度是指将作业的任务分配到集群中的计算资源并管理任务的执行的过程。Flink的调度器负责根据作业的拓扑结构和资源需求，将任务分配给集群中的TaskManager节点，并监控任务的执行状态。调度器还负责任务的故障恢复和任务的重新调度，以确保作业的正确执行。Flink的调度器支持动态资源分配和任务优先级调度，可以根据作业的需求和集群的资源情况进行灵活的调度策略。通过高效的调度管理，Flink能够实现作业的高性能和高可靠性。

2024-03-20 13:03:50 996 1

原创 Flink 拓扑图源码分析：拓扑图创建与提交过程

在Flink中，拓扑图提交过程是将用户编写的数据处理逻辑转换为实际可执行的作业并提交到集群运行的过程。首先，用户编写Flink程序，定义数据源、转换操作和输出目标等。然后，Flink会将这些操作转换为一个有向无环图(DAG)，表示数据处理流程。接着，Flink会将DAG图优化并生成作业图，包括任务的划分和调度策略。最后，Flink会将生成的作业图提交给集群管理器，启动作业执行。整个过程涉及到作业图的生成、优化和提交，确保用户编写的程序能够高效地在集群上执行。

2024-03-20 13:01:31 1439 1