归去来兮的博客

生成对抗网络（Generative Adversarial Network, GAN）是一种通过对抗训练生成数据的深度学习模型，由生成器（Generator）和判别器（Discriminator）两部分组成，其核心思想源于博弈论中的零和博弈。

BERT（Bidirectional Encoder Representations from Transformers）是Google在2018年提出的预训练语言模型，其核心思想是通过双向Transformer结构捕捉上下文信息，为下游NLP任务提供通用的语义表示。

Transformer 是一种基于自注意力机制（Self-Attention）的深度学习模型，最初由 Google 在 2017 年的论文《Attention Is All You Need》中提出，主要用于自然语言处理任务，如今已广泛应用于计算机视觉、语音识别等多个领域，是现代大语言模型（如GPT、BERT等）的核心架构。

协同过滤（Collaborative Filtering）是推荐系统中最经典的算法之一，其核心思想是 “物以类聚，人以群分”，即通过分析用户的历史行为数据，找到与目标用户相似的用户群体或相似的物品，从而为目标用户推荐他们可能感兴趣的物品。

支持向量机（Support Vector Machine，SVM）是一种经典的监督学习算法，主要用于分类任务，也可扩展到回归问题（称为支持向量回归，SVR）。其核心思想是通过寻找一个最优超平面，最大化不同类别数据之间的间隔（Margin），从而实现高效分类。

损失函数（Loss Function）是机器学习和深度学习中用于衡量模型预测值与真实值之间差异的函数，其值越小表示模型性能越好。不同的任务（如分类、回归、生成等）需要选择不同的损失函数。

图神经网络（Graph Neural Networks, GNN）是一种直接在图结构数据上运行的神经网络，用于处理节点、边或整个图的特征信息。其核心思想是通过聚合邻域节点的特征信息来更新当前节点的表示，从而捕捉图中节点间的依赖关系和拓扑结构特征。

区块链技术是一种去中心化、分布式账本技术，通过密码学、共识机制和智能合约等核心组件，实现数据不可篡改、透明可追溯的系统。

知识图谱（Knowledge Graph） 是一种基于图结构的语义网络，用于表示实体及其之间的关系，旨在实现更智能的知识表示和推理。它通过将现实世界中的各类信息抽象为 “实体-关系-实体” 的三元组结构，构建出复杂的知识网络，从而支持高效的信息检索、语义理解和决策分析。

长短期记忆（Long Short-Term Memory，LSTM）网络是一种特殊的循环神经网络（RNN），专门设计用于解决传统 RNN 在处理长序列数据时面临的梯度消失 / 爆炸问题，能够有效捕捉长距离依赖关系。其核心在于引入记忆细胞（Cell State）和门控机制（Gate Mechanism），通过控制信息的流动来实现对长期信息的存储与遗忘。

循环神经网络（Recurrent Neural Network, RNN）是一种专门设计用于处理序列数据（如文本、语音、时间序列等）的神经网络模型。其核心思想是通过引入时间上的循环连接，使网络能够保留历史信息并影响当前输出。

卷积神经网络（Convolutional Neural Network, CNN）是一种深度学习模型，广泛应用于图像识别、计算机视觉等领域。其设计理念源于对生物视觉皮层神经机制的模拟，核心原理是通过卷积、池化（下采样）、全连接等操作，自动提取输入数据的层级特征，完成分类或回归任务。

在神经网络中，激活函数（Activation Function）扮演着至关重要的角色，它为神经网络引入非线性因素，使得网络能够学习和模拟复杂的非线性函数关系，从而具备处理各种复杂问题的能力。如果没有激活函数，多层神经网络将仅仅是一个线性组合模型，其表达能力会受到极大限制。以下是几种常见的激活函数汇总。

人工神经网络（Artificial Neural Network，ANN），是一种模拟生物神经网络结构和功能的计算模型，它通过大量的神经元相互连接，实现对复杂数据的处理和模式识别。从本质上讲，人工神经网络是对人脑神经细胞的数学抽象，试图模仿人类大脑处理信息的方式，以解决各种实际问题。

主成分分析（Principal Component Analysis，简称 PCA）是一种用于数据降维的方法，其核心目标是在尽可能保留原始数据信息的前提下，将高维数据映射到低维空间。该算法基于方差最大化理论，通过寻找数据的主要变化方向（即主成分），将原始数据投影到这些方向上，从而实现降维。

LightGBM 由微软公司开发，是基于梯度提升框架的高效机器学习算法，属于集成学习中提升树家族的一员。它以决策树为基学习器，通过迭代地训练一系列决策树，不断纠正前一棵树的预测误差，逐步提升模型的预测精度，最终将这些决策树的结果进行整合，输出最终的预测结果。

CatBoost 是在传统GBDT基础上改进和优化的一种算法，由俄罗斯 Yandex 公司开发，于2017 年开源，在处理类别型特征和防止过拟合方面有独特优势。在实际数据中，存在大量的类别型特征，如性别、颜色、类别等，传统的算法通常需要在预处理中对这些特征进行独热编码（One-Hot Encoding）或标签编码（Label Encoding）。但这些方法存在一些问题，独热编码会增加数据的维度，导致模型训练时间变长；标签编码可能会引入不必要的顺序关系，影响模型的准确性。CatBoost 采用了一种独特的处

XGBoost 在构建决策树时，利用了二阶导数信息。在损失函数的优化过程中，不仅考虑了一阶导数（梯度），还引入了二阶导数（海森矩阵），这使得算法能够更精确地找到损失函数的最优解，加速模型的收敛速度，同时提高模型的泛化能力。此外，XGBoost 还加入了正则化项，包括 L1 和 L2 正则化，用于控制模型的复杂度，防止过拟合。

AdaBoost（Adaptive Boosting，自适应提升）是一种迭代式的集成学习算法，通过不断调整样本权重，提升弱学习器性能，最终集成为一个强学习器。它继承了 Boosting 的基本思想和关键机制，但在具体的实现中有着显著特点，成为具有一定特定性能和适用场景的集成学习算法。

GBDT（Gradient Boosting Decision Tree，梯度提升决策树）是集成学习中提升（Boosting）方法的典型代表。它以决策树（通常是 CART 树，即分类回归树）作为弱学习器，通过迭代的方式，不断拟合残差（回归任务）或负梯度（分类任务），逐步构建一系列决策树，最终将这些树的预测结果进行累加，得到最终的预测值。

Bagging、Boosting、Stacking是常见集成学习的形式，它们都是通过对多个学习器进行有机组合，达到比单个学习器性能更好的目标。

感知机模型(Perceptron Model)也叫做神经元模型，设计灵感即来自于生物神经元的运行机制，依次完成信息接收、处理、输出的过程。当前大放异彩的各种人工神经网络模型即由一个个人工神经元构成，因此，本文介绍的感知机模型（神经元模型）就是各种神经网络模型的基本单元。

逻辑回归模型(Logistic Regression，LR)，由名称上来看，似乎是一个专门用于解决回归问题的模型，事实上，该模型更多地用于解决分类问题，尤其是二分类问题。这并不矛盾，因为逻辑回归直接输出的是一个连续值，我们将其按值的大小进行切分，不足一定范围的作为一个类别，超过一定范围的作为一个类别，这样就实现了对分类问题的解决。概况来说就是，先对数据以线性回归进行拟合，输出值以Sigmoid函数进行映射，映射到0和1之间，最后将S曲线切分上下两个区间作为类别区分的依据。

分类模型是机器学习中一种最常见的问题模型，在许多问题场景中有着广泛的运用，是模式识别问题中一种主要的实现手段。分类问题概况起来就是，对一堆高度抽象了的样本，由经验标定了每个样本所属的实际类别，由特定算法训练得到一个分类器，输入样本属性即自动计算出其所属类别，从而完成特定的识别任务。在特定问题中，算法性能的评价是一个重要的方面，它一般由学习器在测试数据中的性能表现来直接衡定，常见的评价指标有准确率、精准度（查准率）、召回率（查全率）、F1值、ROC-AUC值、Kappa系数等。

在一般形式的回归问题中，会得到系列的预测值，它们与真实值（ground truth）的比较表征了模型的预测能力，为有效量化这种能力，常见的性能评价指标有可解释方差（EVS）、平均绝对误差（MAE）、均方误差（MSE）、均方根误差（RMSE）、决定系数（R2）等。值得一提的是，回归问题分单输出情形和多输出情形，在多输出情形下，可以对各维度结果进行平均计算或以不同的权重进行计算。

作为机器学习领域的重要内容之一，聚类模型在许多方面能够发挥举足轻重的作用。所谓聚类，就是通过一定的技术方法将一堆数据样本依照其特性划分为不同的簇类，使得同一个簇内的样本有着更相近的属性。依不同的实现策略，聚类算法有很多种，如基于距离的k-means、基于密度的DBSCAN等。在聚类完成之后，其性能的评估是一个不可规避的问题，常见的评估方法依有无事先的标记性信息分为外部评估法和内部评估法。

在数据处理相关工作中，读取的数据中常常会有缺失值的情况，为顺利进行后续的操作，需要首先对缺失值进行处理，处理的方式一般为**删除**或**填充**，Python中提供了专门的工具包，可以方便地进行实现。读取操作可以由pandas模块实现，通常直接读一个excel或csv文件，创建为DataFrame对象，模块中的dropna方法和fillna方法可以实现对缺失值的删除和填充。

均值滤波、中值滤波、高斯滤波是三种常见的平滑滤波方法，其中均值滤波和高斯滤波是线性技术，中值滤波是非线性技术。它们实现的基本原理是基本一致的，指定一个滑动窗口，计算其中的均值、中值、卷积值输出到当前位置。均值滤波、高斯滤波对高斯噪声表现较好，但对椒盐噪声表现较差；中值滤波则对椒盐噪声表现较好，对高斯噪声表现较差。

DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一种基于密度的聚类算法，簇集的划定完全由样本的聚集程度决定。聚集程度不足以构成簇落的那些样本视为噪声点，因此DBSCAN聚类的方式也可以用于异常点的检测。

常见的距离有曼哈顿距离、欧式距离、切比雪夫距离、闵可夫斯基距离、汉明距离、余弦距离等，用Python实现计算的方式有多种，可以直接构造公式计算，也可以利用内置线性代数函数计算，还可以利用scipy库计算。

当前人工智能技术实现的一种主要手段是机器学习，而机器学习能够解决的问题主要有三种：分类、聚类、回归，有监督的是分类，无监督的是聚类。所谓聚类，就是以一定的方法将一堆样本依它们本身的数据特性划分成不同的簇类，以达成不同的技术目的，k-means就是这样一种基础聚类算法。

朴素贝叶斯法(Naive Bayes)是一种基础分类算法，它的核心是贝叶斯定理+条件独立性假设。

kNN(k nearest neighbor,k近邻)是一种基础分类算法，基于“物以类聚”的思想，将一个样本的类别归于它的邻近样本。

在图像处理相关的问题中，图像对准是一类典型的问题，也就是要将两幅图严丝合缝地对应起来。通常来讲，两幅图大小不一，一个是模板，一个是母图，也就是要在母图中搜寻定位到与模板图最为接近的区域。

  基于房价数据，在python中训练得到一个线性回归的模型，在JavaWeb中加载模型完成房价预测的功能。一、 训练、保存模型工具：PyCharm-2017、Python-39、sklearn2pmml-0.76.1。1.训练数据house_price.csvNosquare_feetprice11506450220074503250845043009450535011450640015450760018450

一、概述  对于由Python训练的机器学习模型，通常有pickle和pmml两种部署方式，pickle方式用于在python环境中的部署，pmml方式用于跨平台（如Java环境）的部署，本文叙述的是pmml的跨平台部署方式。  PMML(Predictive Model Markup Language，预测模型标记语言)是一种基于XML描述来存储机器学习模型的标准语言。如，对在Python环境中由sklearn训练得到的模型，通过sklearn2pmml模块可将它完整地保存为一个pmml格式的文件，再

使用pmml的方式跨平台部署机器学习模型时，在java中加载模型，出现了该错误原因：java的jar包版本与PMML文件的版本不相符，jar包的版本过低无法解析PMML文件。如果升级jar包，加载模型的当前语法不可用；因此，降低PMML文件的版本号是安全可靠的。解决：将pmml文件中xmlns="…/PMML-4_4"改为xmlns="…/PMML-4_3"再运行，成功。参考https://blog.youkuaiyun.com/qq_32113189/article/details/107542

1.问题描述  隐马尔可夫模型（HMM）的解码问题指，给定模型和输出序列，如何找出最有可能产生这个输出的状态序列。自然语言处理中，也即如何通过观测信号确定最有可能对应的实际语义。在状态序列上，每个状态位是状态集合中的元素之一，因此该问题等价于在状态集合中的节点构成的有向网络（篱笆网络）中找出一条概率最大的路径（最优路径），如图。该问题可以通过维特比算法得到高效的解决。2.算法叙述  假设 P(st,j)P(s_{t,j})P(st,j​)表示从起始时刻到st,js_{t,j}st,j​的最优路径的

一、概述  维特比算法是安德鲁.维特比(Andrew Viterbi)于1967年为解决通信领域中的解码问题而提出的，它同样广泛用于解决自然语言处理中的解码问题，隐马尔可夫模型的解码是其中典型的代表。无论是通信中的解码问题还是自然语言处理中的解码问题，本质上都是要在一个篱笆网络中寻找得到一条最优路径。  所谓篱笆网络，指的是单向无环图，呈层级连接，各层节点数可以不同。如图是一个篱笆网络，连线上的数字是节点间概念上的距离（如间距、代价、概率等），现要找到一条从起始点到终点的最优路径。  在实际问题中，

  隐马尔可夫模型（Hidden Markov Model, HMM）是关于时序的概率模型，在自然语言处理如语音识别、机器翻译等领域有着广泛的应用。模型的核心是马尔科夫链+独立输出假设。1 模型描述  给定状态集合{q1,q2,...,qN}\left\{ q_1,q_2,...,q_N \right\}{q1​,q2​,...,qN​}和观测集合{v1,v2,...,vM}\left\{ v_1,v_2,...,v_M \right\}{v1​,v2​,...,vM​}，已知一个状态能够随机地生成一个