大家好~我是SP_FA~

在学习人工智能时的随手记

基于密度的噪声应用空间聚类（DBSCAN）是一种无监督聚类算法，它可以替代KMeans和层次聚类等流行的聚类算法。

kd 树是一个二叉树，用于高效的查找某个点的 k 临近点，它的每一个节点记载了 特征坐标，切分轴，指向左右子树的指针。

卡尔曼滤波（Kalman filter）是一种高效率的递归滤波器（自回归滤波器），它能够从一系列的不完全及包含噪声的测量中，估计动态系统的状态。卡尔曼滤波会根据各测量量在不同时间下的值，考虑各时间下的联合分布，再产生对未知变数的估计，因此会比只以单一测量量为基础的估计方式要准。卡尔曼滤波适用于，即该系统必须是线性的，而且噪声服从正态分布。更详细一些，噪声通常被建模为一个均值为 0、方差为常数的正态分布，也就是高斯分布。该正态分布的横坐标是随机变量的取值，纵坐标是对应取值的概率密度。

纯手工分模块实现一个 transformer 模型

对熵、交叉熵、KL散度的总结整理

虽称为激活函数大全，但也不敢太过自满，如有遗漏与错误，还请指正。

语音识别准确率 CER 的计算、公式推导与代码实现

概述Principal Component Analysis 即主成分分析的主要思想是将 n 维特征映射到 k 维上，这 k 维是全新的正交特征也被称为主成分，是在原有 n 维特征的基础上重新构造出来的 k 维特征。PCA 的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第 1,2 个轴正交的平面中方差最大的，依次类推，得到 n 个这样的坐标轴。通过这种方式获得的新的坐标

感知机 (perceptron) 是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别。感知机的取值范围为 1 和 -1 二值。感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型。一、主要思想：设 w⃗\vec ww 为权重项，bbb 为偏置项，x⃗\vec xx 为特征值，yiy_iyi​ 为标签在线性可分的情况下，拟合线性函数 w⃗⋅x⃗+b\vec w\cdot\vec x+bw⋅x+b，使得：sign(w⃗⋅x⃗+b)={1≥0−1<0\math.

误分类点：设一个点 x⃗\vec xx 被误分类了 nnn 次，则由于 ∇L=<x⃗y,y>\nabla L=<\vec xy,y>∇L=<xy,y>，更新了 nnn 次后的 w⃗\vec ww 为：w⃗=αnx⃗y\begin{aligned}\vec w&=\alpha n\vec xy\end{aligned}w​=αnxy​对所有的点来说：w⃗=∑αnix⃗iyi\begin{aligned}\vec w&=\sum\alpha n_i\v

文章目录一、主要思想：二、找最大间隔：2.1 距离：2.2 间隔：2.2.1 优化目标函数2.2.2 拉格朗日乘子法2.2.3 拉格朗日函数的对偶性凸优化问题KKTKKTKKT 条件一、主要思想：支持向量机（SVM）的基本模型线性支持支持向量机是定义在特征空间上的间隔最大的线性分类器，这使它有别于感知机。适用于高维小样本，且线性可分的数据。二、找最大间隔：2.1 距离：距离是一种映射关系，满足：{D(x,y)≥0, D(x,y)=0⇔x=yD(x,y)=D(y,x)D(x,

文章目录主要思想引入 Hinge 函数拉格朗日乘子法主要思想上篇文章提到了线性可分支持向量机，顾名思义，这个算法可以解决线性可分的数据，但在实际情况下几乎不存在完全线性可分的数据，为解决这个问题，需要引入“软间隔”这个概念，意思是允许一些点不满足约束条件 yi(w⃗⋅x⃗j+b)≥1y_i(\vec w\cdot\vec x_j+b)\ge1yi​(w⋅xj​+b)≥1引入 Hinge 函数使用 hingehingehinge 损失函数将原优化问题min⁡w⃗12∥w⃗∥2s.t.&

文章目录主要思想升维核函数核函数的作用常见的核函数主要思想定理：对于线性不可分的点，一定可以有一个维度使其线性可分。基于此定理，我们可以使用支持向量机解决线性不可分的数据，即把数据集映射到一个高纬度，之后再进行线性分类。升维假设原先的样本点是 x⃗i\vec x_ixi​，用 ϕ(x⃗i)\phi(\vec x_i)ϕ(xi​) 表示映射到新的特征空间后的新样本点。那么分割超平面可以表示为f(x⃗)=w⃗ϕ(x⃗)+bf(\vec x)=\vec w\phi(\vec x)+bf(x

文章目录概述选择变量的启发式方法选择第一个变量选择第二个变量目标函数的优化无约束求极值加入约束更新阈值 b概述SMOSMOSMO 是由 PlattPlattPlatt 在 1998 年提出的、针对软间隔最大化 SVMSVMSVM 对偶问题求解的一个算法，其基本思想很简单：如果所有变量的解都满足此优化问题的 KKT 条件，则这个优化问题的解就得到了；否则在每一步优化中，挑选出诸多参数 αk (k=1,2,⋯ ,n)\alpha_k\ (k=1,2,\cdots,n)αk​ (k=1,

记录 Yolov5 的使用，以及使用过程中遇到过的问题，权当是为大家排坑了。

tf.keras.layers.Conv2D() 函数Conv2D （二维卷积层）这一层创建了一个卷积核，它与这一层的输入卷积以产生一个输出张量当使用此层作为模型的第一层时，提供关键字参数 input_shape (整数元组，不包括样本轴，不需要写batch_size)def __init__(self, filters, kernel_size, strides=(1, 1), padding='valid',