- 博客(28)
- 收藏
- 关注
RSS订阅原创 基础算法1-递归算法Recursive Algorithm | RA
递归（Recursion）在计算机科学中是指一种通过重复将问题分解为同类的子问题而解决问题的方法，其核心思想是分治策略。递归式方法可以被用于解决很多的计算机科学问题，因此它是计算机科学中十分重要的一个概念。绝大多数编程语言支持函数的自调用，在这些语言中函数可以通过调用自身来进行递归。
2024-07-22 13:35:11
1360
原创 AI算法24-决策树C4.5算法
C4.5算法是由Ross Quinlan开发的用于产生决策树的算法。该算法是对Ross Quinlan之前开发的ID3算法的一个扩展。C4.5算法产生的决策树可以被用作分类目的，因此该算法也可以用于统计分类。C4.5算法与ID3算法一样使用了信息熵的概念，并和ID3一样通过学习数据来建立决策树C4.5算法是数据挖掘十大算法之一，它是对ID3算法的改进，相对于ID3算法主要有以下几个改进用信息增益比来选择属性在决策树的构造过程中对树进行剪枝对非离散数据也能处理能够对不完整数据进行处理。
2024-07-19 11:07:43
1529
原创 AI算法23-决策树ID3算法Iterative Dichotomiser 3 | ID3
ID3算法最早是由罗斯昆（J. Ross Quinlan）于1975年在悉尼大学提出的一种分类预测算法，算法的核心是“信息熵”。1986年，Quinlan进一步发展了ID3算法，使其成为决策树学习算法的一种重要代表。ID3算法是一种自顶向下的贪婪型算法，通过递归地划分训练数据集来构建决策树，特别适用于处理离散属性的数据集。ID3算法通过计算每个属性的信息增益，认为信息增益高的是好属性，每次划分选取信息增益最高的属性为划分标准，重复这个过程，直至生成一个能完美分类训练样例的决策树。
2024-07-18 14:18:17
804
原创 AI算法22-决策树算法Decision Tree | DT
我们在日常生活中经常会遇到一些选择需要去做一些选择，比如我们在找工作的时候每个人都希望能找到一个好的工作，但是公司那么多，工作种类那么多，什么样的工作才能算是好工作，这个时候就需要我们对众多的工作去做一个判断。最常用的一种方法就是制定几个可以衡量工作好坏的指标，比如公司所处的行业是什么、应聘的岗位是什么、投资人是谁、薪酬待遇怎么样等等。
2024-07-18 10:52:58
1190
原创 AI算法21-逻辑回归算法Logistic Regression | LR
逻辑回归（Logistic Regression）是一种广泛应用于分类问题的监督学习算法。尽管名字中含有“回归”二字，但这并不意味着它用于解决回归问题。相反，逻辑回归专注于解决二元或多元分类问题，如邮件是垃圾邮件还是非垃圾邮件，一个交易是欺诈还是合法等。逻辑回归源于统计学，旨在模拟一个因变量和一个或多个自变量之间的关系。与线性回归不同，逻辑回归并不直接预测数值，而是估计样本属于某一类别的概率。这通常通过Sigmoid函数（或对数几率函数）来实现，该函数能够将任何实数映射到0和1之间。
2024-07-17 12:28:46
951
原创 AI算法20-分位数回归算法Quantile Regression | QR
分位数回归（Quantile Regression）是一种统计方法，最早由Roger Koenker和Gilbert Bassett于1978年提出。它通过估计条件分位数函数来分析自变量与因变量之间的关系，与传统的最小二乘回归（OLS）相比，分位数回归可以提供更全面的信息。分位数回归模型是一种非参数统计模型，它能够描述因变量和自变量之间的关系，并且可以提供关于数据分布不同方面的信息。这种模型能够估计因变量的不同分位数与自变量之间的关系，而不仅仅是最小二乘法所估计的均值。
2024-07-17 10:45:14
1407
原创 AI算法19-偏最小二乘法回归算法Partial Least Squares Regression | PLS
偏最小二乘法模型可分为偏最小二乘回归模型和偏最小二乘路径模型。其中偏最小二乘回归模型是一种新型的多元统计方法，它集中了主成分分析、典型相关分析和线性回归的特点，特别在解决回归中的共线性问题具有无可比拟的优势。偏最小二乘回归模型虽然与主成分分析有关系，但它不是寻找响应和独立变量之间最小方差的超平面，而是通过投影预测变量和观测变量到一个新空间来寻找一个线性回归模型。特别当两组变量的个数很多，且存在多重相关性，而观测数据的数量较少时，用偏最小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点。
2024-07-16 15:49:32
2969
原创 AI算法18-最小角回归算法Least Angle Regression | LARS
最小角回归（Least Angle Regression, LAR）是一种用于回归分析的统计方法，它在某些方面类似于最小二乘回归，但提供了一些额外的优点。最小角回归由Bradley Efron等人提出，主要用于处理具有高度相关性的特征集。最小角回归算法的核心思想是逐步添加特征到模型中，每次添加与当前残差相关性最大的特征。这个过程通过最小化角（即特征与残差之间的夹角）来实现，从而确保模型的稀疏性。这使得LAR算法在处理具有多重共线性的数据集时特别有用。先对做标准化处理，使得每个predictor（
2024-07-16 13:21:27
1881
原创 AI算法17-贝叶斯岭回归算法Bayesian Ridge Regression | BRR
贝叶斯岭回归（Bayesian Ridge Regression）是一种回归分析方法，它结合了岭回归（Ridge Regression）的正则化特性和贝叶斯统计的推断能力。这种方法在处理具有大量特征的数据集时特别有用，因为它可以帮助减少模型的复杂性并防止过拟合。线性回归是一种通过拟合输入特征与目标变量之间的线性关系来预测目标变量的统计方法。然而，当数据存在噪声或多重共线性时，传统的最小二乘法可能会导致过拟合问题，即模型在训练数据上表现良好，但在新数据上泛化能力差。
2024-07-15 14:24:14
2242
原创 AI算法16-贝叶斯线性回归算法Bayesian Linear Regression | BLR
线性回归的频率主义观点可能你已经学过了：该模型假定因变量（y）是权重乘以一组自变量（x）的线性组合。完整的公式还包含一个误差项以解释随机采样噪声。如有两个自变量时，方程为：模型中，y是因变量，β是权重（称为模型参数），x是自变量的值，ε是表示随机采样噪声的误差项或变量的影响。线性回归是一个简单的模型，它可以很容易解释：是截距项，其他权重β表示增加自变量对因变量的影响。例如，如果是1.2，那么对于中的每个单位增加，响应将增加1.2。我们可以使用矩阵方程将线性模型推广到任意数量的预测变量。
2024-07-15 10:51:50
1469
原创 AI算法15-弹性网络回归算法Elastic Net Regression | ENR
在机器学习领域中，弹性网络（Elastic Net）是一种结合了L1范数（套索回归）和L2范数（岭回归）的正则化方法。它综合了两者的优点，既可以实现特征选择，又可以处理多重共线性。弹性网络在实际应用中具有广泛的用途，因此，在这篇文章中我们将探讨弹性网络正则化的公式、应用场景、优势以及如何调节超参数等方面。一般线性模型的目标函数目标函数的第一行与传统线性回归模型完全相同，即我们希望得到相应的自变量系数β，以此最小化实际因变量y与预测应变量βx之间的误差平方和。
2024-07-13 16:56:10
1733
原创 AI算法14-套索回归算法Lasso Regression | LR
在统计学和机器学习中，套索回归是一种同时进行特征选择和正则化（数学）的回归分析方法，旨在增强统计模型的预测准确性和可解释性，正则化是一种回归的形式，它将系数估计（coefficient estimate）朝零的方向进行约束、调整或缩小。也就是说，正则化可以在学习过程中降低模型复杂度和不稳定程度，从而避免过拟合的危险。一个简单的线性回归关系如下式。其中 Y 代表学习关系，β 代表对不同变量或预测因子 X 的系数估计。拟合过程涉及损失函数，称为残差平方和（RSS）。系数选择要使得它们能最小化损失函数。
2024-07-13 13:43:56
1467
原创 AI算法13-岭回归算法Ridge Regression | RR
多重共线性（Multicollinearity）是指多变量线性回归中，变量之间由于存在精确相关关系或高度相关关系而使回归估计不准确。那么什么是精确相关关系与高度相关关系呢？假如有下面的（1）式，其中 w1 = 2、w2 = 3，同时如果又存在（2）式的关系，这时就说明 x1 与 x2 存在精确相关关系。当 x1 与 x2 之间存在近似精确相关关系，例如 x1 约等于 2 倍的 x2，则说明存在高度相关关系。
2024-07-12 13:30:32
1158
原创 AI算法12-线性回归算法Linear Regression | LR
线性回归算法是一种基于假设自变量和因变量之间存在线性关系的统计学习方法。也就是说，我们认为因变量y可以表示为自变量x的线性组合加上一个随机误差项。例如，如果我们有一个自变量x和一个因变量y，那么我们可以假设它们之间的关系为：其中w是线性系数，b是截距项，e是误差项。我们的目标是根据已知的x和y的数据，找到最合适的w和b，使得误差项e的平方和最小。这就是最小二乘法的思想。
2024-07-12 10:18:22
986
原创 AI算法11-随机森林算法Random Forest | RF
随机森林是机器学习中的一种常用方法，而随机森林背后的思想，更是与群体智慧，甚至“看不见的手”相互映照。上世纪八十年代Breiman等人发明分类树的算法（Breiman et al. 1984），通过反复二分数据进行分类或回归，计算量大大降低。2001年Breiman把分类树组合成随机森林（Breiman 2001a），即在变量（列）的使用和数据（行）的使用上进行随机化，生成很多分类树，再汇总分类树的结果。随机森林在运算量没有显著提高的前提下提高了预测精度。
2024-07-11 10:53:26
1222
原创 AI算法10-反向传播算法Back Propagation | BP
BP算法是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。反向传播要求有对每个输入值期望得到的已知输出，来计算损失函数的梯度。因此，它通常被认为是一种监督式学习方法，虽然它也用在一些无监督网络（如自动编码器）中。它是多层前馈网络的Delta规则的推广，可以用链式法则对每层迭代计算梯度。反向传播要求人工神经元（或“节点”）的激励函数可微。
2024-07-10 16:54:18
2286
原创 AI算法09-遗传算法Genetic Algorithm | GA
遗传算法（Genetic Algorithm, GA）是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。其主要特点是直接对结构对象进行操作，不存在求导和函数连续性的限定；具有内在的隐并行性和更好的全局寻优能力；采用概率化的寻优方法，不需要确定的规则就能自动获取和指导优化的搜索空间，自适应地调整搜索方向。遗传算法以一种群体中的所有个体为对象，并利用随机化技术指导对一个被编码的参数空间进行高效搜索。
2024-07-09 10:49:34
1334
原创 AI算法08-粒子群算法Particle swarm optimization | PSO
鸟被抽象为没有质量和体积的微粒(点)，并延伸到N维空间，粒子在N维空间的位置表示为矢量Xi＝(x1，x2，…粒子群算法通过设计一种无质量的粒子来模拟鸟群中的鸟，粒子仅具有两个属性：速度和位置，速度代表移动的快慢，位置代表移动的方向。每个粒子在搜索空间中单独的搜寻最优解，并将其记为当前个体极值，并将个体极值与整个粒子群里的其他粒子共享，找到最优的那个个体极值作为整个粒子群的当前全局最优解，粒子群中的所有粒子根据自己找到的当前个体极值和整个粒子群共享的当前全局最优解来调整自己的速度和位置。Vi 是粒子的速度；
2024-07-08 14:13:34
1064
原创 AI算法07-人工神经网络Artificial Neural Network | ANN
人工神经网络（ANN）或连接系统是由构成动物大脑的生物神经网络模糊地启发的计算系统。神经网络本身不是算法，而是许多不同机器学习算法的框架，它们协同工作并处理复杂的数据输入。此类系统通过考虑示例“学习”执行任务，通常不用任何特定于任务的规则编程。例如，在图像识别中，他们可能通过分析手动的示例图像来学习识别包含猫的图像标记为“猫”或“没有猫”，并使用结果来识别其他图像中的猫。他们在没有任何关于猫的先验知识的情况下这样做，例如，他们有毛皮，尾巴，胡须和猫般的面孔。
2024-07-08 11:12:20
1463
原创 AI算法06-受限玻尔兹曼机Restricted Boltzmann machine | RBM
玻尔兹曼机是一大类的神经网络模型，但是在实际应用中使用最多的则是受限玻尔兹曼机（RBM）。受限玻尔兹曼机（RBM）是一个随机神经网络（即当网络的神经元节点被激活时会有随机行为，随机取值）。它包含一层可视层和一层隐藏层。在同一层的神经元之间是相互独立的，而在不同的网络层之间的神经元是相互连接的（双向连接）。在网络进行训练以及使用时信息会在两个方向上流动，而且两个方向上的权值是相同的。但是偏置值是不同的（偏置值的个数是和神经元的个数相同的），受限玻尔兹曼机的结构如下。
2024-07-05 14:54:54
1203
原创 Centos7更新gitlab17失败: GitLab KAS: RuntimeError: Execution of the command gitlab-kas –version failed
编辑gitlab的配置文件，配置文件默认位置/etc/gitlab/gitlab.rb。GitLab现运行版本：16.11.2。GitLab需要更新版本：17.1.1。操作系统：Centos7。
2024-07-05 10:21:39
1193
原创 AI算法05-前馈神经网络Feedforward Neural Network | FNN
前馈神经网络（Feedforward Neural Network, FNN）是神经网络中最基本和经典的一种结构，它在许多实际应用场景中有着广泛的使用。在本节中，我们将深入探讨FNN的基本概念、工作原理、应用场景以及优缺点。前馈神经网络是一种人工神经网络，其结构由多个层次的节点组成，并按特定的方向传递信息。与之相对的是递归神经网络，其中信息可以在不同层之间双向传递。结构特点： 由输入层、一个或多个隐藏层和输出层组成。信息流动： 信息仅在一个方向上流动，从输入层通过隐藏层最终到达输出层，没有反馈循环。
2024-07-04 14:26:06
2977
原创 AI算法04-自组织映射神经网络Self-Organizing Map | SOM
在上一篇中，我们提到最终的学习率是由学习率*优胜领域的影响，也有一些资料是把两者分开的，学习率就是一个递减的函数（学习率可以参考上面优胜邻域半径的设定形式，可选形式类似），而优胜邻域也是t的递减函数，只不过我们队优胜邻域内的点进行更新罢了。对SOM算法的一些修正，由于SOM算法不能提供对输入数据的股友分布的可信表示，其促使了对算法的修正和新的自组织算法的发展，如修改竞争过程，在竞争过程中加入以概率方式获胜，修改更新过程，主要是调整领域函数内每个神经元权值向量更新规则，控制特征映射的放大性质。
2024-07-04 13:22:34
1575
原创 AI算法03-长短期记忆网络–Long short-term memory | LSTM
长短期记忆网络——通常被称为LSTM，是一种特殊的RNN，能够学习长期依赖性。由 Hochreiter 和 Schmidhuber（1997）提出的，并且在接下来的工作中被许多人改进和推广。LSTM 在各种各样的问题上表现非常出色，现在被广泛使用。LSTM 被明确设计用来避免长期依赖性问题。长时间记住信息实际上是 LSTM 的默认行为，而不是需要努力学习的东西！所有递归神经网络都具有神经网络的链式重复模块。在标准的 RNN 中，这个重复模块具有非常简单的结构，例如只有单个 tanh 层。
2024-07-03 11:20:40
416
原创 AI算法02-循环神经网络Recurrent Neural Network | RNN
它能有效的处理序列数据。比如：文章内容、语音音频、股票价格走势…之所以他能处理序列数据，是因为在序列中前面的输入也会影响到后面的输出，相当于有了“记忆功能”。但是 RNN 存在严重的短期记忆问题，长期的数据影响很小（哪怕他是重要的信息）。于是基于 RNN 出现了 LSTM 和 GRU 等变种算法。长期信息可以有效的保留挑选重要信息保留，不重要的信息会选择“遗忘”
2024-07-03 11:03:02
875
原创 AI算法01-卷积神经网络CNN
卷积神经网络–CNN 最擅长的就是图片的处理。它受到人类视觉神经系统的启发。能够有效的将大数据量的图片降维成小数据量能够有效的保留图片特征，符合图片处理的原则目前 CNN 已经得到了广泛的应用，比如：人脸识别、自动驾驶、美图秀秀、安防等很多领域。
2024-07-02 17:43:00
691
原创 linux上安装snmp服务
1.解压源码包 >tar zxvf net-snmp-5.5.2.1.tar.gz2.配置安装 > cd ./net-snmp-5.5.2.1 > ./configure 在配置的过程中，会出现一些选项，如果没有特殊设置，可以一直回车，直到配置完成。 >make >make install3.增加配置文件 >cp EXAMPLE.conf /u
2014-04-03 13:41:35
723
原创 mysql数据库和用户创建
1. 创建数据库： create database test;2.创建用户： -----------任何终端都可以连接 grant select,insert,update,delete on test.* to user@"%" Identified by "123456"; ------------只让某个地址段连接 gra
2014-04-02 16:28:17
367
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人