专注大数据与人工智能技术分享，欢迎私信加群互相学习！

本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........

sklearn是机器学习中一个常用的python第三方模块，，里面对一些常用的机器学习方法进行了封装，在进行机器学习任务时，并不需要每个人都实现所有的算法，只需要简单的调用sklearn里的模块就可以实现大多数机器学习任务。 机器学习任务通常包括分类（Classification）和回归（Regression），常用的分类器包括SVM、KNN、贝叶斯、线性回归、逻辑回归、决策树、随机森林、xgboost...

机器学习按照模型类型分为监督学习模型、无监督学习模型和概率模型三大类,文章对十大机器学习算法进行详细介绍并阐述机器学习其他概念问题，可作为机器学习初学者学习使用。

常用机器学习算法汇总从一个项目的终极目标、寻找和获取数据，到数据预处理，做特征工程，接下来就需要开始选择合适的算法模型，进行训练评估和测试了。 所以接下来会整理下比较常用的机器学习算法的汇总比较，包括： 线性回归逻辑回归决策树随机森林支持向量机朴素贝叶斯KNN 算法K-均值算法提升方法（Boosting）GBDT优化算法卷积神经网络 1. 线性回归 简述 定义：线性回归（Linear Regress...

本篇包含深度学习损失函数总结及如何使用Pytorch自定义损失函数（Loss Function）,使用torch.Tensor提供的接口实现：继承nn.Module类在__init__函数中定义所需要的超参数，在foward函数中定义loss的计算方法。

本专栏系列主要介绍各AI方向知识，专栏详细介绍神经网络基础、原理相关知识内容，资料集合包含机器学习、深度学习等各系列教程，从入门到实战，包括以计算机视觉（图像识别、分类、检测、分割等），另外会总结自己学习过程整理的读书笔记与优秀的学习资料，配合相关思维导图，努力实现理论与实践结合，可供深度学习入门者与工作人员学习，目前收获浏览量88w+，专栏文章数110篇+。

各位小伙伴好，美国大学生数学建模竞赛即将开始啦，参赛的小伙伴都准备好了吗？没有准备好的话，楼主本人建模竞赛经历十分丰富，从事数学建模6年，获奖也比较多，目前获奖率是95%，并且参加的比赛含金量还是挺高的，这些获奖也帮助同学顺1.比赛时间：3月31日早上8点-4月4日早上9点2.参加过美赛的同学也能继续参加3.两个比赛的名称是相同的，也就是说最后出来的证书是跟美赛一样的。

大数据专业硕士在读，优快云人工智能领域博客专家，阿里云专家博主，专注大数据与人工智能知识分享。🎉。

程序员兼职社区招募，建议你如果是从事技术岗的话，那么一定要热爱技术，并努力把它学好，因为它是你吃饭的家伙。要对自己负责，学习和提高是自己的事情！

此篇主要为数学建模资料总结，包括统计建模、机器学习建模介绍及建模使用工具、相关比赛介绍，仅用于个人学习，部分为网络资源，侵权联系删除!

说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................

​​​​​​本文主要介绍数学建模常用方法、工具及论文相关模版，正文主要介绍数据建模常见算法及利用python数据分析流程，后续将逐步对每个模型算法展开详细介绍。

数据准备入库，设置随机种子import torchimport randomimport numpy as npSEED = 1234random.seed(SEED)np.random.seed(SEED)torch.manual_seed(SEED)torch.backends.cudnn.deterministic = True

在本次学习中，我们将对具有 6 个类的数据集执行分类。请注意，该数据集实际上并不是情感分析数据集，而是问题数据集，任务是对问题所属的类别进行分类。但是，本次学习中涵盖的所有内容都适用于任何包含属于????C类之一的输入序列的示例的数据集。下面，我们设置字段并加载数据集，与之前不同的是：第一，我们不需要在LABEL字段中设置dtype。在处理多类问题时，PyTorch 期望标签被数字化为LongTensor。第二，这次我们使用的是TREC数据集而不是IMDB数据集。fine_grained...

卷积情感分析CNN:能够从局部输入图像块中提取特征，并能将表示模块化，同时可以高效第利用数据可以用于处理时序数据，时间可以被看作一个空间维度，就像二维图像的高度和宽度

本系列学习内容：机器学习介绍，回归，误差和梯度下降，深度学习介绍和反向传播机制，网络设计的技巧，卷积神经网络

一、为什么要使用卷积神经网络（CNN）CNN常常被用在影像处理上，比如说你想要做影像的分类，就是training一个neural network,input一张图片，然后把这张图片表示成里面的像素（pixel），也就是很长很长的矢量（vector）。output就是(假如你有1000个类别，output就是1000个dimension)dimension。通常会遇到一些问题： 1.在training neural network时，我们希望在network的structure里面，每一个neu

本文参考：https://blog.youkuaiyun.com/LucyLuo2020/article/details/118916216Datawhale深度学习资料：https://datawhalechina.github.io/leeml-notes一、梯度下降法的局限局部最小值saddle point和鞍点local minima优化（Optimization）损失函数失败的原因主要有2种：1.局部最小值 (local minima)，无路可走。2.鞍点 (saddle point)，还可

深度学习的三个步骤，Step1：神经网络（Neural network）Step2：模型评估（Goodness of function）Step3：选择最优函数（Pick best function）

偏差和方差方差：方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。偏差： 期望输出与真实标记的差别称为偏差（bias），即： 偏差的含义：偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力偏差、方差与bagging、boosting的关系？Bagging算法是对训练样本进行采样，产生出若干不同的子集，再从每个数据子集中训练出一个分类器，取这些分类器的平均，所以是降低模型的方差（variance）。Bagging算法和Rando

深度学习》李宏毅 -- task2 回归笔记，介绍回归定义、用法及相关案例，进行步骤展示总结。

机器学习介绍机器学习（Machine Learning），就是让机器自动找函数。如语音识别，就是让机器找一个函数，输入是声音信号，输出是对应的文字。如下棋，就是让机器找一个函数，输入是当前棋盘上黑子白子的位置，输出是下一步应该落子何处。机器学习任务——我们想要机器找什么样的函数1.回归（regression） 输出是数值。如房价、PM2.5预测。2.二元分类（binary classification） 输出只有两种可能，正面或负面。3.多...

LightGBM是2017年由微软推出的可扩展机器学习系统，是微软旗下DMKT的一个开源项目，由2014年首届阿里巴巴大数据竞赛获胜者之一柯国霖老师带领开发。它是一款基于GBDT（梯度提升决策树）算法的分布式梯度提升框架，为了满足缩短模型计算时间的需求，LightGBM的设计思路主要集中在减小数据对内存与计算性能的使用，以及减少多机器并行计算时的通讯代价。LightGBM可以看作是XGBoost的升级豪华版，在获得与XGBoost近似精度的同时，又提供了更快的训练速度与更少的内存消耗。

XGBoost是2016年由华盛顿大学陈天奇老师带领开发的一个可扩展机器学习系统。严格意义上讲XGBoost并不是一种模型，而是一个可供用户轻松解决分类、回归或排序问题的软件包。它内部实现了梯度提升树(GBDT)模型，并对模型中的算法进行了诸多优化，在取得高精度的同时又保持了极快的速度，在一段时间内成为了国内外数据挖掘、机器学习领域中的大规模杀伤性武器。更重要的是，XGBoost在系统优化和机器学习原理方面都进行了深入的考虑。

逻辑回归（Logistic regression，简称LR）虽然其中带有"回归"两个字，但逻辑回归其实是一个分类模型，并且广泛应用于各个领域之中。虽然现在深度学习相对于这些传统方法更为火热，但实则这些传统方法由于其独特的优势依然广泛应用于各个领域中。而对于逻辑回归而且，最为突出的两点就是其模型简单和模型的可解释性强。优点：实现简单，易于理解和实现；计算代价不高，速度很快，存储资源低；缺点：容易欠拟合，分类精度可能不高。

基于逻辑回归LR的分类预测1.逻辑回归的介绍Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。Logistic Regression 因其简单、可并行化、可解释强深受工业界喜爱。Logistic 回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。其最为突出的两点就是其模型简单和模型的可解释性强。逻辑回归模型的优劣势:优点：实现简单，易于理解和实现；计算代价不高，速度很快，存储资源低； 缺点：容易欠拟合，分类精度可能不高2

支持向量机一、间隔与支持向量1、掌握公式推导过程：2、什么是支持向量；解：距离超平面最近的训练样本点使上式的等号成立，它们被称为“支持向量”3、如何寻找最优的超平面；解：首先量化最优指标（这里即为“间隔”）；然后再求其最值（这里使最大化“间隔”），寻求约束条件；最后求解。4、支持向量机的基本型：二、对偶问题1、对一中第4小问公式如何求解；解：利用拉格朗日乘子法得到其对偶问题，利用SMO算法求解对偶问题；三、核函数1、核函数产生的背景；解：之前我们讨论的训

神经网络1.什么是神经网络神经网络起源于生物神经元的生物原理，生物神经元通常包括细胞体、树突和轴突等部分。其中，树突适用于接受输入信息，突触对输入信息进行处理，达到一定条件后由轴突产生输出，此时神经元表现为激活兴奋的状态。以下为参考链接导图：https://zhuanlan.zhihu.com/p/106594756...

1.决策树基本流程概念：基于树结构来进行决策，体现人类在面临决策问题时一种很自然的处理机制 具备条件： 每个非叶节点表示一个特征属性测试 每个分支代表这个特征属性在某个值域上的输出 每个叶子节点存放一个类别 每个节点包含的样本集合通过属性测试被划分到子节点中，根节点包含样本全集 基本算法：输入：训练集D=\{(x_1,y_1),(x_2,y_2),\cdot, (x_m,y_m)\}D={(x1​,y1​),(x2​,y2​),⋅,(xm​,ym​)};    属性集A={a_.

线性模型 一、线性回归回归任务最常用的性能度量是均方误差，因为均方误差有比较好的几何意义，对应了最常用的**“欧氏距离”，最小二乘法就是基于均方误差进行模型求解的。求解均方误差最小化的过程称为参数估计其实就是对w，b分别求导，令其等于0，找到最优的闭式解(解析解)。 线性回归的基本思想是采用对输入样例各个特征进行线性加权的方式得到预测的输出，并将预测的输出和真实值的均方误差最小化。1）如果输入样例只有一个特征，那这个过程就是用一条直线去拟合平面直角坐标系上的点； ...

基本概念数据集：所有数据的集合训练集：训练样本的集合属性（特征）：某事物或对象在某方面表现的性质属性值：属性的取值属性空间/样本空间/输入空间：属性张成的空间泛化能力：学得模型适用于新样本的能力（泛化能力强更好地适用于样本空间）训练数据是否有标记信息监督学习无监督学习分类回归聚类归纳空间：科学推理的手段归纳演绎特殊到一般一般到特殊归纳偏好：同一个训练集上训练出了不同的模型，如何选择？“奥卡姆剃刀”原则：选最简单的那个经验误差与过拟合经验误差（训练误差）：学习器

集成学习案例：蒸汽量预测集1.数据信息数据分成训练数据（train.txt）和测试数据（test.txt），其中字段”V0”-“V37”，这38个字段是作为特征变量，”target”作为目标变量。我们需要利用训练数据训练出模型，预测测试数据的目标变量。2.评价指标最终的评价指标为均方误差MSE。3 数据处理（1）探索数据分布对于连续分布的传感器的数据，使用 kdeplot(核密度估计图) 进行数据的初步分析，即EDA。核密度估计(kernel density estima..

集成学习(又称模型融合)就是结合若干个体分类器(基学习器)进行综合预测，各个个体学习器通常是弱学习器。集成学习相较于个体学习在预测准确率以及稳定性上都有很大的提高。普通机器学习：从训练数据中学习一个假设。集成方法：试图构建一组假设并将它们组合起来，集成学习是一种机器学习范式，多个学习器被训练来解决同一个问题。集成方法分类为：Bagging(并行训练)：随机森林 Boosting（串行训练）：Adaboost; GBDT; XgBoost Stacking: Blending:或者

详细介绍各类推荐算法图表，含传统CTR及深度学习CTR预估模型，图表包括原理、特点、公式、结构及相关扩展等。图表出自网络，仅供个人学习，侵权联系删除。高清图片下载：https://download.youkuaiyun.com/download/qq_36816848/16487153?spm=1001.2014.3001.55011.推荐系统_Graph_Embedding涵盖：Word2Vec、Item2Vec、DeepWalk、Node2Vec、EGES2.推荐系统-传统CTR涵盖：协同过

详细介绍各类推荐算法图表，含传统CTR及深度学习CTR预估模型，图表包括原理、特点、公式、结构及相关扩展等。图表出自网络，仅供个人学习，侵权联系删除。深度学习CTR多任务学习

一. 什么是TF-IDFTF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率).是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。上述引用总结就是, 一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章.这也就是

【机器学习】决策树——XGBoost、LightGBM主要介绍基于 Boosting 框架的主流集成算法，包括 XGBoost 和 LightGBM。1. XGBoostXGBoost 是大规模并行 boosting tree 的工具，它是目前最快最好的开源 boosting tree 工具包，比常见的工具包快 10 倍以上。Xgboost 和 GBDT 两者都是 boosting 方法，除了工程实现、解决问题上的一些差异外，最大的不同就是目标函数的定义。故本文将从数学原理和工程实现上...

机器学习-决策树（上）——ID3、C4.5、CART决策树是一个非常常见并且优秀的机器学习算法，它易于理解、可解释性强，其可作为分类算法，也可用于回归模型。对于基本树我将大致从以下四个方面介绍每一个算法：思想、划分标准、剪枝策略，优缺点。1. ID3ID3 算法是建立在奥卡姆剃刀（用较少的东西，同样可以做好事情）的基础上：越是小型的决策树越优于大的决策树。1.1 思想从信息论的知识中我们知道：信息熵越大，从而样本纯度越低，。ID3 算法的核心思想就是以信息增益来度量特征选择，选择信息

机器学习-逻辑回归（非常详细）1. 模型介绍Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。Logistic Regression 因其简单、可并行化、可解释强深受工业界喜爱。Logistic 回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。1.1 Logistic 分布Logistic 分布是一种连续型的概率分布，其分布函数和密度函数分别为：其中，表示位置参数，为形状参数。我们可以看下其图像特征：...