酒酿小圆子呀～

文章目录 1. 朴素贝叶斯 1.1. 工作原理 1.2. 工作流程 1.3. 属性特征 1.4. Laplace校准(拉普拉斯校验) 1.5. 遇到特征之间不独立问题 1.6. 优缺点 2. 逻辑回归和线性回归 2.1. 梯度下降法 2.2. 其他优化方法 2.3. 关于LR的过拟合问题： 2.4. 关于LR的多分类：softmax 2.5. 关

本文转载自：http://www.cnblogs.com/zuochongyan/p/5407053.html机器学习岗位的面试中通常会对一些常见的机器学习算法和思想进行提问，在平时的学习过程中可能对算法的理论，注意点，区别会有一定的认识，但是这些知识可能不系统，在回答的时候未必能在短时间内答出自己的认识，因此将机器学习中常见的原理性问题记录下来，保持对各个机器学习算法原理和特点的熟练

Informer是一种专为长序列时间序列预测（LSTF）设计的Transformer模型。相较于传统的Transformer，Informer具备了三个独特特点。首先，他采用ProbSparse自注意力机制，具有O(LlogL)的时间复杂度和内存使用。能够有效捕获序列中的长期依赖关系。其次，通过自注意力蒸馏技术，Informer能够高效处理极长的输入序列。最后，Informer的生成式解码器可以一次性预测整个长时间序列，在预测过程中大幅提高了效率。

去噪自编码器（Denoising Autoencoder, DAE）是一种自编码器（Autoencoder）的变体，旨在从被污染的输入中学习如何恢复原始输入。这种网络的主要目标是学习输入数据的更高层次特征，而不是依赖于细节。

xLSTM。

GBDT的核心在于每一棵树学的是之前所有树结论和的残差，残差就是真实值与预测值的差值，所以为了得到残差，GBDT中的树全部是回归树，之所以不用分类树，是因为分类的结果相减是没有意义的。（1）算法原理：决策树根据样本数据集的数据特征对数据集进行划分，直到针对所有特征都划分过，或者划分的数据子集的所有数据的类别标签相同。（1）算法原理：使用CART树作为弱分类器，将多个不同的决策树进行组合，利用这种组合来降低单棵决策树的可能带来的片面性和判断不准确性。【任务描述】：基于鸢尾花数据集训练相应的分类器，实现分类。

目前，这其中，基于Transformer架构的模型在时间序列预测中取得了丰硕的成果。Transformer模型因其强大的序列建模能力，很适合时间序列这种也是序列类型的数据结构。但与文本序列相比，时间序列具有很多独特的特征，比如自相关性、周期性以及长周期性预测，这些特性给Transformer在时间序列预测场景中的应用带来了新的挑战。

EM算法是一种从不完全数据或有数据丢失的数据集（存在隐变量）中求解概率模型参数的最大似然估计方法。第一步求隐变量的期望(E)第二步求似然函数极大(M)EM算法在一般情况是收敛的，但是不保证收敛到全局最优，即有可能进入局部的最优。应用到的地方：混合高斯HMM模型、隐马尔科夫模型、混合朴素贝叶斯模型等。

在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。然后我们拿残差替代A,B,C,D的原值，到第二棵树去学习，如果我们的预测值和它们的残差相等，则只需把第二棵树的结论累加到第一棵树上就能得到真实年龄了。从树深度0开始，每一节点都遍历所有的特征，比如年龄、性别等等，然后对于某个特征，先按照该特征里的值进行排序，然后线性扫描该特征进而确定最好的分割点，最后对所有特征进行分割后，我们选择所谓的增益Gain最高的那个特征。

与假设球形簇的k-means不同，由于协方差分量，gmm可以适应椭球形状。这使得gmm能够捕获更多种类的簇形状。由于使用协方差矩阵和混合系数，可以处理不同大小的聚类，这说明了每个聚类的分布和比例。GMM提供了属于每个簇的每个点的概率(软分配)，这可以在理解数据时提供更多信息。可以处理重叠的集群，因为它根据概率而不是硬边界为集群分配数据点。易于解释聚类结果，因为每个聚类都由具有特定参数的高斯分布表示。除了聚类，GMM还可以用于密度估计和异常检测。需要提前指定分量(簇)的数量。

霍尔特-温特（Holt-Winters）方法是一种时间序列分析和预报方法。该方法对含有线性趋势和周期波动的非平稳序列适用，利用指数平滑法（EMA）让模型参数不断适应非平稳序列的变化，并对未来趋势进行短期预报。Holt-Winters 方法在 Holt模型基础上引入了 Winters 周期项（也叫做季节项），可以用来处理月度数据（周期 12）、季度数据（周期 4）、星期数据（周期 7）等时间序列中的固定周期的波动行为。引入多个 Winters 项还可以处理多种周期并存的情况。

这里的STL方法中我们只使用了第一个参数，其它均为默认参数,因为我们的数据集是dataframe，因此STL方法可以根据datetime的索引列推断出peroid，如果数据类型是numpy的array那就必须指定peroid。下面我们可以观察一下残差的分布以及它的均值，一般情况下如果残差呈现出以0为均值的近似正太分布(这不是必须的)那么说明我们使用了正确的分解方法。其中T(t)表示t时刻的趋势值,S(t)表示t时刻的季节项值,R(t)表示t时刻的残差值。这可以给趋势强度的衡量标准，其值在 0-1 之间。

Apriori 算法是最为经典的关联规则挖掘算法之一。关于关联规则有个很常见的例子：啤酒与尿布。沃尔玛在分析销售记录时，发现啤酒和尿布经常一起被购买，于是他们调整了货架，把两者放在一起，结果真的提升了啤酒的销量。关联规则分析也称为购物篮分析，最早是为了发现超市销售数据库中不同的商品之间的关联关系。关联规则是反映一个事物与其他事物之间的关联性，若多个事物之间存在着某种关联关系，那么其中的一个事物就能通过其他事物预测到。这里要注意，关联规则不是因果关系，有可能有因果关系，有可能没有。定义 1。

K-means算法是用来解决著名的聚类问题的最简单的非监督学习算法之一，是很典型的。该算法采用距离作为相似性的评价指标。即认为两个对象的距离越近，其相似度就越大。该算法认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。k-means算法特点在于：同一聚类的簇内的对象相似度较高；而不同聚类的簇内的对象相似度较小。

DBSCAN是基于密度空间的聚类算法，在机器学习和数据挖掘领域有广泛的应用，其聚类原理通俗点讲是每个簇类的密度高于该簇类周围的密度，噪声的密度小于任一簇类的密度。如下图簇类ABC的密度大于周围的密度，噪声的密度低于任一簇类的密度，因此DBSCAN算法也能用于异常点检测。

参考资料：TCN(Temporal Convolutional Network)时间卷积网络pytorch实战

Optuna是一个用于超参数优化的Python库，可以帮助我们自动化地选择最优的超参数组合，从而提高机器学习模型的性能。Optuna使用贝叶斯优化算法来搜索超参数空间，可以支持大部分机器学习框架，如TensorFlow、PyTorch、scikit-learn等。

局部加权回归（Lowess）的大致思路是：以一个点xxx为中心，向前后截取一段长度为fracfracfrac的数据，对于该段数据用权值函数www做一个加权的线性回归，记xyxy​为该回归线的中心值，其中y\hat{y}y​为拟合后曲线对应值。对于所有的nnn个数据点则可以做出nnn条加权回归线，每条回归线的中心值的连线则为这段数据的Lowess曲线。

分类与回归树（calssification and regression tree，CART）是决策树算法中的一种，与其他决策树算法相同，同样由特征选择，树的生成与剪枝组成。CART被广泛应用，且被用于树的集成模型，例如，GBDT、RF等集成算法的基学习器都是CART树。决策树是典型的非线性模型，GBDT和RF因此也是非线性模型。决策树的经典算法包括ID3、C4.5、CART算法，其应用领域及所使用的准则，如下图所示。CART分类回归树是一种典型的二叉决策树，可以做分类或者回归。

参考资料：矩阵的特征分解

由于Softmax函数的数值计算过程中，很容易因为输出节点的输出值比较大而发生数值溢出的现象，在计算交叉熵的时候也可能会出现数值溢出的问题。softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为(0,1)的值，而这些值的累和为1（满足概率的性质），那么我们就可以将它理解成概率，在最后选取输出结点的时候，我们就可以选取概率最大（也就是值对应最大的）结点，作为我们的预测目标！结果还是挺明显的，经过使用指数形式的Softmax函数能够将差距大的数值距离拉的更大。

我们可以知道，精度(precision)、查全率(recall)、F1的计算，是针对于二分类器来定义的。他们的计算，只与y_true和y_pred有关，要求y_true和y_pred中只含有0和1两个类别。我们在实际计算上述分类指标中，可以直接调用sklearn中的函数库实现。

贝叶斯网络中的节点表示随机变量，有向边表示变量之间有因果关系(非条件独立)，两个用箭头连接的节点就会产生一个条件概率值，如下图所示：设GIEG=(I, E)GIE表示一个DAG，其中III是图形中所有节点的集合，EEE是所有有向边的集合，函数paxpa(x)pax表示从子节点x到父节点的映射。令xix_ixi​表示DAG中某一节点i代表的随机变量，则概率pxip(x_i)pxi​可以表示成：则称此DAG为贝叶斯网络模型。

文章目录注意力机制最早被用于机器翻译领域，其本质类似于人类在认知事物时的注意力，后因其有效性被广泛用于计算机视觉、语音识别、序列预测等领域。常见的注意力机制通常是基于Encoder-Decoder的。在Tensorflow中也有现成的注意力API可以使用，即AttentionCellWrapper。值得注意的是，Tensoflow中AttentionCellWrapper的实现并不是基于E...

文章目录tf.get_variable 和 tf.variabletf.get_variable 和 tf.variable_scopetf.variable_scope 和 tf.name_scopetf.get_variable 和 tf.variableTensorFlow中通过变量名获取变量的机制主要是通过tf.get_variable()和tf.variable_scope实现的。...

博客地址: https://blog.youkuaiyun.com/bqw18744018044/article/details/89334729Github参考代码地址: https://github.com/zhaowei555/multi_label_classify/blob/master/han/han.py

文章目录一、tf.nn.dynamic_rnn函数1. 函数定义2. 参数说明3. 代码实例二、tf.nn.static_rnn1. 函数定义3. 代码实例一、tf.nn.dynamic_rnn函数1. 函数定义tf.nn.dynamic_rnn( cell, inputs, sequence_length=None, initial_state=None,...

'''A Bidirectional Recurrent Neural Network (LSTM) implementation example using TensorFlow library.This example is using the MNIST database of handwritten digits (http://yann.lecun.com/exdb/mnist/)...

RNNCell本地实现文件的路径为：~/anaconda3/envs/tensorflow/lib/python3.6/site-packages/tensorflow/python/ops/rnn_cell_impl.py概述RNNCell是所有cell的父类，LayerRNNCell的设计是为了方便参数的管理，其他的cell和wrapper等结构均是根据具体论文和相关应用场景设计实现的。...

文章目录GAT模型的提出，可见ICLR 2018论文 GRAPH ATTENTION NETWORKS

Tensorboard的基本使用to be continued…

基本原理：强烈推荐： 从CNN到GCN的联系与区别——GCN从入门到精（fang）通（qi）主要内容：CNN，拉普拉斯矩阵，Graph上的傅里叶变换及卷积，Graph Convolution第一代GCN第二代GCN第三代GCN利用切比雪夫多项式来进行近似，降低前向传播高复杂度的问题。Semi-supervised Classification with Graph Convolutional Networks一文中的GCN形式，其实是二阶Chebyshev多项式推导出的特例。参考博客

文章目录代码结构参数设置数据加载特征预处理模型定义GAT的Tensorflow版本实现代码Github地址：https://github.com/PetarV-/GAT代码结构.├── data # Cora数据集├── models # GAT模型定义 (gat.py)├── pretrained # 预训练的模型└── utils # 工具定义参数设置GAT/execute_cora.py# training paramsbatch_siz

RIPOSPFISISBGP参考博客：最佳路由路径选择算法详解

一文让你看懂转置卷积(反卷积)利用反卷积技术复原卷积网络各层图像

文章目录1. saved_model 模型保存与载入2. 部署自己的模型2.1 将固化后的模型文件放入Tensorflow Serving指定目录2.2 模型发布2.3 查看模型情况2.3.1 查看模型概况2.3.2 查看模型metadata 数据情况:3. 调用API接口进行测试3.1 通过curl命令进行预测3.2 通过 postman 等接口调用软件进行预测1. saved_model 模型保存与载入# 基于GRU的预测inputX = tf.placeholder(tf.float32, sh

领域调研清华裴丹：我在智能运维科研领域的一些思考: https://blog.youkuaiyun.com/u012856866/article/details/119455262故障预测基于日志的交换机故障预测: https://blog.youkuaiyun.com/ZVAyIVqt0UFji/article/details/79215896清华NetMan实验室清华NetMan实验室的GitHub开源地址: https://github.com/NetManAIOps清华NetMan实验室的开源代

前言中国应用性能管理行业盛宴—2017中国应用性能管理大会（简称APMCon 2017）于8月10日至11日在北京新云南皇冠假日酒店隆重召开。本届APMCon是由听云、极客邦和InfoQ联合主办，作为国内APM领域最具影响力的技术大会，本次大会以“驱动应用架构优化与创新”为主题，致力于推动APM在国内的成长与发展。清华大学计算机系副教授、智能运维算法专家—裴丹于APMCon 2017大会主论坛发表了题为《智能运维中的科研问题》的演讲，现场解读了在智能运维领域，工业界与学术界间合作的重要性以及智能运维如.

参考博客:AIOps探索：基于VAE模型的周期性KPI异常检测方法: https://www.cnblogs.com/bonelee/p/9848559.html《异常检测——从经典算法到深度学习》8 Donut: 基于 VAE 的 Web 应用周期性 KPI 无监督异常检测: https://blog.youkuaiyun.com/smileyan9/article/details/112307506.........

Prophet 官方文档Prophet官方文档：https://facebook.github.io/prophet/Prophet论文：https://peerj.com/preprints/3190/Prophet-github：https://github.com/facebook/prophetProphet 理论介绍Facebook 时间序列预测算法 Prophet 的研究：https://zhuanlan.zhihu.com/p/52330017初识Prophet模型（一）--