PuJiang-的博客

交叉熵损失函数、MSE、二分类、多分类

线性回归、逻辑回归、原理

逻辑回归原理及公式推导过程

一、分类结果混淆矩阵1、T、F、P、N辨析P(Positive)、N(Negative)针对的是预测值的结果。P表示对样本的预测结果为正例，N表示对样本的预测结果为反例。T(True)、F(False)针对的是预测值的结果是否预测对了。TP表示对该样本预测结果为正例，同时预测对了，真实标签和预测标签都为正例，FP表示对该样本预测结果为正例，但是预测错了，真实标签为反例，预测标签为正例，TN表示对该样本预测结果为反例，同时预测对了，真是标签和预测标签都为反例，FN表示对该样本预测结果为反

一、Seq2Seq1.1Seq2Seq(Encoder-Decoder)是什么简介：使用Encoder将input编码为一个固定长度的context向量，使用Decoder将context解码为output。input、output长度不一定相同。奠基论文：Sequence to Sequence Learning with Neural Networks...

一、RNN存在的问题对RNN来讲，没有特别关注的部分，都是一个序列进去。而且RNN的梯度消失指的是每一项一项进行相加，可以发现距离拉的越长，连乘的项就越多，远距离的梯度会趋于0的，近距离的梯度不会消失。RNN梯度消失的真正含义是总的梯度受近距离梯度的主导，远距离的梯度消失。二、GRU门控单元引入重置门和更新门：Rt=σ(XtWwr+Ht−1Whr+br)Zt=σ(XtWwz+Ht−1Whz+bz)R_t=\sigma(X_tW_{wr}+H_{t-1}W_{hr}+b_r) \\ Z_t=\sigm

1、Sigmoid激活函数f(z)=11+e−zf(z)=\frac{1}{1+e^{-z}}f(z)=1+e−z1​f′(z)=0−1∗(1+e−z)′(1+e−z)2=−e−z∗−1(1+e−z)2=e−z(1+e−z)2=1+e−z−1(1+e−z)2=1(1+e−z)−1(1+e−z)2=f(z)(1−f(z)) f^{'}(z)=\frac{0-1*(1+e^{-z})^{'}}{(1+e^{-z})^2}\\ =\frac{-e^{-z}*-1}{(1+e^{-z})^2}\\=\frac{e

一、RNN基本结构1、隐层状态sts_tst​st=σ(Uxt+Wst−1+b)s_t=\sigma(Ux_t+Ws_{t-1}+b)st​=σ(Uxt​+Wst−1​+b)σ\sigmaσ()是激活函数，通常选用Tanh、ReLU。2、输出状态oto_tot​ot=g(Vst+c)o_t=g(Vs_t+c)ot​=g(Vst​+c)ggg()是激活函数，对于分类任务通常选用sigmoidsigmoidsigmoid()。3、Loss计算输出状态oto_tot​与目标输出yty_tyt​计

一、dropout原理神经网络中dropout以p的概率丢弃该层的节点。p=0时，没有节点被丢弃。p=1时，将丢弃所有节点。被丢弃的节点hi=0h_i=0hi​=0,保留下来的节点hi=hi′h_i=h_i'hi​=hi′​。其中要满足E[hi′]=hiE[h_i']=h_iE[hi′​]=hi​。h′={0丢弃概率为ph1−p其他情况h'=\begin{cases}0& \text{丢弃概率为p}\\\frac{h}{1-p}& \text{其他情况}\end{cases}h′=

一、p范数及实现对于线性模型Y=XW+bY=XW+bY=XW+b，其中X∈Rn×dX\in R^{n \times d}X∈Rn×d，nnn为样本数，ddd为每个样本的特征维度，W∈Rd×1W \in R^{d \times 1}W∈Rd×1，Y∈Rn×1Y \in R^{n \times 1}Y∈Rn×1。可以使用权重向量WWW的某个范数来衡量该模型的复杂度。W=(w1,w2,...,wd)W =(w_1,w_2,...,w_d)W=(w1​,w2​,...,wd​)1-范数：∣∣W∣∣1\vert\

一、多层感知机上图是只有一个隐层的多层感知机网络结构。这里区分上角标(i)(i)(i)表示数据集中第iii个样本，<1><1><1>表示权重矩阵的第1层。实际上，不管是哪个样本x(i)x^{(i)}x(i)，它们的权重矩阵是相同的，也就是网络要学习的权重矩阵W<1>W^{<1>}W<1>、b<1>b^{<1>}b<1>、W<2>W^{<2>}W<2>、b<2

一、线性回归与Softmax回归在上一篇线性回归原理及手工实现实现了一层简单的线性回归模型。对于一层简单的Softmax回归模型，可以在线性回归模型输出的基础上再套一层Softmax函数，输出每个类别的概率。对于一层线性回归模型，网络预测的输出Y^\hat{Y}Y^如下所示，其中X∈Rn×dX\in{R}^{ n\times d}X∈Rn×d，W∈Rd×qW\in{R}^{ d\times q}W∈Rd×q，b∈R1×qb\in{R}^{1\times q}b∈R1×q，O∈Rn×qO\in{R}^{n

Minimum DistanceWrite a python function def min_dist(u1,u2,u3)(u_1, u_2, u_3)(u1​,u2​,u3​)the functions takes in 3 lists of floats, each of length k, representing k-dimensional vectors. The function returns a list representing a k-dimensional vector v, s

一、线性回归与多项式回归上一篇对于Y=2x1−3x2+4x3−5Y=2x_1-3x_2+4x_3-5Y=2x1​−3x2​+4x3​−5函数进行了拟合，如果函数对于Y=2t4−3t3+4t2−5Y=2t^4-3t^3+4t^2-5Y=2t4−3t3+4t2−5该如何拟合？{x1=t4x2=t3x3=t2 \left\{\begin{aligned}x_1 & = & t^4 \\x_2 & = & t^3 \\x_3 & = & t^2\end{a

一、什么是线性回归直观来讲，就是y=kx+by = kx+by=kx+b的形式，可以用一条直线来进行拟合。一元线性回归：只有一个自变量和一个因变量，y=k1x1+by = k_1x_1+by=k1​x1​+b的形式表示。多元线性回归：两个及以上的自变量和一个因变量，y=k1x1+k2x2+...+knxn+by=k_1x_1+k_2x_2+...+k_nx_n+by=k1​x1​+k2​x2​+...+kn​xn​+b的形式表示。在这里可以再与多项式回归进行区分，y=k1x1+k2x22+...+k