Kangrant的博客

原创 支持向量机SVM

支持向量机SVM支持向量机(support vector machines,SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机;支持向量机还包括核技巧,这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(convex quadratic programming)的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机的学习算法是求解凸二次规划的最优化算法。分类线性可分支持向量机：当训练数据线性可分

原创 python写入json时中文显示为\u编码

原创 BERT Fine-Tuning示例

https://zhuanlan.zhihu.com/p/143209797

原创 BERT,transformer,self-attention

图解Transformer和Attention图解BERTAttention机制中的Q,K,V

原创 知识蒸馏

https://zhuanlan.zhihu.com/p/102038521

原创 Pytorch之Dataset and DataLoader

https://blog.youkuaiyun.com/qq_38607066/article/details/98474121?utm_medium=distribute.pc_relevant.none-task-blog-title-1&spm=1001.2101.3001.4242

原创 Viterbi维特比算法

https://zhuanlan.zhihu.com/p/94458082

原创 BILSTM-CRF原理解释

https://www.sohu.com/a/341284906_787107

原创 CNN中为什么使用ReLu作为激活函数

为什么要使用激活函数？我们训练的神经网络模型，就是从输入到输出的一个神秘未知函数映射。我们并不知道具体的内容，只能尽可能无限的逼近它。如果不使用激活函数，那么输出只能是线性的。如果使用了非线性激活函数，那么就可以输出非线性函数，就可以无限逼近复杂函数。为什么激活函数必须是非线性的？如果是线性激活函数，不管隐藏层多深，输出永远是输入的线性组合，这样就与没有隐藏层结果相当，所以需要引入非线性激活函数。为什么CNN中要使用ReLu？1.使用sigmoid时，涉及到指数运算，反向传播时求导涉及到除法，

原创 卷积神经网络基础

卷积神经网络的层级结构数据输入层/ Input layer卷积计算层/ CONV layerReLU激励层 / ReLU layer池化层 / Pooling layer全连接层 / FC layer1.数据输入层该层要做的处理主要是对原始图像数据进行预处理，其中包括：去均值：把输入数据各个维度都中心化为0，如下图所示，其目的就是把样本的中心拉回到坐标系原点上。归一化：幅度归一化到同样的范围，如下所示，即减少各维度数据取值范围的差异而带来的干扰，比如，我们有两个维度的特征A和B，A范围是0

原创 神经网络基础--softmax

softmaxsoftmax用于多分类过程，简单来说，它将神经元的输出映射到[0,1]之间，并且归一化保证和为1，从而使多分类的概率之和也为1.也就是，多分类问题中，我们希望得到的是取到每个分类的概率，即概率最大的那类可以经常被取到，概率较小的可以偶尔被取到。函数表达式：其中，Vi 是分类器前级输出单元的输出。总的类别个数为 C。Si 表示的是当前元素的指数与所有元素指数和的比值。下图更易直观理解：在实际应用中，很有可能会出现溢出情况，因为如果V很大，经过指数运算以后会变的更大，往往可能出现溢出

原创 吴恩达深度学习--神经网络的优化(1)

1.训练集，验证集，测试集选择最佳的Train/Dev/Test sets非常重要。除此之外，构建神经网络时，需要设置的参数很多：神经网络层数，神经元个数，学习率的大小。激活函数的选择等等。实际上很难第一次就确定好这些参数，大致过程是：先确定初始参数，构建神经网络模型，然后通过代码实现该模型，之后进行试验确定模型的性能。根据性能再不断调整参数，重复上述过程，直到让神经网络模型最优。由上述可知，深度学习是一个不断迭代优化的过程，效率取决于单次试验所花费的时间，而设置合适的Train/Dev/Test s

原创 吴恩达深度学习--2.浅层神经网络

首先，从整体上来说，神经网络只是比逻辑回归多了一层中间的隐藏层，与逻辑回归计算一致，只是重复了两次。第一层：从输入层到隐藏层：z[1]=W[1]x+b[1]z^{[1]} = W^{[1]}x+b^{[1]}z[1]=W[1]x+b[1]a[1]=σ(z[1])a^{[1]}=σ(z^{[1]})a[1]=σ(z[1])第二层：从隐藏层到输出层z[2]=a[1]x+b[2]z^{[2]} = a^{[1]}x+b^{[2]}z[2]=a[1]x+b[2]a[2]=σ(z[2])a^{[2]}

原创 python实现矩阵运算

1.给定整数类型的mate1(m行d列)和mate2(d行n列)，返回矩阵相乘后的结果m×n矩阵。矩阵均用二维列表表示。def matrx_mutiple(mate1,mate2): m=len(mate1) n=len(mate2[0]) res=[[0]*n for i in range(m)] for i in range(m): for ...

原创 几个编程练习题

def number_count(d,l,r): if d<0 or d>9: return None if l>=r: return None splist=[] for i in range(l,r+1):#将每个数字都拆分为单个字符串 splist+=list(str(i))#例如10...

原创 Python123中的选择题

1.如果只想要对字符串的前几位进行格式化，可以用小数点。 print('{:*^10.4}'.format('Flower'))2.注意运算顺序，先算10/9，再乘5print("{:.2f}".format(20-2**3+10/3**2*5))#12+（10/9）*53.转义符的作用。直接出现单引号 ’ 表示字符串定义符，如果想让它只代表一个单引号就需要在前面加一个\chr ...