ben1010101010的博客

非常著名的Transformer一句话总结：替代传统的序列转化模型，只用attention（不使用rnn/cnn），可以并行化训练；Attention机制在输入和输出序列中都不会受距离的影响抛弃循环recurrence模型，只用attention,抽取输入和输出序列之间的全局依赖关系（全局语义信息）传统的优化方法：1. 计算量（指数增长） 2. 远距离依赖仍然无法捕捉Transfo...

参考链接需要的包import torchimport torch.nn as nnimport torch.nn.functional as F模拟的输入x变量：4分类问题batch_size, n_classes = 10, 4x = torch.randn(batch_size, n_classes)x.shapex维度torch.Size([10, 4]...

极大似然估计参数估计的四个步骤（1） 写出似然函数；（2） 对似然函数取对数，并整理；（3） 求导数 ；（4） 解似然方程 。极大似然估计的概念极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。极大似然估计是建立在这样的...

Lecture 6: Support Vector Regression有regularization的regression: ridge regressionlinear vs kernel: trade-off between efficiency and flexibilitytube regression: epsilon-insensitive errortube reg...

Lecture 5: Kernel Logistic Regressionsoft-margin在实物上面使用比较多，很少有人会去用hard-marginLIBLINEAR/LIBSVM-opensource softwareLIBLINEAR专门用来解linear svmLIBSVM专门用来解dual, kernel svmSoft-Margin SVM就是L2 regula...

Lecture 4: Soft-Margin Support Vector Machineseparable (=> shatter)=>have power to overfit to noiseLagrange dual:乘上因子时移项到小于等于0的那一边有free support vector可以像hard margin一样求出b，沒有free support vec...

Lecture3: Kernel Support Vector Machinekernel function: transform + inner product是一种偷吃步kernel trick: plug in efficient kernel function to avoid dependence on d(tilde)different inner product=>...

Lecture 2: Dual Support Vector Machine在正规化regularization中，拉格朗日乘数作为一个给定的参数。在对偶SVM中，拉格朗日乘数未知。Lagrange dual problem: 算式中min和max做了一个交换。QP在满足如下三个条件时就可以推出强对偶（等于关系），弱对偶是大于等于关系。i)convex primal原问题是凸的...

机器学习技法本学期在台湾大学交换，选上了林轩田老师的机器学习课程。这是这门课的笔记。老师的讲课方式是，先放自己的课程录影，就是YouTube上面的Machine Learning Techniques:https://www.youtube.com/watch?v=A-GxGCCAIrg&list=PLXVfgk9fNX2IQOYPmqjqWsNUFl2kpk1U2然后再...