chilitian的博客

https://www.bilibili.com/video/av29978785?p=1李宏毅老师的视频讲的很好，很清楚啊

由上式可以看到，对于Attention机制的整个计算过程，可以总结为以下三个过程： 根据 Query 与 Key 计算两者之间的相似性或相关性， 即 socre 的计算。 通过一个 softmax 来对值进行归一化处理获得注意力权重值， 即 [公式] 的计算。 通过注意力权重值对value进行加权求和， 即 [公式] 的计算 ...

1.1Cover和Hart在1968年提出的最邻近算法 1.2分类（classification）算法 1.3输入基于实例的学习（instance-based learning），懒惰学习（lazy learning） 3.算法详述 3.1步骤 为了判断未知实例的类别，以所有一直类别的实例作为参照（将每个训练样本转为立体的坐标） 选择参数k（个数） 计算未知实例于所有已知实例的距离 选择k个已知实...

一、数据集Iris data ----虹膜 150个实例 萼片长度，萼片宽度，花瓣长度，花瓣宽度 （sepal length,sepal width,patel length,patel width） 类别 Iris setosa,iris versicolor, iris virginica 二、sklearn from sklearn import neighbors from sklearn...

import csv import random import math import operator #导入数据集,split将数据分为两部分，训练集和测试集 def loadDataset(filename,split,trainingSet=[],testSet=[]): with open(filename,'rt') as csvfile: lines=csv.reader(...

1、背景 1.1最早有VNV和Alexey Ya C在1963年提出 1.2目前的版本是由Cor和VNV在1993年提出，并在1995年发表 1.3深度学习在2012年出现之前，SVM被认为机器学习近十几年来最成功，表现最好的算法 2、机器学习的一般框架： 训练集—>提取特征向量—>结合一定的算法（分类器：比如决策树和KNN）—>得到结果 3、SVM介绍 3.2SVM寻找区分两类...

1、背景 1.1以人脑中的神经网络为启发，历史上出现过很多不同的版本 1.2最著名的算法是backpropagation 2、多层向前神经网络（Multilayer Feed-Forward Neural Network） 2.1Backpropagation被使用在多层向前神经网络上 2.2多层向前神经网络由以下部分组成： 输入层（input layer），隐藏层（hidden layers），...