
机器学习
_Hsiung
这个作者很懒,什么都没留下…
展开
-
生成网络的一些方式
import torchimport torch.nn.functional as Ffrom torch.autograd import Variableimport matplotlib.pyplot as pltclass Net(torch.nn.Module): def __init__(self, n_feature, n_hidden, n_output): super(Net, self).__init__() # 继承 __init__ 功能原创 2021-07-01 17:56:38 · 493 阅读 · 0 评论 -
off文件格式【搬运】
这是一个正方体的八个顶点+它的中心。第一行:定义了点的大小第二行:OFF,固定格式第三行:定义了这个图形的顶点数目、面数目,边数目(可以当成它把点当面画了,边数可以忽略,对模型不会有影响(可以为0。4-12行:定义点的坐标13-end:定义点的具体位置,颜色...原创 2021-06-28 09:46:44 · 246 阅读 · 0 评论 -
Mark——将点云数据进行莫顿编码
def round_to_int_32(data): """ Takes a Numpy array of float values between -1 and 1, and rounds them to significant 32-bit integer values, to be used in the morton code computation :param data: multidimensional numpy array :ret原创 2021-06-24 15:25:37 · 727 阅读 · 0 评论 -
STN 图像配准一些记录
这里写目录标题CNN的弊端CNN的弊端CNN不能识别放大缩小或者旋转过后的的同一物体,但是有一定的平移不变性,因为maxpoing的存在通过NN学习这六个参数,然后就可以实现平移,这是计算机图形学的知识,关于二维图像平移变换的。。。不太懂...原创 2021-06-24 09:59:29 · 586 阅读 · 0 评论 -
seq2seq中的变形金刚
这里写目录标题序言总体结构EncoderEncoder的简单示例transformer中的EncoderDecoder全局总览Masked Multi-Head Attention序言seq2seq2 Model从14年提出,到19年google提出的transformer成为主流印象。总体结构Encoder总体来说:输入一个vector,输出一个vectorEncoder的简单示例每一个Block是多个layer连接,如这里面的一个Block经过一个自注意力和FC层transforme原创 2021-06-14 20:50:09 · 199 阅读 · 0 评论 -
Temp ing
牡蛎大傻傻的原创 2021-06-10 18:10:55 · 213 阅读 · 2 评论 -
无监督学习——聚类算法
这里写目录标题K-Means算法K-Means算法K-Means算法是一个迭代算法,主要两个步骤簇分配:遍历每个点,根据距离分配到两个聚类中心。移动聚类中心:找出所有同类的点,算法其位置均值,这就是新的聚类中心。再次进入循环,直到聚类中心不改变。...原创 2021-06-07 16:49:23 · 372 阅读 · 0 评论 -
self-attention——自注意力机制
这里写目录标题向量的形式机制流程多头注意力机制向量的形式声音向量图中的每个结点机制流程先计算某个向量和其他向量之间的关联性。WqW^qWq、WvW^vWv是两个矩阵,a1a1a1和a2a2a2乘以这两个矩阵后得到两个向量qqq,k,k,k,再点乘得到attention的分数ααα得到后attention的分数ααα后再对每个aia^iai乘以一个矩阵得到对应的viv^ivi,再求和得b=Σb=\Sigmab=Σavavav我们要训练的参数就是WKW^KWK,WQW^QWQ,WVW^原创 2021-06-02 19:36:32 · 934 阅读 · 0 评论 -
从RNN到LSTM
一个词汇表示成一个Vector输入一个向量,第n个词的输入和第n-1个词的输出相加,然后生成第n个词的概率多层的两种Network两边同时进行RNN,除了可以获取从头到尾的信息,还能获取从尾到头的信息。LSTM**一个局部LSTM:**每个f(x)函数都是用的sigmoid函数,就是生成0~1的值来表示这个阀门的打开程度大小。流程:输入向量,输入门(Input Gate)以一定概率控制输入输入,遗忘门(Forget Gata)一一定概率记住这个值,然后输出门(Output Gate原创 2021-06-01 20:06:43 · 225 阅读 · 0 评论 -
EdgeConv--用于学习点云的动态图CNN
文章目录1.INTRODUCTION1.INTRODUCTION开篇就diss了PointNet提出后,很多大牛都提出了一些在局部区域上的修改,但是仍然没有提取到点与点之间的信息。另一类方法,则是可以直接将不规则的点云作为输入的深度网络,即PointNet系的网络。PointNet,通过独立地处理每个点,能实现置换不变性(permutation invariance)。随后使用一个对称函数(symmetric function)来聚合特征。之后,一些基于PointNet的改进网络会考虑点的局部特原创 2021-05-30 22:08:59 · 3566 阅读 · 5 评论 -
【logistic/sigmoid模型】分类
首先diss了线性回归不适合做分类,引出了logistic/sigmoid模型,该模型的输出变量范围始终在0和1之间决策边界划分两个类别的临界函数,就是logistic函数里面的自变量z,0为临界值,大于0就有大于0.5的概率认为是1,反之亦然。决策边界参数如何得来,利用梯度下降法调整参数,确定边界。代价函数因为sigmoid函数较为复杂,如果用原始梯度下降法的代价函数代入会得到一个非凸函数,不太好找最小值。yi变成了y 也就是1和0两个值。修正:利用其0~1的性质,想到对数函数的单调性。原创 2021-05-30 17:58:02 · 517 阅读 · 0 评论 -
梯度下降的一些理解误区
初始化:梯度下降使用于凸函数,因为梯度下降只能找到一个局部最优(最优)点,如果有多个局部最优,那么初始化的时候就要随机赋值参数,等于从多个起点开始向下爬山,选择最小的loss值的那个点。步长(学习率):可以固定一个值,也有各种复杂的方法,可以参考最优化理论这类书籍和课程,通俗的改进方法就是随着时间,步伐越来越短。停止条件:1.达到一个迭代次数2.在一个值附近波动,不再发生明显变化,可以画图来观察...原创 2021-05-30 16:30:27 · 191 阅读 · 0 评论