da_kao_la的博客

论文：Variational Graph Auto-Encoders阅读笔记作者：Thomas N. Kipf, Max Welling, 和GCN的作者是一样的会议：Bayesian Deep Learning Workshop (NIPS 2016), NIPS的一个workshop，不是长文论文链接：Variational Graph Auto-Encoders代码链接：tkipf...

发现在多分类问题（这里『多分类』是相对于『二分类』而言的，指的是类别数超过2的分类问题）中，用sklearn的metrics.accuracy_score(y_true, y_pred)和float(metrics.f1_score(y_true, y_pred, average="micro"))计算出来的数值永远是一样的，在stackoverflow中搜索这个问题Is F1 micro the...

推荐系统算法综述：从LR到FM再到DNN最近在看推荐系统，主要学习了LR，FM，FFM和DNN四种常用的推荐算法。本文打算对推荐系统的问题背景和这些常见算法写一个简单的综述，由于不是专门研究推荐系统的，只是书写一下个人理解，恐怕会有颇多谬误，望各位大佬批评指正。问题背景首先，计算广告/推荐系统本质上解决的是同样一个问题，即给定一个展示平台和一个广告/一个用户和一个待推荐的物品，该广告/该物品...

CNN经典模型回顾1. AlexNetAlexNet可以算是第一个“深度”神经网络，主要创新在于网络深度的加深和防止过拟合的dropout以及防止梯度消失/爆炸的激活函数: ReLU.2. VGG相比于AlexNet，VGG更深了。同时，VGG采用了许多小卷积核，并引入了1×1卷积核，专门用来做特征降维。VGG3. Inception系列Inception-v1的主要改...

论文Learning to Solve Large-Scale Security-Constrained Unit Commitment Problems阅读笔记问题描述Security-Constrained Unit Commitment (SCUC，电力系统安全约束机组组合)问题优化目标：最小化机组组合的成本约束条件分为系统约束和机组约束，本文主要考虑的是系统约束功率平衡（等式...

torch.Tensor的4种乘法torch.Tensor有4种常见的乘法：*, torch.mul, torch.mm, torch.matmul. 本文抛砖引玉，简单叙述一下这3种乘法的区别，具体使用还是要参照官方文档。*a与b做*乘法，原则是如果a与b的size不同，则以某种方式将a或b进行复制，使得复制后的a和b的size相同，然后再将a和b做element-wise的乘法。下面以...

National Taiwan University 3D shape dataset (NTU)citation：Chen, D. , Tian, X. , Shen, Y. and Ouhyoung, M. (2003), On Visual Similarity Based 3D Model Retrieval. Computer Graphics Forum, 22: 223-232....

最好的教程当然是PyTorch的官方文档：PYTORCH DOCUMENTATION（在左边的搜索框内搜索想要的类和方法，就有详细的说明。边学边查，学得最快）PyTorch中文网的PyTorch教程目录：本站 PyTorch 教程目录一篇介绍PyTorch基本操作的博文：PyTorch 深度学习:60分钟快速入门Bilibili上的一个中文视频教程：PyTorch tutorial 神...

信息检索Learning to Rank for Information Retrieval(LETOR) 是Microsoft的一个信息检索相关度排序的数据集，有Supervised rankingSemi-supervised rankingRank aggregationListwise ranking四种setting，提供了数据集下载和evaluation脚本。...

语义分割从原理上来说，语义分割就是像素级别的分类，传统的方法也是直接按照这个思路来做的，效率比较低，而从FCN开始，语义分割有了相对比较专用的方法。0. 重要的数据集：PASCAL VOC和COCO1. FCN用于图像（N×M）分类的网络前端用卷积层提取特征，后端用全连接层进行分类。假设总共有K个类别，则全连接层最后会输出一个1×K的向量。FCN（Fully Convolution...

理论k-means方法是一种常用的聚类方法，其目标是最小化其中是第i个簇的中心。直接优化上式有难度，故k-means算法采用一种近似方法。简单来说，k-means算法由两个步骤循环组成：1. 计算每个sample到各个簇中心的距离，将该sample的类标赋为距离最近的簇的类标；2. 按照sample的类标重新计算各个簇中心k-means算法有两个输入参数需要用户指定，一...

周志华《机器学习》一书中大量例题习题用到了“西瓜数据集3.0”和“西瓜数据集3.0a”，两个数据集的区别是“西瓜数据集3.0”有离散属性而“西瓜数据集3.0a”都是连续属性。生成这两个数据集的代码如下，运行代码即可生成python数据文件watermelon_3.0.npz和watermelon_3.0a.npz：write_dataset_watermelon3.py# -*- cod...

概述AdaBoost（Adaptive Boosting）是一种集成学习技术，可将弱学习器提升为强学习器。大致思路是：根据初始训练集训练出一个基学习器，再根据基学习器的表现调整训练样本的分布，使得该基学习器分错的样本权重提高，再根据新的分布训练下一个学习器；如此反复直到学习器的数量达到预先指定值T.算法推导针对上面的算法流程中的“6”和“7”进行推导指数损失函数AdaB...

理论        单隐层神经网络由于隐层的非线性激活函数（Sigmoid/tanh/ReLu），理论上可以近似任意非线性函数。单隐层神经网络输入层维度为d（等于输入向量的维度），隐层维度为q（人为指定，q的指定有一定经验性和技巧性），输出层维度为k（k为类别个数，输出k维向量用于近似k类的one-hot编码，特例是k==2时输出层维度为1）。神经网络的参数是各层神经元之间的连接权值和非输入层...

理论        “对数几率模型”就是常说的Logistic回归，是一个经典的线性模型。考虑二分类任务，其输出标记，而线性回归模型产生的预测值是连续分布的实数，需要一个阶跃函数将连续值映射为离散二值。用一个对数几率函数近似阶跃函数，得到。从而y和1-y可以分别视为类后验概率和，简记为和。     训练时，用极大似然法估计模型参数和. 对给定的数据集，对数几率模型最大化对数似然函数. 令,...

理论 记为类标，为输入，由贝叶斯公式，. 朴素贝叶斯分类器假设每个属性相互独立，. 对于所有类别来说，相同，因此朴素贝叶斯分类器对的类标判别. 令表示训练集中第类样本组成的集合，表示类别数，则类先验概率（拉普拉斯平滑）对于离散属性，令表示类标为、属性取值为的样本组成的集合，为第个属性的可能取值数，则类先验概率（拉普拉斯平滑）对于连续属性，假设服从正态分布，即，用概率密度表示...