九二_-优快云博客

原创【论文笔记】Why Attentions May Not Be Interpretable?

Why Attentions May Not Be Interpretable?arxiv地址工作背景关于attention 机制的可解释性有很强的争议，所以本文作者试图找到影响attention可解释性的根本原因。作者提出根本影响因素之一是 : combinatorial shortcuts(attention除了要高亮重要的part, e.g. tokens, pixels，还会携带一些额外的信息，这些信息可以被下游模型用来做预测)工作思路：问题1：在现有的模型中，Attention的作用真

2022-02-10 15:04:45 731

原创论文笔记-Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility

Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utilit论文链接arxiv链接首先声明，我没有做过fairness相关的调研，尤其是涉及到医学领域的数据集（本文中使用的），因此可能会在理解上出现一些错误，欢迎在评论区指正探讨~工作任务近年来，人们发现由于数据统计的偏差，模型本身的设计甚至是人为引入偏见等因素的存在，使得算法也呈现出不公平的结果，最常见的unfairne

2022-02-10 14:35:47 823

原创 Foundations of Machine Learning 2nd——第五章SVMs（一）

Fundations of Machine Learning 2nd——第五章（一）本章内容线性分类可分情况定义5.1 Geometric margin(几何边距)优化目标支持向量 Support Vector本章内容这一章主要介绍最常用，也是理论性最强的机器学习模型之一——SVMs(Supper Vector Machines)首先会在可分数据集（separable datasets）来介绍SVMs。之后会在不可分的数据集（non-separable datasets）上来介绍SVMs。最后会根

2021-03-16 10:49:52 877 2

原创 Foundations of Machine Learning 2nd——第四章Model Selection（二）

Fundations of Machine Learning 2nd——第四章Model Selection（二）交叉验证交叉验证的步骤交叉验证有效性的保证（guarantee）定理 4.3定理4.4 CV(Cross-validation) VS SRM交叉验证上节内容请看这里~交叉验证是另一种用来确定映射集的方法（更具体的可以理解成确定模型超参的方法），在本节我们会介绍交叉验证的具体内容，他的有效性，以及交叉验证和SRM（上一节提到的）两种方法的对比。交叉验证的步骤和上一节的一样，(Hk)k≥

2021-03-09 15:49:15 544

原创 Foundations of Machine Learning 2nd——第四章Model Selection（一）

Fundations of Machine Learning 2nd——第四章Model Selection（一）前言本节主题Estimation and Approximation Errors定义最小化经验风险 Empirical risk minimization(ERM)命题4.1:最小化结构经验 Structural risk minimization(SRM)命题4.2 SRM learning guarantee下面是一些关于SRM学习的trick总结前言从本篇博文开始我不再添加推导细节，

2021-03-07 15:44:51 472

原创 Personalized Web Search总结

Personalized Web Search总结定义历史背景基础知识用户剪影——User Profiling基于内容分析的个性化搜索——Personalized基于超链接分析的个性化网络搜索——Personalized Web Search Based on Hyperlink Analysis基于社区的个性化网络搜索——Community-based Personalized Web Search服务器端和客户端的实现——Server-Side and Client-Size Implement个性化搜

2020-11-01 10:43:24 1408 1

原创 Foundations of Machine Learning 2nd——第三章（二）growth fuction和 VC-Dimension

Fundations of Machine Learning 2nd——第三章（二）growth fuction和 VC-Dimension前言Growth function引理1 Massart's Lemma推论1前言我们上篇文章讲了对于映射集HHH无限的情况，可以使用拉德马赫复杂度来表示其generalization error边界，然而拉德马赫复杂度的计算十分困难，因此本节引入VC维的概念来使得这个边界可以在现实中被计算出来，在介绍VC维之前我们先介绍growth function这个先验知识。

2020-10-09 17:14:05 1021

原创 Foundations of Machine Learning 2nd——第三章（一）拉德马赫复杂度

Fundations of Machine Learning 2nd——第三章（一）拉德马赫复杂度和VC维度回顾第二章拉德马赫复杂度定义1 经验拉德马赫复杂度（Empirical Rademacher complexity）定义2 拉德马赫复杂度定理1引理1定理2 拉德马赫复杂度边界——二分类总结回顾第二章我们在设计算法的时候肯定要考虑他的可行性以及需要多少训练样本才能返回一个比较准确的从输入到输出的映射。第二章就介绍了一个这样的框架——PAC框架，它能够帮助我们确定模型的可行性和训练样本的大小，以及g

2020-10-04 21:26:07 2351 2

原创 Foundations of Machine Learning 2nd——第二章 PAC学习框架后记

Fundations of Machine Learning 2nd——第二章 PAC学习框架后记前言Generalities 一般性可确定性 VS 随机场景定义1 Agnostic PAC-learningBayes error and noise 贝叶斯误差和噪声定义2 Bayes error定义3 Noise前言这一小篇文章承接“Fundations of Machine learning 2nd”系列笔记的第二篇，本来想把PAC分两次写，后来发现第一次写的太多了，因此这篇文章的内容不是特别多~看

2020-09-29 16:46:57 741

原创 Foundations of Machine Learning 2nd——第二章 PAC学习框架

Fundations of Machine Learning 2nd——第二章 PAC学习框架前言前言PAC：Probably Approximately Correct当设计和分析算法时会遇到以下几个问题：最本质的难点在哪儿？想要成功训练一个模型需要多少样本？对于当前问题是否有一个通用的模型能够被学习到？为了解决这些问题，本章介绍PAC这一学习框架，它能够帮助确定算法的样本复杂度（需要多少样本才能训练出当前问题的近似解）、时间复杂度和空间复杂度。...

2020-09-29 11:34:51 1128

原创 Foundations of Machine Learning 2nd——第一章机器学习预备知识

Fundations of Machine Learning 2nd——第一章机器学习预备知识前言1.11.21.3 一些常见的学习任务学习阶段1.5 学习场景前言1.11.21.3 一些常见的学习任务分类：给每一个元素赋予类别（标签）的问题。例如给文档赋予：政治、商业、运动等标签，给图片赋予车辆、行人、飞机等标签。类别数量一般少于几百，不过在一些困难问题里也可以很多，甚至在光学字符识别、文本分类、语音识别里可以有无数个类别。拟合：对于每一个元素预测他的真实值的问题。例如预测股市等。在拟合问

2020-09-25 16:56:09 1015 1

原创 Conv-knrm模型介绍

Conv-knrm模型介绍前言N-gram组成和交叉匹配使用n-gram的转换矩阵来排序域迁移论文链接前言该模型是同作者对KNRM的改进，KNRM直接计算了query和document的单词嵌入向量之间的余弦作为其单词level的相似性，进而使用kernel-pooling计算query和document的相似性，Conv-knrm则考虑了n-gram级别的单词表达，通过卷积的形式计算单词的n-gram representation，同时将所有的query和document表达矩阵交叉匹配，计算多个相

2020-09-11 10:15:10 1544

原创 Employing Personal Word Embeddings for Personalized Search

Employing Personal Word Embeddings for Personalized Search总结Idea模型整体结构模型详细内容符号Pre-training论文链接Idea自然语言中有许多二次单词，例如“Apple"，不同知识背景和兴趣爱好的人对于这些单词会有不同的理解，所以对于不同的用户，这种歧义单词应该有不同的语义表达！和之前常见的基于用户profile的个性化搜索所不同的是，这里直接在w2c的过程中就根据用户兴趣做了个性化，整个模型都是围绕这个思想展开。模型整体结构

2020-09-10 20:34:12 414

原创 Personalizing Search Results Using Hierarchical RNN with Query-aware Attention总结

Personalizing Search Results Using Hierarchical RNN with Query-aware Attention总结论文动机训练过程简述模型介绍论文链接论文动机在这篇论文之前关于个性化搜索的研究里，很少有研究考虑了历史queries和session的顺序信息。queries提出的顺序对于推断用户意图来说十分重要的，显然近期的session可以比陈旧的session提供更多的信息。所以本文为了利用这种序列信息，使用了层级RNN（HRNN）来挖掘这一信息，并自动

2020-08-27 10:39:35 359

原创 PSGAN: A Minimax Game for Personalized Search with Limited and Noisy Click Data总结

PSGAN: A Minimax Game for Personalized Search with Limited and Noisy Click Data总结首先提出问题：深度学习由于良好的自动从数据中提取特征的能力而广泛应用在个性化搜索中。然而历史记录里一些噪音信息，比如和当前query相关性不高的数据对于当前query来说是无用的，因此有了一个挑战：在具有相关数据和无关数据的条件下，如何找到合适的（个性化）分类边界，也就是如何判别某个document和当前的query以及用户是否相关。然后放出

2020-08-22 17:13:19 295

qq_43631376的博客