Machine learning
关注
分享
扫一扫
Enjoy_endless
IIE.UCAS在读，方向CV、AI、Algorithm...；
热爱、积极、努力；
底层、原理、核心
（踏实一些、不要着急，你想要的、岁月都会给你）
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
对抗样本(论文解读十三):机器学习模型可解释性方法、应用与安全研究综述
机器学习模型可解释性方法、应用与安全研究综述纪守领１ 李进锋１ 杜天宇１ 李 博２１（浙江大学计算机科学与技术学院网络空间安全研究中心 杭州 ３１００２７）２（伊利诺伊大学香槟分校计算机科学学院 美国伊利诸伊州厄巴纳香槟 ６１８２２）这是一篇中文核心期刊文章，收稿于2019-06-11，发表于计算机研究与发展。这一篇文章总结的主要是模型的可解释性相关知识，但是同样涉及到了对抗样本相关的研究，所以对于对抗样本的相关攻防，同样具有比较大的参考价值。文章介绍：在本文中，我们首先详细地阐述可解释性原创 2020-05-11 15:34:25 · 4663 阅读 · 1 评论 -
对抗样本(论文解读十)：Evading Real-Time Person Detectors by Adversarial T-shirt
Evading Real-Time Person Detectors by Adversarial T-shirtKaidi Xu1 Gaoyuan Zhang2 Sijia Liu2 Quanfu Fan2 Mengshu Sun1 Hongge Chen3 Pin-Yu Chen2 Yanzhi Wang1 Xue Lin11Northeastern University, USA 2MI...原创 2020-01-11 16:30:09 · 2343 阅读 · 1 评论 -
对抗样本(论文解读九):Making an Invisibility Cloak Real World Adversarial Attacks on Object
Making an Invisibility Cloak Real World Adversarial Attacks on ObjectZuxuan Wu Facebook AI University of MarylandSer-Nam Lim Facebook AILarry Davis University of MarylandTom Goldstein Facebook AI ...原创 2020-01-11 16:12:49 · 2072 阅读 · 0 评论 -
对抗样本(论文解读八):Towards More Robust Adversarial Attack Against Real World Object Detectors
准备写一个论文学习专栏，先以对抗样本相关为主，后期可能会涉及到目标检测相关领域。内容不是纯翻译，包括自己的一些注解和总结，论文的结构、组织及相关描述，以及一些英语句子和相关工作的摘抄(可以用于相关领域论文的写作及扩展)。平时只是阅读论文，有很多知识意识不到，当你真正去着手写的时候，发现写完之后可能只有自己明白做了个啥。包括从组织、结构、描述上等等很多方面都具有很多问题。另一个是对于专业术语、...原创 2020-01-06 19:10:59 · 2936 阅读 · 2 评论 -
PyTorch的自动求导(AoutoGrad)
自动求导基本上是各种深度学习框架的基本功能和最重要的功能之一，PyTorch也不例外。我们今天来体验一下PyTorch的自动求导吧。一、设置Tensor的自动求导属性所有的tensor都有.requires_grad属性，都可以设置成自动求导。具体方法就是在定义tensor的时候，让这个属性为True：x = tensor.ones(2,4,requires_grad=True)In [1...转载 2020-01-05 17:35:27 · 546 阅读 · 0 评论 -
对抗样本(论文解读七):On Physical Adversarial Patches for Object Detection
准备写一个论文学习专栏，先以对抗样本相关为主，后期可能会涉及到目标检测相关领域。内容不是纯翻译，包括自己的一些注解和总结，论文的结构、组织及相关描述，以及一些英语句子和相关工作的摘抄(可以用于相关领域论文的写作及扩展)。平时只是阅读论文，有很多知识意识不到，当你真正去着手写的时候，发现写完之后可能只有自己明白做了个啥。包括从组织、结构、描述上等等很多方面都具有很多问题。另一个是对于专业术语、...原创 2020-01-04 09:36:46 · 2632 阅读 · 2 评论 -
令人拍案称奇的Mask RCNN
令人拍案称奇的Mask RCNN最近在做一个目标检测项目，用到了Mask RCNN。我仅仅用了50张训练照片，训练了1000步之后进行测试，发现效果好得令人称奇。就这个任务，很久之前用yolo v1训练则很难收敛。不过把它们拿来比当然不公平，但我更想说的是，mask RCNN效果真的很好。所以这篇文章来详细地总结一下Mask RCNN。Mask RCNN沿用了Faster RCNN的思想，...转载 2019-12-26 19:37:14 · 991 阅读 · 0 评论 -
CTC基本原理
CTC识别效果示意图简介谈及语音识别，如果这里有一个剪辑音频的数据集和对应的转录，而我们不知道怎么把转录中的字符和音频中的音素对齐，这会大大增加了训练语音识别器的难度。如果不对数据进行调整处理，那就意味着不能用一些简单方法进行训练。对此，我们可以选择的第一个方法是制定一项规则，如“一个字符对应十个音素输入”，但人们的语速千差万别，这种做法很容易出现纰漏。为了保证模型的可靠性，第二种方法，...转载 2019-04-14 10:08:21 · 6611 阅读 · 1 评论 -
彻底搞懂Bert
自google在2018年10月底公布BERT在11项nlp任务中的卓越表现后，BERT（Bidirectional Encoder Representation from Transformers)就成为NLP领域大火、整个ML界略有耳闻的模型，网上相关介绍也很多，但很多技术内容太少，或是写的不全面半懂不懂，重复内容占绝大多数（这里弱弱吐槽百度的搜索结果多样化。。）一句话概括，BERT的出现，...转载 2019-04-12 10:26:52 · 1224 阅读 · 0 评论 -
深入理解one-stage目标检测算法（下篇）
前言本文翻译自One-shot object detection，原作者保留版权，略有删减。数据有很多常用的目标检测训练数据集，如Pascal VOC, COCO, KITTI。这里我们关注Pascal VOC，因为它是最常用的，并且YOLO使用了它。VOC数据集包含图像和不同任务的标注，这里我们仅关注目标检测的标注，共有20个类别：aeroplane bicycle bird ...转载 2019-03-21 23:11:29 · 1653 阅读 · 0 评论 -
深入理解one-stage目标检测算法Yolo/SSD（上篇）
前言本文翻译自One-shot object detection，原作者保留版权，略有删减。作为计算机视觉领域的一项重要任务，目标检测是要找到一张图片里的感兴趣物体：这比图像分类任务更高级，因为分类只需要告诉图像中主要物体是什么，然而**目标检测要找到多个物体，不仅要分类，而且要定位出它们在图像中的位置。目标检测模型不仅要预测出各个物体的边界框（bounding boxes），还要给出每个...转载 2019-03-21 22:09:52 · 5146 阅读 · 1 评论 -
深度学习与自然语言处理(相关常见问题及解决方案)
最近挺忙的，看了很多关于对抗样本生成及防御的相关文章、并做了一些实践研究与探索。但是在这里先不讨论这个，后期忙完、整理好了再分享。今天去听了一上午的nlp课程，虽然主要接触的是图像相关的知识处理，但是感觉两者之间还是有非常大的联系的，很多知识都是相互借鉴的。所以多了解一些还是非常有帮助的，在之前做的nlp相关的任务当中，遇到了很多问题、很是不解，正好今天讲到了，所以很是深刻拿来与大家...原创 2019-06-23 21:09:08 · 1099 阅读 · 0 评论 -
attention机制及self-attention(transformer)
最近接触的项目当中用到了transformer，学习相关知识之后其中一个重要的贡献就是引入了self-attention机制，了解了相关处理过程之后然而并没引起太多比较。因为之前就已经有了attention机制，并得到了广泛的应用且取得了非常好的效果(读过一篇相关的机器翻译的文章)。在被别人问道两者之间的区别的时候竟然却哑口无言、甚是惭愧。今天再次把两者拿出来，拜读知乎大神之作、详尽膜拜之余...转载 2019-03-20 11:14:02 · 13668 阅读 · 5 评论 -
Transformer再出发
Google 2017年的论文 Attention is all you need 阐释了什么叫做大道至简！该论文提出了Transformer模型，完全基于Attention mechanism，抛弃了传统的RNN和CNN。我们根据论文的结构图，一步一步使用 PyTorch 实现这个Transformer模型。Transformer架构首先看一下transformer的结构图：解释一下这...转载 2019-04-18 19:45:09 · 1381 阅读 · 5 评论 -
NLP(词向量、word2vec和word embedding）
最近在做一些文本处理相关的任务，虽然对于相关知识有所了解，而且根据相关开源代码也可以完成相应任务； 但是具有有些细节，尤其是细节之间的相互关系，感觉有些模糊而似懂非懂，所以找到相关知识整理介绍，分享如下学习。本篇博客整理相关知识可谓详尽，详尽不免篇幅较长，静下心来慢慢体味。整体结构流程如下：〇、序一、DeepNLP的核心关键：语言表示（Representation）二、NLP词的...转载 2019-05-13 18:21:15 · 1816 阅读 · 0 评论 -
对抗样本(相关知识整理)
最近在学习接触一些对抗样本的相关知识、论文，整理分享如下。(未完待续)1.什么是对抗样本：在原有真实样本的基础上稍加处理，使原有分类器对其真实类别无法判别；（比如带了一个面具之后你不认识我了，或者说是批了一个羊皮，你就识别不出来我是一个人了。）2.对抗样本有什么用：对于人脸识别，我带上一个特制眼镜就识别不出来我是谁了；对于安保摄像识别人的系统，我穿了一个特制衬衫，摄像头就识别不出...原创 2019-05-30 16:36:59 · 6454 阅读 · 6 评论 -
命名实体识别(基于hmm/crf/bilstm/bilstm+crf的理论理解及代码实践)
最近刚刚做了一个相关任务的学习、比较、调研及代码实践，特此分享。本篇文章主要包括以下几个部分：任务目标、国内外相关工作、核心思想和算法描述、实验结果及分析、总结等。1 任务目标命名实体识别(Named Entities Recognition, NER)是自然语言处理(Natural Language Processing, NLP)的一个基础任务，其目的是识别语料中人名、地名、组织机构名...原创 2019-07-11 13:17:42 · 4876 阅读 · 23 评论 -
以计算机视觉为例，告诉你如何将AI引入你的工作
导语：对不少企业来说，如何开始一个 AI 业务是一个难题，需不需要 AI 来进行业务的辅助？是否需要组建一个自己的算法团队？我们整理了**格灵深瞳创始团队：苑维然先生的主题演讲《如何开始一个 AI 业务：以计算机视觉为例》**希望能够给有同样困扰的读者一些启发与帮助。下面介绍如何开始一个 AI 业务，这是一次比较科普的演讲，希望通过计算机视觉的一些案例，能带给在座的各位 EGO 会员及各行业的老...转载 2019-07-18 08:59:34 · 489 阅读 · 0 评论 -
preprocess_input()源码解析
preprocess_input(),这是tensorflow下keras自带的类似于一个归一化的函数；其对传入的图像做了一些意想不到的事情，虽然能够加快图像的处理速度等优点，但是用起来还是不大方便，来回转化不够通用，虽然也有其自带的转化函数，但是总感觉有些问题；现将此函数源码分析如下：源码路径可以通过如下方式找到：1.#在windows下的cmd或者linux下，输入：python...原创 2019-09-24 18:54:48 · 15331 阅读 · 2 评论 -
机器学习算法系列(六)
本篇博客学习分享了关于聚类的相关思想、原理及方法，以及不同方法所涉及的核心算法及其优化处理等相关知识（包括原型聚类：K-mean算法；密度聚类：DBSCAN算法）5、聚类Clustering (聚类)，简单地说就是把相似的东西分到一组，聚类的时候，我们并不关心某一类是什么，我们需要实现的目标只是把相似的东西聚到一起。因此，一个聚类算法通常只需要知道如何计算相似度就可以开始工作了，因此 cl...原创 2018-06-13 19:16:15 · 585 阅读 · 0 评论 -
Transformer原理到实践详解
本篇博客并没有什么独特见解之处，只是单纯的再一次加强巩固学习。因为接触到的不少项目用到了，还是要拿过来好好研究学习一下的。原文链接：https://blog.youkuaiyun.com/qq_41664845/article/details/84969266代码详见：http://nlp.seas.harvard.edu/2018/04/03/attention.html-Transformer：一...转载 2019-03-08 16:44:45 · 11254 阅读 · 0 评论 -
Deep Convolutional Neural Networks for Image Classification: A Comprehensive Review(论文解读)
这是一篇关于图像处理(分类方向)的卷积神经网络发展的一个综述，聚焦于CNN在图像分类方向的应用，文章分析了：（1）他们早期的成功，（2）他们在深度学习复兴中的角色，（3）选择了象征性的工作成果，以及（4）通过回顾300多种出版物的贡献和挑战所带来的改进。 我们还介绍了他们目前的一些趋势和仍存在的挑战。本综述面向那些想要了解CNN技术和体系结构发展的人，从他们的前辈到现代最先进的深度学习系统，特别...原创 2019-02-26 17:53:13 · 3840 阅读 · 0 评论 -
E2E-MLT - an Unconstrained End-to-End Method for Multi-Language Scene Text(论文解读)
端到端–多语言场景文字检测识别(E2E-MLT)MichalBušta¹，YashPatel²，JiriMatas¹¹捷克技术大学，捷克布拉格²机器人研究所，卡内基梅隆大学摘要：提出了一种用于多语言场景文本定位和识别的端到端可训练（完全可微）方法。 该方法基于单个完全卷积网络（FCN），具有用于所有任务的共享层。E2E-MLT是首次发布的用于场景文本的多语言OCR。虽然在多语言设置方面受...原创 2019-02-27 15:47:11 · 2075 阅读 · 2 评论 -
最小二乘法(牛顿法和随机梯度下降法)
首先最小二乘法是用来干什么的，他的目的是最小化误差平方之和，从而找到最优训练模型，这个模型可以用来更好的拟合训练的样本数据。最小二乘法具体包括的执行算法有：随机梯度下降和牛顿法；随机梯度下降很简单，具体介绍在上一篇博客(与批梯度下降对比)及之前博客已有介绍；在这里重点学习一下牛顿法。**一、随机梯度下降：再放一张随机梯度下降法的求解过程，以用来最后于牛顿法做一些对比： 二、牛...原创 2018-07-06 16:26:58 · 4783 阅读 · 1 评论 -
机器学习算法系列(八)
最近工程上的事情比较多，所以对于相关知识理论算法的学习有所滞后。其实机器学习相关资料非常众多，有了之前部分相关知识的原理算法的学习了解之后，也算是有些入门了。但是自学一遍是远远不够的，最近又找出了吴恩达老师的课件/视频回味一下(为什么是“又”呢，因为确实是看了一点一点之后多次放弃了。说实话感觉看这个视频还是需要一些相关基础知识的，否则容易看着看着就睡着了)，其中涉及到的原理知识还是非...原创 2018-07-03 18:42:16 · 449 阅读 · 0 评论 -
机器学习算法系列(四)
本片博客主要学习分享支持向量机的原理、算法及简单的python代码实现3、支持向量机先来通俗了解一下其是干什么用的、怎么来的：作用就是分类，如下图分类红蓝球，找到最好的线性方程如下中间的斜着的黑线wx+b=0，当有更多的样本进入时使用黑线作为分类线的鲁棒性更好(也就是对于两侧新进入的样本其在不越界的前提下活动范围更广)；如下图三条线的值为1，0，-1，带入球的值使其等式等于1/-1...原创 2018-06-08 17:13:10 · 410 阅读 · 0 评论 -
机器学习算法系列(七)
本篇博客主要分享学习了神经网络的相关知识、原理、实例与扩展，包括基本的神经元模型、梯度下降法、BP算法、多层前馈神经网络及相关各个环节的优化处理等；六、神经网络最基本的成分为神经元模型，如下M-P神经元模型：每个神经元收到n个其他神经元传递过来的输入信号，这些信号通过带权重的连接传递给细胞体，这些权重又称为连接权（connection weight）。细胞体分为两部分，前一部分计算总输入值...原创 2018-06-15 17:39:04 · 587 阅读 · 0 评论 -
机器学习算法系列(三)
本篇主要内容：1、python实现基于iris数据集的决策树算法2、线性回归基本思想及python模拟实现上一篇文章主要分享了决策树的相关原理及算法思想，这一篇开头我们先用python实现一下，本案例基于sklearn自带的数据集iris，对于数据集iris不在详细介绍可自行百度；在这里对于数据集的训练及测试使用了两种方法：一种是于数据集中随机取值用于训练测试；一种是使用交叉验证的方式(...原创 2018-06-06 15:52:41 · 524 阅读 · 0 评论 -
机器学习算法系列(五)
本篇主要讲解了贝叶斯分类器的原理、事例，及朴素贝叶斯分类器、EM算法(坐标上升法)及基于python的朴素贝叶斯实现。**4、贝叶斯分类器：** 贝叶斯推断，其实就是求条件概率它建立在主观判断的基础上，也就是说，你可以不需要客观证据，先估计一个值，然后根据实际结果不断修正。 条件概率公式： 事例简介：两个盘A1/A2分别装有10个红球R、20个白球W及15个红球R、1...原创 2018-06-12 19:15:27 · 504 阅读 · 0 评论 -
机器学习算法系列(二)
1、决策树学习是一种逼近离散值目标函数的方法，是最流行的归纳推理算法之一；原理： 逐步应答中，使用分层变量或决策节点，擅长评估；分类实例的方法是从这棵树的根结点开始，测试这个结点指定的属性，然后按照给定实例的该属性值对应的树枝向下移动，叶子结点即 为实例所属的分类。适用问题： 1、 实例是由“属性-值”对（pair）表示的。实例是用一系列固定的属性（例如， Temperatur...原创 2018-06-05 20:13:38 · 710 阅读 · 0 评论 -
机器学习算法系列(一)
这一块学习记录已经有一段时间啦，各种博客、知乎、书籍还有视频等各种相关资料也了解的差不多了，其实找来找去除了书籍、视频可能还相对系统一些，而对于相关网站稍微有些支离破碎； 即相当于自我学习的总结提升、也算是相投之人入门的引路了，所以准备好好的整理一下相关系列文章； 算来说去还是回归到了算法，其实除了硬件等硬性条件之外，最核心的依然还是算法； 之前自己接触相关深度学习...原创 2018-06-05 19:30:01 · 1185 阅读 · 0 评论 -
Sigmoid、Cross Entropy与Softmax
本篇博客我们讲一下从线性回归到逻辑回归的激活函数Sigmoid，以及其优化loss函数cross entropy，及多分类函数softmax和其loss；Sigmoid： 在之前介绍的线性回归当中也有涉及到sigmoid，其形式理解起来很简单，其背后的原理其实也没有那么复杂(相当于一个条件概率的变形如下图所示)： 关于条件概率贝叶斯之前文章机器学习系列五已经有过详细介绍；在这里需要注...原创 2018-07-25 16:38:50 · 3424 阅读 · 0 评论 -
深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
之前了解或者说是遇见过一些基本的优化方法，如SGD、Adam等，今天读到一个论文说是运用的Adadelta，且其收敛速度更快，于是搜索一通又是一片天地。算法一次次迭代，没有完美主义者，最根本的还是数据本身的场景特点。SGD此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient desc...转载 2018-09-19 18:13:53 · 1418 阅读 · 0 评论 -
GitHub万星ML算法面试大全
不论是为了面试，还是单纯的用来学习了解，都是值得ML相关方向阅读的。项目中，作者为大家准备了 ML 算法工程师面试指南， 它提供了完整的面试知识点、编程题及题解、各科技公司的面试题锦等内容。目前该 GitHub 项目已经有 1 万+的收藏量。如下所示为整个项目的结构，其中从机器学习到数学主要提供的是笔记与面试知识点，读者可回顾整体的知识架构。后面从算法到笔试面经主要提供的是问题及解答方案，...原创 2019-02-22 15:34:35 · 1422 阅读 · 0 评论 -
吴恩达机器学习理论加实践(三/四、多变量线性回归及matlab实践)
三、关于矩阵的一些基本运算，课程中涉及到的、用到的是比较基础的(矩阵的加、乘、逆、转秩等)，在这里就不再进一步阐述了。**第二周**四、多变量线性回归4.1多维特征其实前面已经提到过了，在这里继续以房价预测为例：多维特征包括面积、房间数、楼层数、房屋年龄等等来决定最终的房价；多维的特征共同组成最终的假设模型h：为了统一表示计算引入x0=1,将上式转化为：这里的xn表示的是...原创 2019-01-23 16:27:33 · 824 阅读 · 0 评论 -
吴恩达机器学习系列理论加实践(二 、单变量线性回归及matlab实践)
二、单变量线性回归2.1模型表示同样以之前的房屋价格预测实例开始：通过学习算法利用训练集训练模型h，对于新输入的数据size of house就可以输出其预测值price；如何表达这个模型h：2.2 cost损失函数表示什么意思呢：首先2.1我们给出了模型预测函数h，其预测输出值即h(这里表示预测的房价)，而y表示真实的房价，他们之间差值的平方即表示此预测函数的代价函数，如上式...原创 2019-01-21 22:28:31 · 536 阅读 · 0 评论 -
吴恩达机器学习系列理论加实践(一、概述)
课程介绍：**在本课中，您将学习最有效的机器学习技术，并获得实践，让它们为自己的工作。更重要的是，你会不仅得到理论基础的学习，而且获得那些需要快速和强大的应用技术解决问题的实用技术。最后，你会学到一些硅谷利用机器学习和人工智能的最佳实践创新。本课程提供了一个广泛的介绍机器学习、数据挖掘、统计模式识别的课程。主题包括：（一）监督学习（参数/非参数算法，支持向量机，核函数，神经网络）。（二）...原创 2019-01-21 17:59:14 · 657 阅读 · 0 评论 -
吴恩达机器学习系列理论加实践(七、正则化及matlab实践)
七、正则化7.1过拟合问题什么是过拟合问题，之前我们学习了线性回归、逻辑回归，他门都能够有效的解决许多问题，但是有些时候可能会遇到过拟合问题导致效果很差。在这里将会讨论过拟合问题，他是怎么引起来的，以及通过学习一种正则化技术来改善或者减少过拟合问题。如果我们有非常多的特征，我们通过学习得到的假设可能能够非常好地适应训练集（代价函数可能几乎为 0），但是可能会不能推广到新的数据，比如在测试集...原创 2019-01-25 16:27:31 · 650 阅读 · 0 评论 -
吴恩达机器学习系列理论加实践(五/六 、逻辑回归及matlab实践)
五、Octave教程这一块课程介绍的是关于Octave软件使用相关的知识，我这里使用的是matlab，所以对于这一块也没有具体跟进，有兴趣的可以自我学习。**第三周**六、逻辑回归6.1分类问题之前课程介绍的是线性回归问题(连续值)，现在开始学习逻辑回归分类问题(离散值)。分类问题的例子有：判断一封电子邮件是否是垃圾邮件；判断一次金融交易是否是欺诈；区别一个肿瘤是恶性的还是良性的。...原创 2019-01-24 15:23:28 · 640 阅读 · 0 评论 -
支持向量机SVM(直观理解原理、推导)
这里主要基于吴恩达机器学习课程对于SVM的讲解进行总结回顾，并参考各类资料对其推导过程进一步理解及实现。所以分为两个部分及最后的一些个人总结。(内容较多、篇幅较长，静下心来、慢慢体会)第一部分也即吴恩达课程是从逻辑回归的cost函数讲到svm的cost优化问题的，其实直接上来看是有一定理解难度的(要求有一定相关基础)，可以先看第二部分推导，再回过头来看第一部分会有一个更加深刻的理解和掌握。1、...原创 2018-10-31 14:22:45 · 1929 阅读 · 0 评论