深度学习
关注
分享
扫一扫
文章平均质量分 52
AI算法札记
这个作者很懒，什么都没留下…
展开
-
不平衡问题: 深度神经网络训练之殇
很早之前就对动态权重比较感兴趣，最开始接触动态权重，是17年师兄师姐的一篇论文[1]。动态权重，或者称为自适应权重，可以广泛应用于多场景、多模态、多国家、多任务、多标签等各种任务的不平衡学习中。出于完整性，本文先对不平衡问题进行总结。...原创 2022-06-04 20:20:49 · 1433 阅读 · 0 评论 -
推荐系统相关顶会整理
推荐系统相关顶会整理算法工程师是否应该持续读论文？\x0d\x0a\x0d\x0a尤其是对于业务属性偏重的搜索/推荐/广告算法岗位，很多人的工作主要涉及业务理解以及数据清洗，对于模型的优化以及新模型的应用较少，这种情况下是否需要在工作之余阅读最新的论文呢？答案自然是需要。https://mp.weixin.qq.com/s/LE2_MaRrU_kuhQh1_DB5uQ推荐系统相关顶会整理 - 知乎推荐系统相关顶会整理1. 引言知乎有个比较火的问题是， 算法工程师是否应该持续读论文？尤其是对于业务属性偏重的搜原创 2022-05-27 21:29:52 · 1811 阅读 · 0 评论 -
卷积神经网络中的四种基本组件
【导读】当今，卷积神经网络在图像识别等领域取得巨大的成功，那么是什么使其高效而快速呢？本文整理John Olafenwa的一篇博文，主要介绍了卷积神经网络采用的四种基本组件：Pooling、Dropouts、Batch Normalization、Data Augmentation ，分别解释了这些组件在现代CNN中所起的作用。另外，作者使用keras实现这几种组件，构建一个完整的CNN系统，更有...转载 2018-04-09 18:38:00 · 2773 阅读 · 0 评论 -
论文笔记（一）Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach
1.论文出自PAMI2017，下载地址：https://arxiv.org/abs/1706.009062.该文主要是阐述如何能训练有效人脸属性分类模型。Abstractwe present a Deep Multi-Task Learning (DMTL) approach to jointly estimate multiple heterogeneous attributes f...原创 2018-04-10 14:20:20 · 1221 阅读 · 2 评论 -
卷积神经网络是怎样工作的
为了帮助你理解卷积神经网络，我们将采用一个非常简化的例子：确定一幅图像是包含"X"还是"O"？这个例子足够说明CNN背后的原理，同时它足够简单，能够避免陷入不必要的细节。在CNN中有这样一个问题，就是每次给你一张图，你需要判断它是否含有"X"或者"O"。并且假设必须两者选其一，不是"X"就是"O"。1.Features2. Convolution3. Pooling4.原创 2018-04-12 12:08:55 · 433 阅读 · 0 评论 -
吴恩达深度学习课程总结（lessen1-3）
这几天每天花了点时间看完了吴恩达的深度学习课程视频。目前还只有前三个课程，后面的卷积神经网络和序列模型尚未开课。课程的视频基本上都是十分钟出头的长度，非常适合碎片时间学习。一直以为机器学习的重点在于设计精巧、神秘的算法来模拟人类解决问题。学了这门课程才明白如何根据实际问题优化、调整模型更为重要。事实上，机器学习所使用的核心算法几十年来都没变过。什么是机器学习呢？以二类分类监督学习为例，假设...转载 2018-04-15 20:28:06 · 291 阅读 · 0 评论 -
deeplearning.ai 人工智能行业大师访谈（全文版）
吴恩达的深度学习课有部分大师访谈，看视频感觉比较费时间，不看又有点强迫症。下面给出文字版，可能看文字会节省时间。 吴恩达采访 Geoffery HintonGeoffery Hinton主要观点：要阅读文献，但不要读太多，绝对不要停止编程。Geoffrey Hinton：谢谢你的邀请吴恩达：我想你是至今为止整个地球上发明最多深度学习核心理念的人，很多人都称呼你为“深度学习教...转载 2018-04-30 15:28:45 · 2277 阅读 · 0 评论 -
deeplearning.ai 人工智能行业大师访谈（精简版）
吴恩达的深度学习课有部分大师访谈，看视频感觉比较费时间，不看又有点强迫症。前面给出了全文翻译，如果仍嫌过长，可以看精简版。 Geoffrey Hinton1. 怀揣着对大脑如何存储记忆的好奇，Hinton本科最开始学习生物学和物理学，然后放弃，转而学习哲学；然后觉得哲学也不靠谱，转而学习心理学；然后觉得心理学在解释大脑运作方面也不给力，转而做了一段时间木匠（木匠？！木匠是什么鬼。。...转载 2018-04-30 15:30:32 · 366 阅读 · 0 评论 -
论文笔记（二）：A Novel Multi-Task Tensor Correlation Neural Network for Facial Attribute Prediction
1.Research BackgroundThe most widely used MTL convolutionalneural network is empirically designed by sharing all of the convolutionallayers and splitting at the fully connected layers for task-spec...原创 2018-04-30 16:18:23 · 722 阅读 · 0 评论 -
kaggle比赛: Dogs_vs_Cats之PyTorch实现
最近用pytorch写了一下kaggle入门的比赛：Dogs_vs_Cats代码在个人github:https://github.com/JackwithWilshere/Kaggle-Dogs_vs_Cats_PyTorch1.数据data数据处理部分用的pytorch的Dataset,DogCat.py代码如下：import osimport randomfrom...原创 2018-06-02 11:39:39 · 5203 阅读 · 17 评论 -
论文笔记（三）：Multi-Label Balancing with Selective Learning for Attribute Prediction
AAAI2018的一篇文章，基于Multi-task的人脸属性识别，解决不平衡样本问题。论文下载：https://github.com/JackwithWilshere/Facial_Attributes_Papers/blob/master/07_AAAI2018_SelectiveLearning.pdf1.Motivation (1)只有一个大规模数据集，即Celeb...原创 2018-06-06 21:34:09 · 1114 阅读 · 2 评论 -
pytorch训练过程中loss出现NaN的原因及可采取的方法
在pytorch训练过程中出现loss=nan的情况1.学习率太高。2.loss函数3.对于回归问题，可能出现了除0 的计算，加一个很小的余项可能可以解决4.数据本身，是否存在Nan，可以用numpy.any(numpy.isnan(x))检查一下input和target5.target本身应该是能够被loss函数计算的，比如sigmoid激活函数的target应该大于0，.........转载 2018-06-22 21:32:30 · 62114 阅读 · 0 评论