
教程
iFlyAI
FlyAI 新一代AI竞赛社区
FlyAI是为AI开发者提供数据竞赛并支持GPU离线训练的一站式服务平台。每周免费提供项目开源算法样例,支持算法能力变现以及快速的迭代算法模型。
挑战者,都在FlyAI!
展开
-
大数据分析 | PCA算法 | 数据集特征数量太多怎么办?用这个算法对它降维打击!
我们都知道,图片格式当中有一种叫做svg,这种格式的图片无论我们将它放大多少倍,也不会失真更不会出现边缘模糊的情况。原因也很简单,因为这种图片是矢量图,一般的图片存储的是每一个像素点的颜色值,而在矢量图当中,我们存储的是矢量,也就是起点终点以及颜色。由于矢量图只记录起点终点,所以无论我们如何放大,图片都不会失真,而传统的图片就做不到这一点。其实svg就相当于图片的降维,我们将上百万的像素点简化成了若干个矢量完成了图片的存储,大大减少了数据的规模。机器学习领域中的降维算法其实也是差不多的原理。背景.转载 2020-07-07 14:54:44 · 3147 阅读 · 0 评论 -
人工智能竞赛-深度学习精炼图笔记总结
最近在做笔记查阅内容,觉得这个总结太美观了,真是棒!吴恩达在推特上展示了一份由 TessFerrandez 完成的深度学习专项课程信息图,这套信息图优美地记录了深度学习课程的知识与亮点。因此它不仅仅适合初学者了解深度学习,还适合机器学习从业者和研究者复习基本概念。这不仅仅是一份课程笔记,同时还是一套信息图与备忘录。从深度学习基础、卷积网络和循环网络三个方面介绍该笔记深度学习基础1. 深度学习基本概念监督学习:所有输入数据都有确定的对应输出数据,在各种网络架构中,输入数据和输出数据的.转载 2020-07-06 12:04:52 · 1078 阅读 · 1 评论 -
词向量对齐在多语言任务上应用
作者:欢迎关注知乎机器学习小谈【目录】1. 前言2. 通过监督学习对齐3. 通过无监督学习对齐4. 应用与总结5. 参考1. 前言在公司业务需求背景下,我需要解决来源不同语言语料的NLP问题如多语言(具体是中英日韩)情感分析,翻译(n种语言翻译成英语)。以前的时候总是为每总语言对应训练一个或者多个模型,但是这样难免效率低而且浪费资源。我联想起Alexis等人在18年《Word translation without parallel data》无监督单词翻...转载 2020-07-02 15:39:08 · 1051 阅读 · 0 评论 -
pytorch的安装及张量基本创建
1 Pytorch的安装1.1 Pytorch的介绍Pytorch是一款facebook发布的深度学习框架,由其易用性,友好性,深受广大用户青睐。1.2 Pytorch的安装安装地址介绍:https://pytorch.org/get-started/locally/import torchtorch.__version__2 Pytorch中数据-张量2.1 张量Tensor 张量是一个统称,其中包含很多类型:0阶张量:标量、常数,1阶张量:向量,2阶...原创 2020-05-15 14:03:55 · 259 阅读 · 0 评论 -
使用Docker安装Tensorflow
使用Docker安装Tensorflow 对程序员来说在配置环境上花费大量时间,着实没有太大意义。遇到这篇文章以前您可能一个tensorflow环境配半天,各种错误出现,其他环境也一样。但是Docker为我们提供了解决方案,而且相比虚拟机来说,Docker轻便不少。安装Docker 注:这里以Ubuntu16.04为例安装:1. 卸载可能存在的docker老版本,并且更新apt包索引$ sudo apt-get remove docker docker-engine docker-ce...原创 2020-05-15 14:03:16 · 475 阅读 · 0 评论 -
效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习
Multi-Task Learning Enhanced Single Image De-Raining基于增强的多任务学习的单图像去雨作者单位:大连海事大学 本文使用多任务学习改进图像去雨,使用多任务回归模型中将各种语义约束任务组合在一起的方法,其任务包括内容、边缘感知、局部纹理相似性方面等,另外,为更进一步改进模型性能,作者还提出了两种简单但功能强大的动态加权算法,其中自适应加权方案效果更好。该多任务增强网络(MENET)基于UNET。在真实数据集和合成数据集的实验上证明,...转载 2020-05-15 11:48:37 · 1212 阅读 · 0 评论 -
focal loss 解决样本不平衡必须的trick
Focal Loss for Dense Object DetectionICCV2017RBG和Kaiming大神的新作。论文目标 我们知道object detection的算法主要可以分为两大类:two-stage detector和one-stage detector。前者是指类似Faster RCNN,RFCN这样需要region proposal的检测算法,这类算法可以达到很高的准确率,但是速度较慢。虽然可以通过减少proposal的数量或降低输入图像的分辨率等方式达...转载 2020-05-15 11:32:55 · 624 阅读 · 0 评论 -
使用fast-bert进行医疗文本分类——FlyAI竞赛平台
使用fast-bert进行医疗文本分类一、赛题分析医疗文本的分类能够及时快速的对患者的病症和问题进行判断分类,然后分配相应的科室和专家来进行答疑。这样会极大的减少资源的浪费、更快更及时的病症判断。本次竞赛需要根据患者的病症和问题来预测属于240个类别中的哪一类,如:普通内科、肝病科、健身、急诊科、手足外科等等。通过使用pandas分析了下本地提供的3万条数据,可以发现数据标签分布不均衡(主要的分类为:妇产科,神经科,消化科,呼吸科,内科等。)(看评分标准用的是准确率,所以也就没有对不平衡数据..原创 2020-05-15 11:30:34 · 2504 阅读 · 1 评论 -
YOLO(v3)PyTorch版 训练自己的数据集
Yolo v3比Frcnn好调试多了……就是数据集准备比较麻烦…… 但是好Debug,linux和win10差别不大……代码链接(cpu版本):https://github.com/eriklindernoren/PyTorch-YOLOv3/issues/340这个代码……作者说的太草率了……data怎么准备都没说清……好歹issue里面有大神解答,给了傻瓜版教程,运行他的几个脚本就好了,data文件夹就准备好啦!data文件准备,按照这个数据集准备虽然这个作者是用它来训练coco数据集,原创 2020-05-15 11:28:17 · 1002 阅读 · 0 评论 -
水下鱼类物种识别(得分99.89)——FlyAI竞赛平台
水下鱼类物种识别(得分99.89)1、数据预处理①查看图片数据,观察发现这些鱼类图片分辨率大多数都是很小的,我们可以从小分辨率开始逐步增大图像分辨率,通常可以从128开始②自定义数据集划分,可以将训练集和验证集划分为8:2或者9:1,特别是数据量少时我们需要尽可能将训练集设置大一点③数据增强:训练集数据增强使用AutoML的RandAugment可以防止过拟合,并且通常会比自己手工试数据增强效果好很多;验证集数据增强,训练发现直接使用Resize的方式会比先Resize再CenterCro.原创 2020-05-15 11:27:15 · 2941 阅读 · 0 评论 -
医疗文本分类
医疗文本分类视频请至FlyAI官网查看:www.flyai.com预处理数据集def pred_process(title, text, tokenizer, pad_size): content = title + text content = data_clean(content) tokens = tokenizer.tokenize(content) tokens = ["[CLS]"] + tokens + ["[SEP]"] # 得到inpu原创 2020-05-15 11:25:22 · 2143 阅读 · 0 评论 -
一篇暗图像增强的深度学习论文
Kindling the Darkness: A Practical Low-light Image EnhancerProblems•它提出了低光照增强任务存在的三个难点:•(1)如何有效的从单张图像中估计出光照图成分,并且可以灵活调整光照level?•(2)在提升图像亮度后,如何移除诸如噪声和颜色失真之类的退化?•(3)在没有ground-truth的情况下,样本数目有限的情况下,如何训练模型?Contribution•受Retinex理论的启发,提出的网络将图像分解...转载 2020-05-15 11:23:02 · 2051 阅读 · 0 评论 -
关于低照度图像增强的深度学习论文(AAAI 2020)
关于低照度图像增强的深度学习论文(AAAI 2020)EEMEFN-Low Light Image Enhancement via Edge Enhanced MultiExposure Fusion NetworkProblems•现有的方法往往很难从极度暗/亮的图像中复原细节信息;•由于没有正常曝光的图像信息,现有的模型中存在色彩畸变,暗光会导致颜色失真不可复原;•由于物体的边界比较模糊,pixel-wise loss会对不同的物体进行相同的处理,并导致一个模糊的结果。Description转载 2020-05-15 10:59:54 · 4322 阅读 · 0 评论 -
NLP教程:教你如何自动生成对联
桃符早易朱红纸,杨柳轻摇翡翠群 ——FlyAI Couplets体验对对联Demo: https://www.flyai.com/couplets循环神经网络最重要的特点就是可以将序列作为输入和输出,而对联的上联和下联都是典型的序列文字,那么,能否使用神经网络进行对对联呢?答案是肯定的。本项目使用网络上收集的对联数据集[地址](https://github.com/wb14123/...原创 2019-01-31 21:06:41 · 6484 阅读 · 0 评论 -
教程 | 图像分类: Caltech 256 数据集
Caltech 256是什么?Caltech 256数据集是加利福尼亚理工学院收集整理的数据集,该数据集选自Google Image 数据集,并手工去除了不符合其类别的图片。在该数据集中,图片被分为256类,每个类别的图片超过80张。 为什么要用Densenet121模型?本项目使用在PyTorch框架下搭建的神经网络来完成图片分类的任务。由于网络输出的类别数量很大,简单的网...原创 2019-01-15 20:19:46 · 4981 阅读 · 0 评论 -
NLP实战|如何用280多万条豆瓣影评预测电影评分?
为了预测电影评分,我们收集了豆瓣电影网站上2.8万名用户对5万多部电影的280万条评论... 真实目的,其实是为了让大家能够通过这次的教程,更加了解自然语言处理。 所以,使用电影评论来预测电影评分,到底需要分几步? 项目简介 本项目只使用电影评论来预测电影评分。由于豆瓣电影网站的评分为1-5的整数,因此将该问题转化为5个输出类别的分类问题...原创 2018-12-24 10:32:00 · 2395 阅读 · 0 评论