机器学习
关注
分享
扫一扫
Jie Ou
学习
展开
-
【NLP入门-中文文本分类】步骤详解，附keras代码
一、NLP 文本分类步骤第一步：准备数据集，X：句子；Y：类别第二步：分词，并去除停词（中文理由停词，比如而且，逗号之类；英文的话需要做词的时态转换之类）第三步：word2idx/word2vec；这里word2vec，可以利用语料库，训练一个单词转为向量的model，这个模型你输入单词，会给你一个向量，并且能计算单词的相似度，相当于提前给词语做了归一化；word2idx就直接用词汇表的id作为向量的元素；第四步：建模训练二、代码1、数据准备➕预处理我们采用，头条新闻数据集原创 2022-02-28 22:58:29 · 3360 阅读 · 0 评论 -
Pytorch 在训练NLP相关模型中的一些BUG
1、RuntimeError: Expected `len(lengths)` to be equal to batch_size, but got 9 (batch_size=18)这个问题，有很多人讨论。主要是涉及到使用nn.DataParallel 利用多GPU训练RNN模型会碰到这个问题，主要是因为输入RNN的之前数据为 b,c,h;但是输入的时候会利用permute(1, 0)变成c,b,h;这个时候DataParallel会把数据变成c//2,b,h;此时问题就出现了，tor.原创 2020-06-03 15:41:05 · 2477 阅读 · 2 评论 -
【文章阅读】The Devil is in the Decoder【计算机视觉中的上采样方式-6种】
一、这是google的一篇探索的文章，探讨decoder结构的一篇文章二、主要贡献点 1、 探讨了不同的几种decoder的优劣，提出自己的上采样方案 2、 提出针对上采样的residual connection 3、 横向多任务对比各种不同方案三、不同结构decoder的对比TransposedConvolution：这个也是我们常说的“反卷...原创 2019-11-18 14:22:47 · 664 阅读 · 0 评论 -
pytorch loss 出现nan，原因之一，计算图中存在torch.sqrt或者 **0.5，以及如何解决
今天写一个loss函数dist=torch.sqrt(x*x+y*y)loss=soomthL1loss(dist,gt_dist)我随便写的几句示意代码，这样会导致在第一个iteration之后出现nan，第一次iteration之内，还是可以看到loss不为nan的。解决办法： 1、不开方，因为开方的求导会出现在分母上，因此需要避免分母为0！ 2、tor...原创 2019-11-11 15:08:14 · 8555 阅读 · 3 评论 -
【姿态估计文章阅读】PifPaf: Composite Fields for Human Pose Estimation
一、CVPR2019，内容上还是比较厉害的，代码：https://github.com/vita-epfl/openpifpaf二、主要思想 1、提出了Part Intensity Field (PIF)来提升heatmap在高分辨率下的精度 2、利用Part Association Field (PAF)来连接joints 3、本文方法主要...原创 2019-11-05 17:14:30 · 4202 阅读 · 0 评论 -
【姿态估计文章阅读】Single-Stage Multi-Person Pose Machines【依图科技】
一、今年ICCV2019刚出炉的文章，颜水成教授团队的，非官方代码：https://github.com/murdockhou/Single-Stage-Multi-person-Pose-Machines二、这篇文章核心思想 1、点评了下目前多人姿态估计中的现状：大多数人都在多two-stage，很多模型都是但人姿态估计结合上人体检测，这也是这两年的主要内容，效果虽然好，但是缺...原创 2019-11-04 15:07:13 · 3428 阅读 · 3 评论 -
【姿态估计文章阅读】Joint Training of a Convolutional Network and a Graphical Model for Human Pose Estimation
一、这是毫无疑问的大佬们的文章，2014年出就发布了第一版本，代码：https://github.com/max-andr/joint-cnn-mrf二、文章的核心思想 1、利用CNN做姿态估计，采用heatmap的方式来回归出关键点 2、利用人体关键点之间的结构关系，结合马尔科夫随机场的思想来优化预测结果，主要针对于网络预测的false postive。三...原创 2019-11-03 19:53:39 · 4552 阅读 · 3 评论 -
【姿态估计文章阅读】Human Pose Estimation with Iterative Error Feedback【这篇文章看的虽然有点迷糊，但是最后有一点很重要，自适应scale】
一、这是伯克利的大哥哥们在2016年发的一篇文章，也算是CNN的姿态估计，上升比较快的那几年。二、其实核心思想很像GBDT，一步步的去拟合残差。但是，不一样肯定是不一样的！放一张好看的图，GBDT的。 主要贡献： 1、提出一种自我修正的模型 2、传统模型映射是建立在“从in...原创 2019-11-01 18:08:40 · 1208 阅读 · 1 评论 -
【姿态估计文章阅读】Efficient Object Localization Using Convolutional Networks【大佬文，每一个实验都值得一看】
一、这是大佬们的一篇文章，算是比较早的利用CNN预测heatmap来做姿态估计的文章，上传时间2015年。二、这篇文章的核心思想： 1、pooling层能为网络增强一些“局部不变性”、“旋转不变性”之类的能力，也能降低参数等种种优点的同时对于回归heatmap的任务却会带来location的精度损失。因此提出了一种新的结构，用于弥补pooling的负效应，“position r...原创 2019-11-01 16:06:22 · 2312 阅读 · 3 评论 -
【姿态估计文章阅读】Structured Feature Learning for Pose Estimation
一、年份2016、港中文的文章二、代码https://github.com/chuxiaoselena/StructuredFeature用的是caffe，可视化出来的结构比较复杂不好展示，就不放图片了三、核心思想： 利用双向结构的树，优化网络对于结果的预测。也就是预测手肘的时候可以用上手腕和肩膀的信息。文章把这个用信息体现在feature map的使用上，并且采用“...原创 2019-10-31 16:33:16 · 479 阅读 · 0 评论 -
【简单的Pytorch回归模型案例】CNN去除随机噪声--修复2d高斯分布【pytorch demo】
一、这是个Pytorch学习案例，可以根据这个案例写自己的模型二、代码1、导入相关模块import torch from torch import nnimport torchvisionimport numpy as npimport cv2%matplotlib inlineimport matplotlib.pyplot as plt from torch....原创 2019-10-30 15:52:09 · 2225 阅读 · 0 评论 -
【李航-统计机器学习】【原理及代码】【第二章】 感知机模型 python C++
一、原理： 感知机的“非对偶”还是比较容易理解的，输出的Y只有 +1 和 -1 两个选择。 公式：，其中w是权重，b是偏置 其中sign算是个激活函数： 线性方程： 这个对应空间中的一个超平面 ...原创 2019-04-03 17:04:18 · 368 阅读 · 0 评论 -
【李航-统计学习方法】【原理与代码】第四章 朴素贝叶斯 Naive Bayes python C++
一、原理： 朴素贝叶斯必须要有的先决假设：特征条件独立，意思就是 X这个特征向量中的x1，x2，x3.。。。等，相互之间都是条件独立的。 先验概率： 条件概率： 根据条件独立这个假设，可以得到如下条件概率的计算方式： ...原创 2019-04-09 00:36:50 · 511 阅读 · 0 评论 -
【李航-统计学习方法】【原理与代码】第五章 决策树 decision tree python
一、决策树最基本思想： 决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类的过程。这一过程对应着对特征空间的划分，也对应着决策树的构建。开始，构建根结点，将所有训练数据都放在根结点。选择一个最优特征，按照这一特征将训练数据集分割成子集，使得各个子集有一个在当前条件下最好的分类。如果这些子集已经能够被基本正确分类，那么...原创 2019-04-11 23:33:27 · 599 阅读 · 0 评论 -
【CNN感受野计算】python 示例含盖 vgg alexnet rtpose等
一、感受野 layer 1 ： kernel size：3*3 stride：1 layer2 ：kernel size：3*3 stride：1 第一层的感受野就是卷积核大小 3*3 ，第二层感受野是5*5 这个也比较好理解，对于第一层计算之后的feature map而言，每一个pixel都对应了layer1的input的3*3大小的区域；...原创 2019-06-18 16:26:30 · 747 阅读 · 0 评论 -
【论文阅读-目标检测】Feature Selective Anchor-Free Module for Single-Shot Object Detection
这篇文章从视觉效果上来说，很大程度的提升了“小目标的”检测效果。一、主要内容这篇文章主要是针对FPN这种结构去做优化的，主要的优化点在于“如何去选择哪一层来回归目标”。以往的方法基本上都是基于“Heuristic feature selection” 以及 “overlap-based anchor sampling”“Heuristic feature s...原创 2019-04-11 15:23:24 · 2634 阅读 · 1 评论 -
Caffe 手写 python layer ，利用python layer进行debug调试
一、caffe 这个框架就不介绍了，学习deeplearning的人可以不知道tensorflow ，pytorch，但是不能不知道caffe！二、caffe 框架内置了很多的layer，利用 prototxt进行调用及网络结构设计！ 每一层，都需要通过设定如下的参数进行调整！看起来会比现在的很多利用python的框架麻烦，现在的很多框架想要实现一层卷积，基本上就是一行代码：...原创 2019-04-29 15:10:03 · 453 阅读 · 1 评论 -
【论文阅读】Deep Residual Learning for Image Recognition 【ResNet】
一、论文来自于凯明大哥的团队，这也是近几年来大多数计算机视觉任务，网络baseline的基础二、核心思想 1、如何个去构建更深层的网络，因为之前的一些工作证明了，网络层次的加深有助于提高模型的性能。但是随着层级的加深，让网络的训练变得更加困难。主要表现在“梯度消失”、“退化问题”。 *针对梯度消失问题：主要会阻碍网络的收敛，这个问题的解决办...原创 2019-06-21 15:39:53 · 512 阅读 · 3 评论 -
【论文阅读】Does Learning Specific Features for Related Parts Help Human Pose Estimation?
一、CVPR2019二、主要思想 目前几乎所有的pose 网络,针对“单人姿态估计网络”，几乎都是共享全部feature 的。这个的意思从代码上来理解就是，在最后一层 1*1的那个卷积层 一次性输出所有需要预测的 joint，他们的输入都是相同的。 这篇文章的作者，这里这样做是不合理的，并不是所有的关键点都是需要共享 high-level representa...原创 2019-06-17 16:33:52 · 1882 阅读 · 8 评论 -
【论文阅读】【AlexNet】【dropout】ImageNet Classification with Deep Convolutional Neural Networks
一、这是AlexNet,虽然是很多年前的网络了，但是在今天依然有着举足轻重的地位！特别是其中的思想，非常关键！二、主要思想 1、采用了非饱和神经元（通过Relu-非饱和非线性函数） 2、多GPU拆分计算 3、在全连接层采用了Dropout来降低overfitting 4、利用了LRN（local response nor...原创 2019-06-25 20:25:22 · 927 阅读 · 0 评论 -
【论问阅读】VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION
一、 这篇文章，论文写的读起来很舒服，实验做的非常细，以前一直没看，看了之后发现，现在用的很多方法，都是人家玩剩下的。二、主要内容 探索更深的网络、探索小卷积核3x3、探索比对训练与测试三、VGG主要架构 基本上我们只知道VGG有两个模型，16层和19层...原创 2019-06-18 14:56:18 · 406 阅读 · 0 评论 -
基于深度学习的图像检索 image retrieval based on deep learning （code ，代码）
本次代码分享主要是用的caffe框架，至于caffe框架的安装过程不再说明。代码修改自“cross weights”的一篇2016年的文章，但是名字忘记了，谁记得，提醒我下。一、环境要求 1、python 2、gcc 3、opencv 4、一些图像数集合，比如holiday、oxford、paris不过这些都是标准数据集，你也可以用到自己的系...转载 2018-06-28 09:23:44 · 6964 阅读 · 11 评论 -
【李航-统计机器学习】【原理与代码】【第三章】K近邻法 python C++
一、原理 什么是K近邻？就是KNN，当N=1的时候就是最近邻了。 k近邻算法简单、直观：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例多数属于某个类，就把该输入实例分为这个类。 上面这个公式，就是找出投票最多的那一类！！！ ...原创 2019-04-07 21:40:59 · 480 阅读 · 0 评论 -
CrowdPose: Efficient Crowded Scenes Pose Estimation and A New Benchmark 论文阅读
一、这是Alphapose的最新工作 特点，针对的是 “ crowd”场景下的多人姿态估计。 相对于以往的一些多人姿态估计工作而言，基本上都是不合适应用在“Crowd”场景之下的，比如Mask-RCNN训练的时候，会直接去除数据中的“Crowd”数据（MSCOCO）有这个标签，MPII没有这个标签。 ...原创 2019-03-06 15:57:50 · 1935 阅读 · 0 评论 -
pytorch master + anacoda3 + cudnn7+cudnn5+ 虚拟环境
首先说一下cudnn 不同版本是可以并存的， cudnn5系列要求在/usr/local/cuda/lib64 路径下要存在 链接到libcudnn.so.5.1.10 的libcudnn.so cudnn7系列只需要在/usr/local/cuda/lib64 路径下存在 libcudnn.so.7 就可以了，所以不会产生冲突这样就可以完成 多版本cudnn 并存...原创 2018-08-03 16:15:36 · 473 阅读 · 0 评论 -
hourglass pytorch 实现
主要分为几块1、数据集读取2、hg-model3、training翻译 2018-07-13 14:30:50 · 6646 阅读 · 17 评论 -
环境安装、cuda安装、caffe安装、教学
深度学习服务器配置、cuda安装等服务。个人使用环境配置，50元起，在线指导深度学习实战，针对入门的朋友，50元一次，具体再说。原创 2018-07-12 21:13:57 · 337 阅读 · 0 评论 -
Articulated pose estimation with flexible mixtures-of-parts 论文阅读摘要
一、简介 这篇论文是2011年的时候发表的，可以推测这个工作起码在2009年底左右就开始了，也就说是属于比较早期的人体姿态估计的工作。这个文章有代码github上的，代码。文章主要采用的是传统方法做的，没有使用到深度学习，也不需要使用GPU，可以说速度上已经很快了，而且精度上也是不低的。二、文章主要方法介绍 文章所描述的“flexible mixtures-of-parts”这个模型主...原创 2018-07-04 19:42:30 · 1638 阅读 · 2 评论 -
Jointly Optimize Data Augmentation and Network Training: Adversarial Data Augmentation in Human Pose
Jointly Optimize Data Augmentation and Network Training:Adversarial Data Augmentation in Human Pose Estimation论文解读一、简介 这是一篇2018年的CVPR，这篇文章主要创新点在于把传统的数据增广利用 对抗学习的思想结合增强学习 来应用到了姿态估计上。、二、文章内容 文章主要有...原创 2018-07-09 12:54:58 · 1251 阅读 · 0 评论 -
Beyond Tree Structure Models: A New Occlusion Aware Graphical Model for Human Pose Estimation论文小摘
一、介绍 这篇文章是2015年的ICCV的文章，当时还是非常流行使用“树结构”以及“图模型”来解决“姿态估计”问题的。这篇文章的核心内容是要去解决，姿态估计过程中面临的一个挑战“遮挡”问题。文章中将遮挡分为了两类进行讨论，第一类是自遮挡，第二类是其他目标遮挡。文章提出了一个“遮挡感知图模型（occlusion aware graphical model）”二、主要内容 ...原创 2018-07-02 14:40:54 · 386 阅读 · 1 评论 -
DensePose:Dense Human Pose Estimation In The Wild 论文阅读笔记
一、本文主要是Facebook AI 和INRIA 联合出品，基于RCNN架构，以及Mask RCNN的多任务结构，开源http://densepose.org二、主要工作分为两点1：标注了一个新的数据集，基于coco数据集，增加了uv标注，该数据集开源。2：设计了一个框架可以用于输出uv坐标。三：数据集介绍：标注上了UV坐标之后，可以将一个3D人物的表面经过变换投影到2D图像上，并且会根据2D图...原创 2018-06-26 23:23:03 · 6596 阅读 · 0 评论 -
接深度学习，opencv人脸识别，目标检测等项目
本人接收机器学习，深度学习，opencv的人脸识别，人脸检测，笑脸识别，目标检测，分类等项目！原创 2017-02-26 13:40:21 · 1427 阅读 · 2 评论 -
（翻译，解读）TWO-STAGEPOOLING OF DEEP CONVOLUTIONAL FEATURES FOR IMAGE RETRIEVAL
TWO-STAGEPOOLING OF DEEP CONVOLUTIONAL FEATURES FOR IMAGERETRIEVALTianchengZhi, Ling-Yu Duan, Yitong Wang, Tiejun Huang（这是一篇翻译文章，我自己读了这篇文章，顺便写了点自己的理解，和大家交流下里面的内容）摘要：CNN（卷积神经网络）基于图片表征翻译 2016-12-12 21:04:16 · 589 阅读 · 0 评论 -
pytorch 小例子 demo 使用demo
我使用anaconda3，建议大家也用这个，好用！！！假设你安装完了anaconda3.一、创建一个测试Demo的实验环境conda create -n PyTorch-demo python=3.6The following NEW packages will be INSTALLED: ca-certificates: 2018.03.07-0 certi...原创 2018-08-03 21:40:31 · 9727 阅读 · 0 评论 -
【文章阅读】【代码复现】BiSeNet: Bilateral Segmentation Network for Real-time Semantic Segmentation 【code】
文章归类：图像分割，网络结构创新，实时主体思想：1、希望利用网络结构的改造，来弥补“感受野”受限的不足，因此BiSeNet的网络结构拥有两条主线“Spatial Path (SP)” 和 “Context Path (CP)” 2、设计了特征整合的新模块“Feature Fusion Module (FFM)” 以及 用于attenti...原创 2018-12-07 10:06:09 · 3206 阅读 · 2 评论 -
【深度学习总结】【深度学习-2018-年度总结】【计算机视觉】【预训练模型库】【神经网络技巧】【高性能计算】【人工智能】
时间：2018/12/20深度学习热潮：4年深度学习框架： 图片来源：http://m.elecfans.com/article/798648.html Pytorch可以说是用户数量提升最快的一个框架，上图来自于某位大佬的博客，时间节点2018年9月。现在pytorc...原创 2018-12-21 11:18:09 · 379 阅读 · 0 评论 -
【目标检测】【数据增广】Data Augmentation For Object Detection
这是一个大佬在github 开源的项目，专门针对“目标检测”的“数据增广”！代码地址：https://github.com/Paperspace/DataAugmentationForObjectDetection博客地址：https://blog.paperspace.com/data-augmentation-for-bounding-boxes/如果我这样侵权了，请联系我删除！！...翻译 2019-01-23 16:17:44 · 7240 阅读 · 10 评论 -
【图像分割综述】 Image Segmentation Review 【代码总汇】code
前言：在目前的应用中，图像分割可以分为以下几大类 1、自动驾驶领域-车道线分割，车道分割，instance分割等 2、普通图像 - 基于类别的图像分割/基于instance的图像分割 3、医学图像 - 2/3D 图像分割，通常是非instance的 图像分割、姿态估计、目标检测 在 卷积神经网络...原创 2019-01-17 11:21:52 · 2453 阅读 · 0 评论 -
【医疗图像分割】Deep neural networks for the detection and segmentation of the retinal fluid in OCT images.
题目：Deep neural networks for the detection and segmentation of the retinal fluid in OCT images. 背景介绍：这依然是一篇MICAI 2017的文章，来自于MICAI2017的workshop挑战赛，Retouch Challenge 2017.关于比赛内容以及比赛结果等信息可以点积这个...原创 2019-01-21 10:36:56 · 1014 阅读 · 0 评论 -
【CSV to VOC 格式】智能盘点—钢筋数量AI识别 数钢筋，数据集转换 成我们常用格式“xml” code 代码
一、首先建立文件夹VOC_GJ在这个下面建立三个JPEGImages、Annotations、ImageSetsImageSets下面建立Main二、生成train.txt test.txtimport ostrain_file=open('path/ImageSets/Main/train.txt','w')test_file=open('path/ImageSets/...原创 2019-01-11 15:48:53 · 4110 阅读 · 28 评论