机器学习
分享
扫一扫
文章平均质量分 89
机器学习实战
优惠券已抵扣
余额抵扣
还需支付
¥19.90
¥99.00
购买须知?
本专栏为图文内容，最终完结不会低于15篇文章。
订阅专栏，享有专栏所有文章阅读权限。
本专栏为虚拟商品，基于网络商品和虚拟商品的性质和特征，专栏一经购买无正当理由不予退款，不支持升级，敬请谅解。
南七小僧
C9博士，前百度、联想技术产品总监。深入理解人工智能技术研发与应用。
展开
-
Apollo无人驾驶平台中多传感器标定
是无人车最基础也是最核心的模块之一。作为软件层提供的第一项服务，标定质量和准确度极大地影响着等模块。在 Apollo 开源自动驾驶平台中，我们提供了丰富的多传感器标定服务，如等多种传感器之间的标定。算法覆盖常规 Level 2-Level 4 级别自动驾驶的传感器配置和标定需求。原创 2023-06-30 02:04:22 · 861 阅读 · 0 评论 -
几款开源的自动驾驶仿真平台项目
它被开发为一个虚幻的插件，可以简单地放到任何你想要的虚幻环境中。第一类是基于合成的数据，对环境、感知及车辆进行模拟，这里的感知大多数是图像层面的感知，这类模拟器主要用于感知、规划算法的初步开发上，Carla、AirSim、Udacity self-driving car simulator就属于这类；第二类是基于真实数据的回放，这里的真实数据包括图像、lidar、radar等各种传感器的数据，这类模拟器主要用于测试无人驾驶中信息融合算法以及车辆不同部件的性能，Apollo和Autoware就属于这类。原创 2023-06-30 01:54:25 · 2143 阅读 · 0 评论 -
Gabor小波变换
Gabor是一个用于边缘提取的线性滤波器，其频率和方向表达与人类视觉系统类似，能够提供良好的方向选择和尺度选择特性，而且对于光照变化不敏感，因此十分适合纹理分析。图1是Gabor滤波器和脊椎动物视觉皮层感受野响应的比较 图1. Gabor与脊椎动物视觉皮层感受野响应的比较图1中第一行是脊椎动物的视觉响应，第二行是Gabor滤波器的响应，可以...原创 2018-09-11 10:43:10 · 8458 阅读 · 0 评论 -
“AIIA”杯-国家电网-电力专业领域词汇挖掘
电力词汇，NER自动挖掘比赛这一堆数据，质量真的惨不认输。有点难受，我找找思路 思路：爬取各大电力相关论文的关键词，将其作为ner，与原文混合做自动化标注，把原文标注的结果，用bilstm+CRF训练...原创 2018-09-18 17:02:23 · 2390 阅读 · 17 评论 -
铝材 劣质品识别 ， 神经网络-图像分类-VGG16-RESNET50-Xception
介绍：铝型材是佛山南海的支柱性产业。在铝型材的实际生产过程中，由于各方面因素的影响，铝型材表面会产生裂纹、起皮、划伤等瑕疵，这些瑕疵会严重影响铝型材的质量。为保证产品质量，需要人工进行肉眼目测。然而，铝型材的表面自身会含有纹路，与瑕疵的区分度不高。传统人工肉眼检查十分费力，不能及时准确的判断出表面瑕疵，质检的效率难以把控。近年来，深度学习在图像识别等领域取得了突飞猛进的成果。铝型材制造商迫切希望...原创 2018-09-18 16:35:58 · 1458 阅读 · 8 评论 -
gamma 校正理解及python实现
python代码为原创1.什么是Gamma校正？ Gamma源于早期的CRT显示器的响应曲线，也就是输出亮度和输入电压的非线性关系，如图所示：图1 亮度和输入电压的非线性关系图 由图可以看出，亮度和输入电压的关系更加近似于指数函数 (output = input ^ gamma )的关系。事实确实如此，CRT显示器厂商都默认将gamma值设为2.5，也就是如上的曲线。这...原创 2018-09-07 10:54:57 · 5112 阅读 · 1 评论 -
K-means 无监督NLP文本聚类
用kmeans对有标注少量文本做了个无监督分类，效果一般般。原因可能是1.停用词不全面2.kmeans等分类器对于 高纬度向量 分类能力交叉，可以考虑降维再分类3.部分词频在多个类型的文本中重复高频出现# -*- coding: utf-8 -*-"""Created on Wed Sep 5 13:23:31 2018@author: Lenovo"""im...原创 2018-09-10 17:20:42 · 2149 阅读 · 1 评论 -
【文本意图分类】是怎么实现的
之前开始做语义理解的时候，笔者采用的是比较粗暴的方法进行匹配。随着语料的积累，语料库的规模变得越来越大，匹配的效率也随着越来越低，对语料进行意图分类的想法也就随着产生。当用户输入之后，系统首先对输入进行意图分类，然后对分类下的语料进行匹配，从而减轻计算量，提高系统的匹配效率。本文只是简单的阐述一下意图分析的典型思路和方法，并实现一个基本的意图分类器，而无意系统的探究意图分类。更详细的探讨后...原创 2018-09-10 15:09:27 · 984 阅读 · 0 评论 -
opencv+python+android 摄像头检测人脸
android下载 IP摄像头 开启设备，记录账号密码，在代码中自行替换即可import cv2url ='http://admin:123456@172.30.183.4:8081'cap = cv2.VideoCapture(url)faces_cas = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')...原创 2018-09-10 14:49:24 · 1380 阅读 · 0 评论 -
【python】超像素分段【SLIC（simple linear iterative clustering）简单的线性迭代聚类】
# -*- coding: utf-8 -*-"""Created on Sun Sep 16 13:49:22 2018@author: Lenovo"""# import the necessary packagesfrom skimage.segmentation import slicfrom skimage.segmentation import mark_bou...原创 2018-09-16 13:55:21 · 2624 阅读 · 0 评论 -
gamma校正定义，图像对比度调整
1 gamma校正背景 在电视和图形监视器中，显像管发生的电子束及其生成的图像亮度并不是随显像管的输入电压线性变化，电子流与输入电压相比是按照指数曲线变化的，输入电压的指数要大于电子束的指数。这说明暗区的信号要比实际情况更暗，而亮区要比实际情况更高。所以，要重现摄像机拍摄的画面，电视和监视器必须进行伽玛补偿。这种伽玛校正也可以由摄像机完成。我们对整个电视系统进行伽玛补偿的目的，是使摄像机根据...原创 2018-09-06 18:26:04 · 2939 阅读 · 0 评论 -
【手把手】自己搭建 金字塔窗口监测+CNN神经网络 人眼预测分类技术【基于SPM的CNN预测网络】
1.开发算法自动化创造数据集【训练】【验证】【测试】，人工过滤一波数据集2.分类状态有三种，睁眼，闭眼，非眼【一开始用了两种，人眼和非人眼，对闭眼不能很好识别】3.搭建cnn网络【采用类似VGG16的网络，但是网络一定要小，这样才能做到实时，方便后期ncnn移动端开发】4.开发金字塔模型5.对窗口用cnn predict6.输入绘图，做可视化调试1.自动化采集数据集算法...原创 2018-09-13 20:19:21 · 891 阅读 · 1 评论 -
Vessel SegNet 眼底图像的血管分割
暂时不便开源，仅记录。本研究在DRIVE眼底图像数据库上进行实验并与文献的结果进行对比，通过分析灵敏度（Sn）、特异性（Sp）、准确率（Acc）和AUC（ROC曲线下的面积）这4个指标，评估本研究提出的UAR-Net网络的血管分割性能。表1 DRIVE数据库上算法性能对比 Methods Year Sn Sp ...原创 2019-04-16 12:11:15 · 1644 阅读 · 2 评论 -
【深度学习】实时人眼 瞳孔追踪 系统
本来发论文只准备做一下 瞳孔分割的，采用U-net的形式，可是U-net在人眼上效果并不太好，于是对U-net进行了彻头彻尾的分析，改进了很多，基本只保留了一个U型结构，之后分割出来瞳孔以后，觉得是不是可以再做一点事情呢？看到很多人用椭圆拟合的方法去拟合瞳孔，但是这种方法有一个弊端就是 遮挡或者快速运动模糊状态下，无法检测到瞳孔，于是我自己开发了个一种形状自适应深度学习算法(AutoShaped ...原创 2019-03-20 14:57:26 · 6184 阅读 · 7 评论 -
用C++搭建三层神经网络
C++写三层神经网络：整体网络框架搭建：bp.h#include <vector>// #define LAYER 3// #define NUM 10const int NUM = 10;const int LAYER = 3;using namespace std;struct Data{ vector<double> x;...原创 2019-01-02 13:36:17 · 987 阅读 · 1 评论 -
【特征工程常用思路】人工智能辅助糖尿病遗传风险预测项目总结【LGB|XGB|神经网络】
预测算法1. LightGBM LightGBM利用基于histogram的算法，通过将连续特征（属性）值分段为discrete bins来加快训练的速度并减少内存的使用。直方图算法的基本思想：先把连续的浮点特征值离散化成k个整数，同时构造一个宽度为k的直方图。遍历数据时，根据离散化后的值作为索引在直方图中累积统计量，当遍历一次数据后，直方图累积了需要的统计量，然后根据直方图的离散值，遍...原创 2018-11-15 10:09:49 · 1275 阅读 · 0 评论 -
基于BiLinear的VGG16+ResNet50，用于细粒度图像分类
细粒度视觉识别之双线性CNN模型[1] Lin T Y, RoyChowdhury A, Maji S. Bilinear cnn models for fine-grained visual recognition[C]//Proceedings of the IEEE International Conference on Computer Vision. 2015: 1449-1457....原创 2018-09-20 19:23:02 · 4421 阅读 · 4 评论 -
用CNN巧妙解决金字塔滑动窗口，用cnn一边滑动一遍输出预测分类
效果如图：这是用cnn对一张305*471的图像做分类得到的结果，相当于做了52*93次滑动窗口+分类，却仅仅耗时0.2672951465708593s。相当于一次窗口分类 ，仅仅耗时 0.00005s。具体网络+预测如下图所示：import numpy as npimport cv2import timefrom keras.layers import Dense,Con...原创 2018-09-15 18:55:53 · 3744 阅读 · 3 评论 -
DenseNet学习
一、主要原理其借鉴了ResNet的思想，用dense connectivity的方式更加缩短了头尾之间层的连接，使得在前向传播过程中，每一层都与其他所有层相连于是一个有L层的DenseNet就有L(L+1)/2个连接，每一层都将之前所有层输出的feature map 连结起来作为自己的输入，然后再把自己的输出输送给之后的所有层这个网络的优点如下：1.减轻了梯度弥散的问题,使...原创 2018-09-25 16:03:38 · 777 阅读 · 0 评论 -
Keras 自定义loss 【center loss 做细粒度分类】
Keras是一个搭积木式的深度学习框架，用它可以很方便且直观地搭建一些常见的深度学习模型。在tensorflow出来之前，Keras就已经几乎是当时最火的深度学习框架，以theano为后端，而如今Keras已经同时支持四种后端：theano、tensorflow、cntk、mxnet（前三种官方支持，mxnet还没整合到官方中），由此可见Keras的魅力。Keras是很方便，然而这种方便不是没...原创 2018-09-19 20:30:45 · 3328 阅读 · 0 评论 -
Apriori算法介绍（布尔关联规则 挖掘）啤酒尿不湿【数据挖掘 机器学习】
导读：随着大数据概念的火热，啤酒与尿布的故事广为人知。我们如何发现买啤酒的人往往也会买尿布这一规律？数据挖掘中的用于挖掘频繁项集和关联规则的Apriori算法可以告诉我们。本文首先对Apriori算法进行简介，而后进一步介绍相关的基本概念，之后详细的介绍Apriori算法的具体策略和步骤，最后给出Python实现代码。并附上小例子。1.Apriori算法简介Apriori算法是经典...原创 2018-09-06 09:53:23 · 3785 阅读 · 0 评论 -
Convolution1D与Convolution2D区别
1.Convolution1D主要用于nlp，Convolution2D主要用于cv。实际上，Convolution1D也可以用于cv，Convolution2D也可以用于nlp，只是那个时候不是标准的卷积方式，而是经过一定变形的卷积。2.可以看到Convolution1D的卷积只有3这一个参数，Convolution2D却有两个参数3（即长度为3，宽度为3的卷积）。表面上Convolutio...原创 2018-09-08 20:05:45 · 2492 阅读 · 0 评论 -
TextCNN 与 FastText 文本分类实战【Embedding|Word2Vec】
具体的理论知识，可以看看前面几篇文章，有详细介绍，这里直接po代码了# -*- coding: utf-8 -*-""" @Author: xkk @Date: 2018-09-07 12:42:37 @Last Modified by: xkk @Last Modified time: 2018-09-07 12:42:37"""import jiebaimpo...原创 2018-09-08 19:30:12 · 4096 阅读 · 0 评论 -
基于LSI的 职位描述JD 匹配
在文本挖掘中，主题模型是比较特殊的一块，它的思想不同于我们常用的机器学习算法，因此这里我们需要专门来总结文本主题模型的算法。本文关注于潜在语义索引算法(LSI)的原理。1. 文本主题模型的问题特点 在数据分析中，我们经常会进行非监督学习的聚类算法，它可以对我们的特征数据进行非监督的聚类。而主题模型也是非监督的算法，目的是得到文本按照主题的概率分布。从这个方面来说，主题模型和普通的聚...原创 2018-08-29 17:20:52 · 524 阅读 · 0 评论 -
宝藏理论
我好像发明了一种理论，叫宝藏理论先记录一下 #from gensim.models import Word2Vec as wv#import pandas as pd##pd.read_csv('F:\\BaiduNetdiskDownload\\new_data\\train_set.csv')#from PIL import Image import nump...原创 2018-12-10 14:48:28 · 332 阅读 · 0 评论 -
C#中的bitmap类和图像像素值获取方法
一．Bitmap类Bitmap对象封装了ＧＤＩ+中的一个位图，此位图由图形图像及其属性的像素数据组成.因此Bitmap是用于处理由像素数据定义的图像的对象.该类的主要方法和属性如下：1. GetPixel方法和SetPixel方法：获取和设置一个图像的指定像素的颜色.2. PixelFormat属性：返回图像的像素格式.3. Palette属性：获取和设置图像所使用的颜色调色板....原创 2018-08-31 17:27:31 · 2049 阅读 · 0 评论 -
Xception 进阶之路
论文：Xception: Deep Learning with Depthwise Separable Convolutions 论文链接：https://arxiv.org/abs/1610.02357算法详解： Xception是google继Inception后提出的对Inception v3的另一种改进，主要是采用depthwise separable convolution来替换原...原创 2018-08-23 14:14:43 · 404 阅读 · 0 评论 -
反爬 与 反反爬
了解网站的反爬机制一般网站从以下几个方面反爬虫：1. 通过Headers反爬虫从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的...原创 2018-08-23 13:18:51 · 5413 阅读 · 0 评论 -
AI-Inception家族介绍
一、文介绍的是著名的网络结构GoogLeNet及其延伸版本，目的是试图领会其中的思想而不是单纯关注结构。 GoogLeNet Incepetion V1 Motivation Architectural Details GoogLeNet Conclusion GoogLeNet Inception V2 Introduction General Design...原创 2018-08-22 21:56:55 · 423 阅读 · 0 评论 -
Python tensorflow实战3.神经网络 - 理解到底什么是神经网络，编程原理
神经网络是一种数学模型，是存在于计算机的神经系统，由大量的神经元相连接并进行计算，在外界信息的基础上，改变内部的结构，常用来对输入和输出间复杂的关系进行建模。神经网络由大量的节点和之间的联系构成，负责传递信息和加工信息，神经元也可以通过训练而被强化。这个图就是一个神经网络系统，它由很多层构成。输入层就是负责接收信息，比如说一只猫的图片。输出层就是计算机对这个输入信息的认知，它是不是猫。隐藏层就是对...原创 2018-03-02 13:12:53 · 338 阅读 · 0 评论 -
Python tensorflow实战2.简单神经网络搭建
# -*- coding: utf-8 -*-"""Created on Thu Mar 1 12:58:06 2018@author: pc"""import tensorflow as tfimport numpy as npdef add_layer(inputs,in_size,out_size,activition_function=None): Weight = tf.Vari...原创 2018-03-01 13:35:47 · 303 阅读 · 2 评论 -
Python_tensorflow实战1.多元回归
# -*- coding: utf-8 -*-"""Created on Wed Feb 28 23:06:31 2018@author: xkk"""import tensorflow as tfimport numpy as npx_data=np.random.rand(100).astype(np.float32)z_data=np.random.rand(100).a...原创 2018-02-28 23:27:21 · 438 阅读 · 0 评论 -
利用帧差法检测运动物体
1. 基本原理 帧间差分法是一种通过对视频图像序列的连续两帧图像做差分运算获取运动目标轮廓的方法。当监控场景中出现异常目标运动时，相邻两帧图像之间会出现较为明显的差别，两帧相减，求得图像对应位置像素值差的绝对值，判断其是否大于某一阈值，进而分析视频或图像序列的物体运动特性。其数学公式描述如下： D(x,y)为连续两帧图像之间的差分图像，I(t)和I(t-1)分别为t和t-1时刻...原创 2018-09-04 12:24:13 · 4509 阅读 · 2 评论 -
眼睛横纵比来做 侧眼眨眼检测 技术
眨眼检测与用于计算闪烁的传统图像处理方法不同，闪烁通常涉及以下的某些组合：眼睛定位。 阈值找到眼睛的白色。 确定眼睛的“白色”区域是否消失一段时间（表示眨眼）。眼睛纵横比是一种 更优雅的解决方案，其涉及 基于眼睛的面部地标之间的距离比率的非常简单的计算。这种用于眨眼检测的方法快速，有效且易于实现。人脸全局关键点：眼部关键点我们视频中的一帧是这样的：...原创 2018-09-15 18:56:07 · 3058 阅读 · 1 评论 -
什么是数据【标准化】【归一化】，他们有什么作用？
在机器学习中：归一化：为什么归一化能提高梯度下降法求解最优解的速度？假定为预测房价的例子，自变量为面积大小和房间数，因变量为房价。那么可以得到的公式为： y=θ1x1+θ2x2y=θ1x1+θ2x2其中，x1x1代表房间数，θ1θ1代表x1x1变量前面的系数；x2x2代表面积，θ2θ2代表x2x2变量前面的系数。下面两张图（损失函数的等高线）代表数据是否归一化的最优解...原创 2018-09-08 18:34:39 · 6258 阅读 · 0 评论 -
【TEXT-CNN】详细解释 与 代码
1.简介TextCNN 是利用卷积神经网络对文本进行分类的算法，由 Yoon Kim 在 “Convolutional Neural Networks for Sentence Classification” 一文 (见参考[1]) 中提出. 是2014年的算法.图1-1 参考[1] 中的论文配图合理性: 深度学习模型在计算机视觉与语音识别方面取得了卓越的成就. 在 NLP 也是...原创 2018-09-08 15:35:12 · 5344 阅读 · 3 评论 -
【NLP】 文本分类 主题预测 综述
文本分类解决方法综述一、传统文本分类方法 文本分类问题算是自然语言处理领域中一个非常经典的问题了，相关研究最早可以追溯到上世纪50年代，当时是通过专家规则（Pattern）进行分类，甚至在80年代初一度发展到利用知识工程建立专家系统，这样做的好处是短平快的解决top问题，但显然天花板非常低，不仅费时费力，覆盖的范围和准确率都非常有限。后来伴随着统计学习方法的发展，特别是90年代后互联网在...原创 2018-09-08 14:38:09 · 3893 阅读 · 2 评论 -
CCF大赛，【NLP处理】汽车行业用户评论 文本主题分类与基于主题的情感预测 【baseline】
通过tfidf+LR做文本分类、# -*- coding: utf-8 -*-"""Created on Wed Sep 5 13:23:31 2018@author: Lenovo"""import jieba as jbimport numpy as npimport pandas as pdfrom gensim.models.doc2vec import Doc...原创 2018-09-05 15:06:30 · 4036 阅读 · 10 评论 -
基于文本的 单词 TFIDF等常见应用
任务一：现在有一篇长文《中国的蜜蜂养殖》，用计算机提取它的关键词。1、词频：如果某个词很重要，它应该在这篇文章中多次出现。我们进行"词频"（Term Frequency，缩写为TF）统计。2、停用词：结果你肯定猜到了，出现次数最多的词是----"的"、"是"、"在"----这一类最常用的词。它们叫做"停用词"（stop words），表示对找到结果毫无帮助、必须过滤掉的词。 规则一...原创 2018-09-08 13:49:57 · 894 阅读 · 0 评论 -
SSD算法 目标检测
之前看了SSD的论文，但也只是仅仅停留在论文层面，这几天在github上找到了一位大神在一年前用Tensorflow实现了SSD算法。这几天也抽空阅读了下代码，主要分析了下几个重要的模块，接下来做一个简单的总结。SSD（Single Shot MultiBox Detector）是大神Wei Liu在 ECCV 2016上发表的一种的目标检测算法。对于输入图像大小300x300的版本在VOC2...原创 2018-09-07 18:56:34 · 881 阅读 · 0 评论