
机器学习
文章平均质量分 88
周小董
专注于数据采集,数据治理及数据架构的研究,热爱分享一些经验,欢迎朋友来探讨交流。 附言:文章仅用于个人学习,如有侵权,请联系我删除,谢谢!
展开
-
[465]深度学习识别滑动验证码缺口
本节主要介绍了训练深度学习模型来识别滑动验证码缺口的整体流程,最终我们成功实现了模型训练过程,并得到了一个深度学习模型文件。利用这个模型,我们可以输入一张滑动验证码,模型便会预测出其中的缺口的位置,包括偏移量、宽度等,最后可以通过缺口的信息绘制出对应的位置。转载 2018-12-27 18:29:22 · 1950 阅读 · 1 评论 -
[1141]基于MODnet无绿幕抠图
文章目录前言复现代码基于onnx推理代码抠图效果基于demo.image_matting.colab.inference推理代码前言MODNet由香港城市大学和商汤科技于2020年11月首次提出,用于实时抠图任务MODNet特性:轻量级(light-weight )实时性高(real-time)预测时不需要额外的背景输入(trimap-free)准确度高(hight performance)单模型(single model instead of a complex pipeline)泛化原创 2022-05-19 21:51:00 · 1271 阅读 · 2 评论 -
[1111]python scorecardpy(评分卡)使用
文章目录简介使用**数据划分****变量分箱****woe转换****模型建立****模型评估****评分映射**运行示例简介随着互联网在传统金融和电子商务领域的不断渗透,风控+互联网的融合也对传统的风控提出了新的要求和挑战。以评分卡为例,互联网形态下的评分卡需要面临更多维数据、更实时数据、更异常数据的挑战。因此,懂得互联网业务下的风控评分卡已经成为互联网风控从业人员的新要求。Python中信贷评分卡中常用的两个库有“scorecardpy”和“Toad”。其中scorecardpy是由谢士晨博士开发原创 2022-03-14 19:49:54 · 6622 阅读 · 12 评论 -
[1106]python bezier(贝塞尔)曲线
文章目录三阶贝塞尔曲线python bezier曲线首先简单了解一下什么是贝塞尔曲线(余弦函数曲线我就不多说了哈!),贝塞尔曲线又称贝兹曲线,是法国工程师皮埃尔.贝塞尔于1962年发表。贝塞尔曲线广泛应用于二维绘图软件,早期用于汽车车体设计。三阶贝塞尔曲线三阶贝塞尔曲线由如下方程描述:其中t的范围是0到1的闭区间。P0和P3是三阶贝塞尔曲线的起点和终点,P1和P2是曲线的控制点。然后我们讲一下计算机绘制曲线的原理。从数学定义上,一条连续函数曲线有无数个点,从算法的特点将,算法具有有穷性。所以我们原创 2022-03-13 14:46:02 · 7084 阅读 · 0 评论 -
[1023]fastText文本分类算法
文章目录简介模型架构分层 softmax(Hierarchical softmax)N-grams 特征使用fastText 运行速度快的原因fasttext参数:github:https://github.com/facebookresearch/fastTextpypi:https://pypi.org/project/fasttext/简介fastText是一种Facebook AI Research在16年开源的一个文本分类器。 其特点就是fast。相对于其它文本分类模型,如SVM,Logi原创 2021-07-15 20:41:13 · 286 阅读 · 2 评论 -
[941]mnist数据集问题
文章目录raise IOError, 'Not a gzipped file'from tensorflow.examples.tutorials.mnist import input_data在未来的版本中将被移除解决方法raise IOError, ‘Not a gzipped file’There is an error:File "tensorflow/models/image/mnist/convolutional.py", line 59, in extract_data byte原创 2021-01-31 21:38:00 · 334 阅读 · 0 评论 -
[938]深度学习之CNN简介
文章目录深度学习概述CNN(卷积神经网络)层级结构数据输入层卷积计算层Relu激活层池化层全连接层正则化典型结构深度学习概述传统的机器学习和深度学习一个很重要的差别就是特征的自动提取。深度学习现在更适合处理一些原始信息的特征,比如图片识别,音频,视频等。比如图片可以通过像素作为原始的特征,通过卷积神经网络不断的提取特征,最后再在这些特征上进行学习。对于音频就是通过声音的声波作为特征。 深度学习可以参考书籍:https://item.jd.com/12128543.html 深度学转载 2021-01-24 21:35:10 · 408 阅读 · 0 评论 -
[911]Python构建快速高效的中文文字识别OCR
来源:https://blog.youkuaiyun.com/lly1122334/article/details/104752851。以下适合Windows系统,需要使用VS进行简单编译,若用Linux系统可直接参考原项目,应该更简单。已上传优快云,在Win7和Win10的Python3.6版本下测试通过,需要的亲自取。1.打开VS2015→新建项目→Visual C++→项目命名为。3.配置属性(常规):右键项目pse→属性→配置。(2020/3/16),提取码:oade。(你的Python),转载 2020-11-17 19:57:47 · 309 阅读 · 1 评论 -
[885]Tensorflow设置CUDA_VISIBLE_DEVICES来控制GPU的使用
os.environ[“CUDA_DEVICE_ORDER”] = “PCI_BUS_ID” # 按照PCI_BUS_ID顺序从0开始排列GPU设备os.environ[“CUDA_VISIBLE_DEVICES”] = “0” #设置当前使用的GPU设备仅为0号设备 设备名称为’/gpu:0’os.environ[“CUDA_VISIBLE_DEVICES”] = “1” #设置当前使用的GPU设备仅为1号设备 设备名称为’/gpu:1’os.environ[“CUDA_VISIBLE_DEV.原创 2020-08-04 23:06:20 · 2268 阅读 · 0 评论 -
[701]labelImg标注工具
labelImg github:https://github.com/tzutalin/labelImgexe下载:https://tzutalin.github.io/labelImg/用于深度网络训练的数据集做标注的方法和工具有好多,像Labelme、labelImg、yolo_mark、Vatic、Sloth等等,此处暂时只介绍其中的一种标注工具:labelImg。常见的图片标注工具...原创 2019-11-19 18:38:34 · 1063 阅读 · 1 评论 -
[645]机器学习之(四)特征工程以及特征选择的工程方法
本文来自于segmentfault.com,从特征工程是什么?为什么要做特征工程?应该如何做特征工程?这三个方面详细叙述。关于特征工程(Feature Engineering),已经是很古老很常见的话题了,坊间常说:**“数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已”。**由此可见,特征工程在机器学习中占有相当重要的地位。在实际应用当中,可以说特征工程是机器学习成功的关键。纵...转载 2019-08-11 23:10:22 · 709 阅读 · 0 评论 -
[634]基于深度学习的推荐系统
这篇文章最开始来源于在微信公众号“机器之心”中无意中看到的论文:Deep Learing based Recommender System:A Survey and New PerspectivesACMJ.Comput.Cult.Herit.,Vol.1,No.1,Article35.Publication date:July 2017.1、引言推荐系统:用来预测使用者对于他们还没有见到或...原创 2019-07-08 17:41:19 · 5361 阅读 · 0 评论 -
[580]tf.split()函数
tf.split( value, num_or_size_splits, axis=0, num=None, name='split')value:准备切分的张量num_or_size_splits:准备切成几份axis : 准备在第几个维度上进行切割其中分割方式分为两种如果num_or_size_splits 传入的 是一个整数,那直接...原创 2019-03-20 19:00:59 · 876 阅读 · 0 评论 -
[579]tf.transpose函数
tf.transpose(input, [dimension_1, dimenaion_2,…,dimension_n]):这个函数主要适用于交换输入张量的不同维度用的,如果输入张量是二维,就相当是转置。dimension_n是整数,如果张量是三维,就是用0,1,2来表示。这个列表里的每个数对应相应的维度。如果是[2,1,0],就把输入张量的第三维度和第一维度交换。重点:tf.transpo...原创 2019-03-20 18:59:57 · 4151 阅读 · 0 评论 -
[574]tf.nn.xw_plus_b
tf.nn.xw_plus_b函数tf.nn.xw_plus_b( x, weights, biases, name=None)定义在:tensorflow/python/ops/nn_ops.py。计算matmul(x, weights) + biases。参数:x:2D Tensor。维度通常为:batch,in_unitsweights:2D...原创 2019-03-18 18:18:12 · 1493 阅读 · 0 评论 -
[573]tf.contrib.layers.xavier_initializer
xavier_initializer( uniform=True, seed=None, dtype=tf.float32)该函数返回一个用于初始化权重的初始化程序 “Xavier” 。这个初始化器是用来保持每一层的梯度大小都差不多相同。参数:uniform: 使用uniform或者normal分布来随机初始化。seed: 可以认为是用来生成随机数的seed...转载 2019-03-18 18:17:41 · 3441 阅读 · 0 评论 -
[572]tf.get_variable
获取一个已经存在的变量或者创建一个新的变量get_variable( name, shape=None, dtype=None, initializer=None, regularizer=None, trainable=True, collections=None, caching_device=None, partiti...原创 2019-03-18 18:17:12 · 460 阅读 · 0 评论 -
[571]TensorFlow创建常量(tf.constant)详解
在TensorFlow API中创建常量的函数原型如下所示:tf.constant( value, dtype=None, shape=None, name='Const', verify_shape=False)可以看到第一个值value是必须的,可以是一个数值,也可以是一个列表。如果是数值:tensor=tf.constant(1)为查看...原创 2019-03-18 18:16:43 · 2277 阅读 · 0 评论 -
[570]tf.expand_dims()
TensorFlow中,想要维度增加一维,可以使用tf.expand_dims(input, dim, name=None)函数。当然,我们常用tf.reshape(input, shape=[])也可以达到相同效果,但是有些时候在构建图的过程中,placeholder没有被feed具体的值,这时就会包下面的错误:TypeError: Expected binary or unicode stri...原创 2019-03-18 18:16:09 · 409 阅读 · 0 评论 -
[569]tf.nn.embedding_lookup函数
我觉得这张图就够了,实际上tf.nn.embedding_lookup的作用就是找到要寻找的embedding data中的对应的行下的vector。tf.nn.embedding_lookup(params, ids, partition_strategy=‘mod’, name=None, validate_indices=True, max_norm=None)参数说明:par...原创 2019-03-18 18:15:23 · 577 阅读 · 0 评论 -
[568]tf.random_uniform与tf.truncated_normal
tf.random_uniform 函数random_uniform(shape, minval=0, maxval=None, dtype=dtypes.float32, seed=None, name=N...原创 2019-03-18 18:14:44 · 403 阅读 · 0 评论 -
[567]tf.device()指定运行设备
tf.device()指定运行设备在TensorFlow中,模型可以在本地的GPU和CPU中运行,用户可以指定模型运行的设备。通常,如果你的TensorFlow版本是GPU版本的,而且你的电脑上配置有符合条件的显卡,那么在不做任何配置的情况下,模型是默认运行在显卡下的。如果需要切换成CPU运算,可以调用tf.device(device_name)函数,其中device_name格式如/cpu:...原创 2019-03-18 18:13:59 · 979 阅读 · 0 评论 -
[563]安装Keras(TensorFlow做后端)
在前文TensorFlow练习1中我提到过一个使用TensorFlow做后端的高级库,这个库叫Keras,它是一个抽象层次比较高的神经网络Python库。在TensorFlow练习1中我是手动定义神经网络,有了这货几行代码就可搞定。最开始Keras使用Theano做为后端,TensorFlow火了以后,Keras又添加了TensorFlow支持Keras源代码:https://github....转载 2019-03-13 18:52:32 · 1163 阅读 · 0 评论 -
[559]tf.nn.softmax_cross_entropy_with_logits,...logits_v2,sparse_softmax_cross_entropy_with_logits异同
tf.nn.softmax_cross_entropy_with_logitstf.nn.softmax_cross_entropy_with_logits_v2tf.nn.sparse_softmax_cross_entropy_with_logits三者的异同1、共同点三者功能都是先计算输入 logits 的 softmax 分类,再计算与输入 labels 之间的交叉熵,最终返回的...转载 2019-03-13 18:43:16 · 2509 阅读 · 0 评论 -
[556]python实现神经网络
神经网络/人工神经网络的洋文是Neural Network,这个计算模型在上世纪40年代就出现了,但是直到2011、2012年由于大数据和深度学习的兴起,神经网络才得到广泛应用。参看wiki神经网络:https://en.wikipedia.org/wiki/Artificial_neural_network为了更好的理解Neural Network,本帖使用Python实现一个最简单的Fee...转载 2019-03-13 18:40:00 · 1682 阅读 · 0 评论 -
[554]sklearn提供的自带的数据集(make_blobs)
sklearn 的数据集有好多个种自带的小数据集(packaged dataset):sklearn.datasets.load_可在线下载的数据集(Downloaded Dataset):sklearn.datasets.fetch_计算机生成的数据集(Generated Dataset):sklearn.datasets.make_svmlight/libsvm格式的数据集:skle...原创 2019-03-07 18:22:27 · 4403 阅读 · 0 评论 -
[552]python实现聚类算法(6种算法)
1、Mean-shift1)概述Mean-shift(即:均值迁移)的基本思想:在数据集中选定一个点,然后以这个点为圆心,r为半径,画一个圆(二维下是圆),求出这个点到所有点的向量的平均值,而圆心与向量均值的和为新的圆心,然后迭代此过程,直到满足一点的条件结束。(Fukunage在1975年提出)后来Yizong Cheng 在此基础上加入了 核函数 和 权重系数 ,使得Mean-shift...转载 2019-03-07 18:21:09 · 111273 阅读 · 12 评论 -
[551]python实现Mean Shift算法
前文介绍的K-Means算法需要指定K值(分组数),本文实现的MeanShift聚类算法不需要预先知道聚类的分组数,对聚类的形状也没有限制。为了更好的理解这个算法,本帖使用Python实现Mean Shift算法。MeanShift算法详细介绍:https://en.wikipedia.org/wiki/Mean_shiftscikit-learn中的MeanShiftimport num...转载 2019-03-07 18:20:06 · 7606 阅读 · 0 评论 -
[550]sklearn-preprocessing使用
标准化(Z-Score)公式为:(X-mean)/std 计算时对每个属性/每列分别进行。将数据按期属性(按列进行)减去其均值,并处以其方差。得到的结果是,对于每个属性/每列来说所有数据都聚集在0附近,方差为1。使用sklearn.preprocessing.scale()函数,可以直接将给定数据进行标准化。from sklearn import preprocessingi...原创 2019-03-06 18:20:21 · 470 阅读 · 0 评论 -
[549]python实现K-Means算法
K-Means是一种聚类(Clustering)算法,使用它可以为数据分类。K代表你要把数据分为几个组,前文实现的K-Nearest Neighbor算法也有一个K,实际上,它们有一个相似之处:K-Means也使用欧拉距离公式。K-Means:https://en.wikipedia.org/wiki/K-means_clusteringscikit-learn中的聚类算法:http://s...转载 2019-03-06 18:19:48 · 80817 阅读 · 20 评论 -
[548]OpenCV之cv2函数
1、主要函数1、 cv2.imread():读入图片,共两个参数,第一个参数为要读入的图片文件名,第二个参数为如何读取图片,包括cv2.IMREAD_COLOR:读入一副彩色图片;cv2.IMREAD_GRAYSCALE:以灰度模式读入图片;cv2.IMREAD_UNCHANGED:读入一幅图片,并包括其alpha通道。PS:调用opencv,就算图像的路径是错的,OpenCV 也不会提...原创 2019-03-05 18:17:09 · 11540 阅读 · 4 评论 -
[547]python实现Support Vector Machine算法
Support Vector Machine或简称SVM可翻译为支持向量机,是机器学习中常用的分类算法,它比上文介绍的KNN算法要复杂的多。为了理解这个算法的基本原理,本帖使用Python实现SVM算法。如果你不知道SVM为何物,参看:https://en.wikipedia.org/wiki/Support_vector_machinehttp://docs.opencv.org/2.4...转载 2019-03-05 18:16:01 · 741 阅读 · 0 评论 -
[546]python实现K-Nearest Neighbor算法
K-Nearest Neighbor(KNN)可以翻译为K最近邻算法,是机器学习中最简单的分类算法。为了更好的理解这个算法,本帖使用Python实现这个K-Nearest Neighbor算法 ,最后和scikit-learn中的k-Nearest Neighbor算法进行简单对比。KNN算法基本原理假设我有如下两个数据集:dataset = {'black':[ [1,2], [2...转载 2019-03-04 18:24:44 · 4887 阅读 · 0 评论 -
[537]python:我的眼里只有你
昨天情人节,写了个表白的小代码,将女友照片进行缩放,自动贴到我照片眼球处,表达“我的眼里只有你”。思路Python可以直接调用dlib库进行人脸识别,其中也包含了准度较高的眼部识别。利用dlib面部识别库定位照片中眼球位置,将女友照片进行相应缩放,最终通过PIL将其贴图到眼球处。dlibdlib是一个高质量的机器学习、图像处理、深度学习、人脸识别 C++/Python库。Python中可以...原创 2019-02-23 16:43:33 · 487 阅读 · 0 评论 -
[485]基于Python语言的tensorflow的‘端到端’的字符型验证码识别
验证码(CAPTCHA)的诞生本身是为了自动区分自然人和机器人的一套公开方法, 但是近几年的人工智能技术的发展,传统的字符验证已经形同虚设。所以,大家一方面研究和学习此代码时,另外一方面也要警惕自己的互联网系统的web安全问题。Keywords: 人工智能,Python,字符验证码,CAPTCHA,识别,tensorflow,CNN,深度学习。转载 2019-01-03 18:25:44 · 779 阅读 · 1 评论 -
[484]tf.InteractiveSession()与tf.Session()
tf.InteractiveSession():它能让你在运行图的时候,插入一些计算图,这些计算图是由某些操作(operations)构成的。这对于工作在交互式环境中的人们来说非常便利,比如使用IPython。tf.Session():需要在启动session之前构建整个计算图,然后启动该计算图。意思就是在我们使用tf.InteractiveSession()来构建会话的时候,我们可以先构建一...原创 2019-01-03 18:24:37 · 370 阅读 · 0 评论 -
[483]tensorflow模型保存和读取tf.train.Saver
目标:训练网络后想保存训练好的模型,以及在程序中读取以保存的训练好的模型。首先,保存和恢复都需要实例化一个 tf.train.Saver。saver = tf.train.Saver()然后,在训练循环中,定期调用 saver.save() 方法,向文件夹中写入包含了当前模型中所有可训练变量的 checkpoint 文件。saver.save(sess, save_path...原创 2019-01-03 18:24:06 · 2417 阅读 · 0 评论 -
[482]tf.cast()
tf.cast(x, dtype, name=None)此函数是类型转换函数参数:x:输入dtype:转换目标类型name:名称返回:Tensor例:# tensor `a` is [1.8, 2.2], dtype=tf.floattf.cast(a, tf.int32) ==> [1, 2] # dtype=tf.int32a = tf.Variable(...原创 2019-01-03 18:23:28 · 1800 阅读 · 0 评论 -
[481]优化器Optimizer
深度学习常见的是对于梯度的优化,也就是说,优化器最后其实就是各种对于梯度下降算法的优化。 理论部分可以见斯坦福深度学习的课程。这里推荐一个博客,总结了这些优化器的原理以及性能,写的挺好的:An overview of gradient descent optimazation algorithms从其中讲几个比较常用的,其他的可以自己去看文档。官方文档:TrainingOptimizerG...原创 2019-01-03 18:22:59 · 966 阅读 · 1 评论 -
[480]tf.name_scope()和tf.variable_scope()
tf.variable_scope可以让变量有相同的命名,包括tf.get_variable得到的变量,还有tf.Variable的变量tf.name_scope可以让变量有相同的命名,只是限于tf.Variable的变量例如:import tensorflow as tf; import numpy as np; import matplotlib.pyplot as plt; ...原创 2019-01-03 18:22:15 · 166 阅读 · 0 评论