
机器学习
文章平均质量分 86
泛泛之素
君子不器
展开
-
pytorch + visdom 处理简单分类问题
环境系统 : win 10 显卡:gtx965m cpu :i7-6700HQ python 3.61 pytorch 0.3包引用import torchfrom torch.autograd import Variableimport torch.nn.functional as Fimport numpy as npimport visdomimport原创 2018-01-11 13:04:04 · 3875 阅读 · 0 评论 -
ubuntu 18.04 安装显卡驱动+CUDA9.0+cuDNN+pytorch1.0预览版
最近出了pytorch1.0的预览版(nightly版本),好久没用pytorch了,装一个耍耍。。。安装条件: 显卡支持cuda且驱动可以安装384以上版本Ubuntu版本升级如果你的版本是Ubuntu 16 的话可以选择命令升级:第一:升级到最新的Ubuntu16.04 LTSsudo apt-get updatesudo apt-get upgrade --yessudo ap...原创 2018-10-17 14:34:20 · 10618 阅读 · 1 评论 -
ML: 使用 VotingClassifier 对股票预测
该项目的预测策略源于油管大神sentdex,对于其策略的正确性、适用性,不做评价。股票数据处理我们前两篇已经获取到数据了,而且也有介绍csv存入mysql,这里我们就使用已经获取的数据,有一我实验环境存储空间比较小,因此这里随机选取50只股票来进行测试:随机选取将100(其实少于100)只股票存入mysql,代码如下:import pandas as pdimport rand...原创 2018-09-10 22:10:03 · 5181 阅读 · 0 评论 -
pytorch + visdom RNN分类手写数字(MNIST)
环境 系统:win10 cpu:i7-6700HQ gpu:gtx965m python : 3.6 pytorch :0.3RNN详细看这:http://blog.youkuaiyun.com/heyongluoyao8/article/details/48636251简单来讲,rnn与传统的神经网络相比,最大的优势是隐藏层的神经单元互通,隐藏层原创 2018-01-19 15:28:39 · 3289 阅读 · 0 评论 -
pytorch + visdom GAN 处理 MNIST
环境 系统:win10 cpu:i7-6700HQ gpu:gtx965m python : 3.6 pytorch :0.3什么是GAN..网上找的解答:以竞争的方式达到以假乱真的,颇有遗传算法适者生存的意味(自己瞎琢磨的)。GAN的分为两个部:第一部分为判别器,判别器只判断真伪,即 0(真)、1(假)。运作过程为两步走:1、向原原创 2018-01-18 20:56:24 · 3587 阅读 · 0 评论 -
pytorch + visdom AutoEncode 和 VAE(Variational Autoencoder) 处理 手写数字数据集(MNIST)
环境 系统:win10 cpu:i7-6700HQ gpu:gtx965m python : 3.6 pytorch :0.3数据使用 mnist,使用方法前面文章有。train_dataset = datasets.MNIST('./mnist', True, transforms.ToTensor(), download=False)原创 2018-01-17 21:00:30 · 6337 阅读 · 0 评论 -
pytorch + visdom 处理cifar10图像分类
运行环境 系统:win10 cpu:i7-6700HQ gpu:gtx965m python : 3.6 pytorch :0.3数据集使用Cifar-10 由60000张32*32的 RGB 彩色图片构成,共10个分类。50000张训练,10000张测试(交叉验证)。这个数据集最大的特点在于将识别迁移到了普适物体,而且应用于多分类。数据下原创 2018-01-16 11:51:31 · 5773 阅读 · 4 评论 -
pytorch + visdom CNN处理自建图片数据集
环境 系统:win10 cpu:i7-6700HQ gpu:gtx965m python : 3.6 pytorch :0.3数据下载来源自Sasank Chilamkurthy 的教程; 数据:下载链接。 下载后解压放到项目根目录: 数据集为用来分类 蚂蚁和蜜蜂。有大约120个训练图像,每个类有75个验证图像。数据导入可原创 2018-01-16 17:09:12 · 7323 阅读 · 24 评论 -
scikit-learn k-近邻分类算法(kNN)
kNN 的作用机制为 在目标周围选取最近k个点,这k个点哪种占比最大,就可以把这个目标分类到那个分类,即有分到相似属性多的类别。 该算法和回归,决策树不同之处是,回归和决策树是通过训练集确定参数,参数一旦确定直接就能拿来进行测试,而kNN不同,它的分类要凭借训练数据,或者说并没有训练这一过程。数据应用sklearn的莺尾花数据集# 加载数据iris = load_iris(原创 2018-01-22 18:51:16 · 3082 阅读 · 2 评论 -
scikit-learn、plotly、visdom DBSCAN聚类算法、可视化处理
什么是DBSCANDBSCAN(Density-Based Spatial Clustering of Applications with Noise) 不同于k-means ,DBSCAN是一种密度聚类算法。 DBSCAN不需要指定分类的个数(k),而是指定区域密度(区域范围:半径ε;范围被判为分类的最低数据个数:MinPts),通过访问数据集中的数据,确定其是否为核心对象(以该点为中心半原创 2018-01-23 15:54:33 · 5528 阅读 · 0 评论 -
scikit-learn K-means聚类分析算法
聚类算法,不同于分类,分类属于有监督学习,聚类属于无监督学习,聚类的作用就是将有共同属性的数据会会汇聚到一起,成为一类,我们要做的是对这一类的数据进行分析。这就好像自编码过程把图像特征压缩到几个维度的向量是一样的道理,目的是通过做以区分的特性。 k-means应用神经算法中的梯度下降,先确定k个类,确定k个中心点,计算数据到每一个中心点距离,被分到距离最近的中心点的类,对于每个类再重新计算到每个原创 2018-01-23 11:52:16 · 3833 阅读 · 0 评论 -
小项目-机器学习篇:租房价格影响因素探究
环境:win10 python 3.61数据准备:导入原始数据,结构如下: 对数据的处理要做一下3点:装修类型数据化层数数据化根据坐标求得与市中心距离装修类型数据化:def change_decoretion(x): if x == "豪华装修": x= 0.9 elif x == "精装修": x =原创 2018-01-05 10:11:31 · 4032 阅读 · 2 评论 -
scikit-learn + pandas 决策树
学习过pytorch的神经网络,返回来看sklearn的机器算法感觉简单多了,只需要套用模型,fit一下,本篇结合sklearn 上的决策树算法和pandas数据预处理 对 经典的泰坦尼克获取数据集进行学习,探究获救因素。 例子来源:张良均《python与数据挖掘》数据处理原始数据下载:https://github.com/ffzs/ml_sklearn/tree/master/da原创 2018-01-22 15:03:01 · 5884 阅读 · 0 评论 -
pytorch + visdom RNN生成个国家姓氏
上一篇我们应用rnn进行分类,本篇根据rnn可以联系上下文的特点,我们通过对各个国家姓的训练,给神经网络国家标签和一个起始字母,神经网络或返回一个完整的姓氏。 依旧引用引用Sean Robertson 的小例子:https://github.com/spro/practical-pytorch环境 系统:win10 cpu:i7-6700HQ gpu:gtx965原创 2018-01-22 10:44:57 · 2737 阅读 · 0 评论 -
pytorch + visdom 使用RNN分类预测姓名来自哪个国家
引用Sean Robertson 的一个小例子:https://github.com/spro/practical-pytorch环境 系统:win10 cpu:i7-6700HQ gpu:gtx965m python : 3.6 pytorch :0.3数据集下载地址:https://download.pytorch.org/tuto原创 2018-01-20 10:04:59 · 3212 阅读 · 2 评论 -
pytorch + visdom 应用神经网络、CNN 处理手写字体分类
运行环境 系统:win10 cpu:i7-6700HQ gpu:gtx965m python : 3.6 pytorch :0.3普通神经网络class Nueralnetwork(nn.Module): def __init__(self,in_dim,hidden1,hidden2,out_dim): super(Nue原创 2018-01-12 14:50:05 · 6851 阅读 · 2 评论 -
python数据预处理 :样本分布不均(过采样和欠采样)
何为样本分布不均:样本分布不均衡就是指样本差异非常大,例如共1000条数据样本的数据集中,其中占有10条样本分类,其特征无论如何你和也无法实现完整特征值的覆盖,此时属于严重的样本分布不均衡。为何要解决样本分布不均:样本分部不均衡的数据集也是很常见的:比如恶意刷单、黄牛订单、信用卡欺诈、电力窃电、设备故障、大企业客户流失等。样本不均衡将导致样本量少的分类所包含的特征过少,很难从中提取规律,即...原创 2018-11-21 16:52:24 · 27153 阅读 · 3 评论