机器学习
关注
分享
扫一扫
Co丿Hx
西南石油大学CS研究生。发表ccfc类论文两篇，专利一项，获国家奖学金等多项奖学金，现就职于招银网络科技。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
TensorFlow中 dropout的值的设置？
最近训练OCR网络出现了过拟合，多以对于dropout的值进行了考虑经过查看相关帖子https://www.cnblogs.com/2014-august/articles/10874284.html网上有几种说法，一种是以p的概率保留，一种是以p的概率丢弃。TensorFlow 实现是以p的概率保留，训练时以p的概率保留，并且以scale缩放剩下的权重，测试时设置为1。例子。#调用dropout函数import tensorflow as tfa = tf.Variable(原创 2020-07-02 14:51:28 · 2983 阅读 · 1 评论 -
目标函数、代价函数、损失函数
参考:三者关系基本概念损失函数: 计算样本之间的误差，L(Y,f(X))=(Y−f(X))2L(Y, f(X))=(Y-f(X))^{2}L(Y,f(X))=(Y−f(X))2X代表输入Y代表标签，这是单个误差，风险函数是损失函数的期望，这是由于我们输入输出的(X,Y)遵循一个联合分布，但是这个联合分布是未知的，所以无法计算。但是我们是有历史数据的，就是我们的训练集，f(X)关于训练集的平...原创 2020-04-03 17:08:24 · 291 阅读 · 0 评论 -
最优化理论、数值分析、数字图像处理、cuda复习
最优化理论凸集的定义单纯形法解决 有约束 多元函数问题两阶段法与大M法解决同样的问题最速下降法 求导数牛顿法法 阻尼牛顿法拟牛顿法 二阶优化方法逼近求解动态规划数值分析函数逼近求解函数插值求解曲线拟合求积公式解线性方程组数字图像处理图像灰度变换图像滤波 高通滤波图像平滑...原创 2020-03-11 23:42:03 · 701 阅读 · 0 评论 -
python for循环改变控制变量的值
python for循环无法改变控制变量值用while控制原创 2019-11-28 16:46:11 · 3341 阅读 · 0 评论 -
win10 anaconda 安装 pytorch gpu
首先建立环境conda create -n torch切换环境conda activate torch换源conda config --add channels https://repo.continuum.io/pkgs/free/conda config --add channels https://repo.continuum.io/pkgs/main/cond...原创 2019-10-22 11:20:36 · 501 阅读 · 0 评论 -
Ubuntu16.0.4 安装tensorflow
需要从win10转战服务器linux tf跑模型，安装了几个小时终于搞定。遇到的问题。1.cudnn与cuda版本 不匹配，师姐装的是cuda8.0与cudnn7.0刚好这两个哪个版本的tensorflow都不匹配，试了下莽夫直接pip install tensorflow-gpu 可以安装成功运行报错，错误为不匹配。2.于是前端时间学习了虚拟环境，conda大法好于是转向cond...原创 2019-05-19 16:37:32 · 335 阅读 · 0 评论 -
Deecamp
Deecamp训练已经过了3天，在这3天里，每天平均4场讲座，有学术界大牛，也有产业界大牛。通过这几天，对于选择读博与选择工作，现有深度学习的应用以及深度学习的困难都有了一个了解，对于强化学习有了一个初步了解，对于自然语言处理transformer也有一定了解...原创 2019-07-23 18:29:02 · 225 阅读 · 0 评论 -
module 'scipy.misc' has no attribute 'imsave' 'imread'
解决方案1: 安装Pillow(如果已有Pillow PIL 转解决方案2)pip installPillow解决方案2:降级scipy,因为scipy1.3.0已经弃用imsave,imreadpip install scipy==1.1.0☺...原创 2019-07-29 19:36:01 · 5512 阅读 · 0 评论 -
CartoonGAN github
Deecamp夏令营需要用到CartoonGAN，所以对于CartoonGAN进行代码以及文章分析。首先分析了preTrain的VGG19如下input VGG19 提取featureinput generator VGG199提取feature 使两者相似来提取结构信息。如果在实现时效果不明显或者出现模型崩塌，加大pre_train的epoch，这样可以使得后面训练更容易，当然加...原创 2019-07-31 15:29:25 · 4228 阅读 · 7 评论 -
华为云垃圾分类优化记录
1.baseline 训练测试0.98-1经过分析出现过拟合，训练多个epoch调低learning rate + 少frezee 5层。0.64-0.732.调整输出 version23.最终和上交小伙伴 用nasnet+全开训练+tta0.904.有大佬开源了github代码。可以去搜...原创 2019-08-19 15:40:13 · 2898 阅读 · 17 评论 -
python 图像变绿问题
由于opencv读取图像是默认GBR读取，所以存取时按照RGB存放则会变绿，简单的处理方法为img2=img[: , : , : : -1]其中::-1是将GBR进行逆序RGB例子a=[1,2,3]b = a[::-1]则b=[3,2,1]...原创 2019-08-11 16:10:56 · 3112 阅读 · 0 评论 -
N-BaIoT-Network-based-Detection-of-IoT-Botnet-Attacks
数据工程概论作业实现，https://archive.ics.uci.edu/ml/datasets/detection_of_IoT_botnet_attacks_N_BaIoT数据集的异常检测。论文实现了数据集的自编码器异常检测并且在时间上与正确率上进行了检测。该数据集含有9个设备，检测9个设备的攻击。本人使用pandas对数据进行处理，使用sklearn对模型进行评估发现，随记...原创 2019-05-02 17:28:27 · 4186 阅读 · 7 评论 -
cyclegan win10 实现
github 连接 https://github.com/LynnHo/CycleGAN-Tensorflow-PyTorch克隆github 下载数据集https://people.eecs.berkeley.edu/~taesung_park/CycleGAN/datasets 将数据集数据放在 datasets 下 训练运行CUDA_VISIBLE_DE...原创 2019-02-21 19:51:36 · 1877 阅读 · 2 评论 -
batchsize、iter、epoch
epoch 将所有训练数据集跑一次iter 将batchsize跑一次batchsize 用来更新参数的一次原创 2018-12-18 17:47:08 · 1352 阅读 · 0 评论 -
机器学习实战2.2示例: 使用k-近邻算法改进约会网站的配对效果
机器学习实战用的语言是python，并没有看过python语法边看边敲，发现机器学习用的矩阵、向量比较多、对数学要求比较高，把书上的Demo敲了一遍并且运行出来了，发现书上有的代码已经在python3.x中不支持了，所以编译出错一定要去找是不是python支不支持。这里说下我对python的理解，极大的方便了编程，直接导库使用，函数定义也很方便这里贴出我写的代码包括Demo.py测试用，以及k原创 2018-01-28 11:21:53 · 326 阅读 · 0 评论 -
机器学习实战之k近邻算法
k-近邻算法是分类数据最有效的算法。k近邻算法是基于实例的学习，使用算法时我们必须有接近数据的训练样本数据。k近邻算法必须保存全部的数据集，如果训练数据集很大，必须使用大量的存储空间，除此之外，由于必须对数据中的每个数据集中的数据计算距离值，实际使用时可能十分耗时。机器学习实战中第二个例子手写识别中，每个距离计算1024个维度的浮点数运算，总共要执行900次，此外，我们还要为测试向量准备2MB原创 2018-01-29 22:13:05 · 322 阅读 · 0 评论 -
深度学习笔记-CNN(Convelutional Neural Network; 卷积神经网络)
什么是卷积神经网络？我的理解就是将图像与filter进行乘积得到一个特征map，多个特征map进行叠加。卷积神经网络的过程？卷积->池化->卷积->池化->扁平.卷积？CNN - Convolution将矩阵进行内积得到一个4x4的内积矩阵，将图像缩小。池化？选择矩形中最大的结果池化结果为[3 0; 3 1]原创 2018-02-07 17:16:58 · 1733 阅读 · 0 评论 -
windows No module named contrib.learn.python.learn.datasets.mnist 问题
之前装了 tensorflow-gpu 然后卸载了就出了这个问题，想了办法，最后更新了tensorflow版本最终成功。windows输入原创 2018-03-14 09:44:17 · 1032 阅读 · 0 评论 -
python如何裁剪图像
使用plt库先上效果源图像裁剪后将1从图像中裁剪出来from PIL import Imageimg = Image.open('1.jpg') #打开当前路径图像box1 = (14, 4, 53, 52) #设置图像裁剪区域image1 = img.crop(box1) #图像裁剪image1.save('image1.jpg') #存储当前区域...原创 2018-04-12 10:36:12 · 11089 阅读 · 4 评论 -
研究生？
正确认识学生与导师的关系？财务报销、修改论文、指导研究导师与学习相互支持的，学生是帮手也是负担学生而言，研究组。 导师是引路人也是束缚者3-6个月 找工作的笔试。 内推。 好的文章共赢。在实验室表现好的人，项目做得好、论文写得好，能找到一个满意的工作。应付导师的学生。交差。类A：继续读书 大学教授类B：工程性研究类C：擅长工程和工业性应用。创意商业化。公司 博士发文章...原创 2018-04-25 10:05:00 · 260 阅读 · 0 评论 -
win10安装keras theano
1. 安装Anaconda，anaconda是环境管理软件建议安装Anaconda3 4.2.0版本，目前新出的python3.6存在部分不兼容问题https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/安装时记得勾选两个√2.安装mingw编译器以及相应包cmd中输入conda install mingw libpyt...原创 2018-09-06 19:18:35 · 427 阅读 · 0 评论 -
A `Concatenate` layer requires inputs with matching shapes except for the concat axis.
使用keras跑别人代码时报错A `Concatenate` layer requires inputs with matching shapes except for the concat axis.发现维度不匹配，通过网上找资料发现是channel_last与channel_first问题。在$HOME/.keras/keras.json目录下将channels_last改成channel...原创 2018-09-25 10:43:22 · 5425 阅读 · 0 评论 -
python单字节读取二进制文件
from functools import partialimport numpy as npimport structimport osdef readSigleFile(filename, nx, nz): f = open(filename, "rb") sigleFile = np.zeros((nx, nz)) for i in range(nx):...原创 2018-09-29 14:38:56 · 4952 阅读 · 0 评论 -
windows tensorboard
怎么使用windowstensorboard呢？1.首先命令行输入 一定要是完整目录tensorboard --logdir=D:\example\tesorflow\tensorboard2.google浏览器输入 一定要是localhost//then input the http://localhost:6006 ...原创 2018-12-10 10:34:21 · 274 阅读 · 0 评论 -
Matlab学习导图(台大)
PPT https://pan.删去baidu.这几个汉字com/s/1o7S9Y4q 密码：n4au课程地址https://www.bilibili.com/video/av14503445/?from=search&seid=17045989911118017602主要内容:1. 学习导览，讲整个课程的结构2.基本操作与矩阵输入，讲matlab基本操作以及特性，原创 2018-01-31 21:37:23 · 2902 阅读 · 4 评论