paln

最新推荐文章于 2022-07-04 19:20:58 发布

我不是斗哥

最新推荐文章于 2022-07-04 19:20:58 发布

阅读量648

点赞数

分类专栏：其他

本文链接：https://blog.youkuaiyun.com/qq_35042020/article/details/103200180

版权

其他专栏收录该内容

2 篇文章

订阅专栏

学习目标:C/C++、操作系统、Linux驱动

待安排

《tensorflow实战》VGGNet
《tensorflow实战》AlexNet
CS231n：方向传播
学习tf-slim 怎么进行迁移训练

2019.11.20

解决自己生成tfrecord的时候，想要生成train，但会生成val，与些同时还会删掉原图片。

2019.11.19

gen_defect_free_data.py mask 一张图多采几张负样本，再缩小一点图片占比,64 - 100?
分析mask glass检测分数低的样本特征，从随机生成的负样本中筛选符合检测的负样本的分布

2019.11.15

整理写过的脚本，尽可能使其具有通用性
draw and save from json 整理成一个函数
继续研究leetcode 及滑动窗口法
验证、测试新训练的GLASS/MASK模型

2019.11.14

MASk/GLASS无缺陷进一步数据清洗

2019.11.11

总结遇到的问题：推理太慢

2019.11.8

小图不外扩15%
输出错误信息
predict_with_pb_from_source_img.py 合并labels.txt与json
继续完成top3接口并调试
大图尝试用tfrecord再跑

2019.11.7

模型测试：MASK大图测试、MASK小图(原始标注框+统一方形标注框)测试、GLASS大图测试、GLASS小图(原始标注框+统一方形标注框)测试
联合测试接口代码

2019.11.6

优化模型融合评估代码
由目标检测得出的结果来测试已经训练模型（暂无GPU测试）

2019.11.5

数据预处理
数据分析，检查
评估模型融合可行性、整理详细数据

2019.11.4

评估MASK模型融合可行性
新数据预处理

2019.11.1

标注框从长方形变为正方形（为了resize的时候不发生形变）
在第一步的基础上，正方形扩大15%
边界处理：如果缺陷在边缘的话，以图片的边界为极限处理。
整理重新标注的数据
遇到的问题：tf.train.batch 两次读取tfrecord的顺序不一样
https://blog.youkuaiyun.com/u013555719/article/details/80459284 试试解决顺序问题
decode png jpg 要换一下

2019.10.29

学习怎么fine-tunning。学后可以吹。
学习到怎么看tensorboard 的graph
根据XML标注文本，在图片上框选出来，并存储

2019.10.28

优化整理读取图片进行预测的代码
了解怎么运用tensorflow-slim进行fine-tuning
完成inception V1-V3的总结

2019.10.28

尝试将源图片concat成一个batch

2019.10.25

tf.global_variables_initializer()与 tf.local_variables_initializer()的区别，并记录笔记
tf.train.shuffle_batch与tf.train.batch的区别
通过label = tf.stack(tf.one_hot(label - 1, NCLASS))学习tf.onehot
with slim.queues.QueueRunners(sess):

2019.10.24

完成pb的加载进行预测

2019.10.23

整理我写过的小脚本。tfrecord/sava as /load pb/ load checkpoint/moire_crop/

2019.10.22

完成pretty table
知道List长度的话，append和直接Index赋值，哪个效率高？

2019.10.21

初步完成调用pb与checkpoint进行孔分类预测的脚本

2019.10.18

首要解决问题：为什么ckpt和pb都是只归成两类？？？？？？

灵感：models/research/slim/preprocessing/inception_preprocessing.py/preprocess_image
整理build_image_data.py 的使用方法（to tfrecord）
整理遇到的问题,训练时候用的GPU训练，验证的时候也要用GPU。
发现文件名原来可以用中文的冒号，但是英文的冒号不可以用
整理sess.run(output,{input:img})，怎么查看output和Input 这两个tensor的名称。而且，加载ckpt与加载pd文件input\output tensor的很名称是不同的
搞明白InceptionResnetV2/Conv2d_1a_3x3/weights/Initializer/random_uniform/shape:0什么意思？0是用来做什么的。没有0会怎样
搞明白get_tensor_by_name 与get_operation_by_name
整理tensorflow命令行参数
怀疑是网络的固化，要求塞进64*299*299*3的数据
遇到的难点：不知道往哪里个节点塞数据
感慨还是pb简单，输入是input/input:0 不用找节点
转换训练更久的ckpt为pb，并验证看效果。（20000步的时候，抽取15个no_hole，识别成small_hole）
### 2019.10.17
复习，重新做编程题目二题
SE_ResNeXt源码\论文研读，刚看完网络架构

2019.10.16

制作完的tfrecord怎么用？
了解使用TF-Slim fune tune模型的流程
完成https://github.com/tensorflow/models/tree/master/research/slim中Exporting the Inference Graph中的export_inference_graph.py
复习，重新做编程题目一题

2019.10.15

SE_inception-Net源码研读，刚看完网络架构
设想制作自己的分类训练数据集，github上找到源码，知道怎么从image生成tfrecord，从tfrecord反生成image.

2019.10.14

SE-Net源码研读
复习，重新做编程题目三题

2019.10.12

了解孔缺陷及二分类，哪两类？
SE-Net学习
编程题目
列表推导加入笔记
yield重新学习
递归思想

2019.10.11

了解ADC业务
报告PPT
inception中不同卷积核过后，是怎么拼接在一起的？
range和xrange加入笔记

2019.10.10

通过运行代码仔细研究ADC项目分类网络xception_train.py
研究PyTorch 的 backward 为什么有一个 grad_variables 参数
测试keras.application中的ResNet50模型
重新写一遍反转链表的代码

2019.10.09

大致阅读ADC项目分类网络xception_train.py
MobileNet了解
了解Keras.application的应用

2019.10.08

F:\TCL\other_material\Dataset\ADC\adc4350v1\trainA检查到第6691张
编程题目三题

2019.9.30

改进cut.py成遍历多个文件夹，自动创建文件夹
InfoGAN看论文、代码运行
styleGAN论文

2019.9.27

摩尔数据集处理
crop新ADC数据集
编程题目

2019.9.26

编程题目
摩尔纹数据crop

2019.9.25

CGAN结合代码看论文
pytorch简单入门
阅读pytorch-CycleGAN-and-pix2pix代码
编程题目

2019.9.24

DCGAN结合代码看论文
阅读pytorch-CycleGAN-and-pix2pix代码
编程题目

2019.9.23

WGAN结合代码看论文

2019.9.20

结合代码理解Semi-supervised GAN,并在jupyter notebook上进行训练
结合keras代码重新温习original GAN,并在jupyter notebook上进行训练
在jupyter notebook上训练WGAN
剑指offer编程题目一题

2019.9.18

数据清洗
剑指offer编程题目

2019.9.17

CycleGAN-Tensorflow/data/ADC/adc_crop/下清洗trainA_all、trainB中的5倍图，并重新上传
ADC补充数据清洗不正常的数据，并crop

2019.9.12

CycleGAN代码结合论文总结下

2019.9.11

去掉ADC模糊的照片，自己训练。

2019.9.9

PPT
工作临时交接，关注CycleGAN-Tensorflow/checkpoints/20190903-0926_1171adc_crop/中events的大小，太大的时候kill -9 [PID]杀掉进程，重新运行CycleGAN-Tensorflow/run2Train.sh

2019.9.6

浏览ADC各个不同分类的数据
Generative Adversarial Networks_A Survey and Taxonomy论文读完
GANS-PPT制作

2019.9.4

完成彩色区域的选取，但是还没有实现保存，以及Python的argpasser，效率的评估，参数的评估与优化(黑白阈值的设定对更多的数据集能通用吗?还不知道！)，代码的整理

2019.9.4

初步实现图片黑白的跳变寻找
Generative Adversarial Networks_A Survey and Taxonomy论文研读，PPT制作

2019.9.3

Generative Adversarial Networks_A Survey and Taxonomy论文研读

2019.9.2

D\G tensorboard中损失图的解读
编程题目：字符串中替换空格为另一字符串
跑DCGAN代码，并修改超参数learning rate 试验效果

2019.8.29

问题：

总结与工作汇报PPT制作

2019.8.28

GAN-Overview-Chinese论文看完
总结SVM-LOSS及梯度
numpy-广播
完成CS231n-softmax的代码作业

2019.8.27

代码实现：用Pillow批量去除在图片上影响训练效果的无关文本
数学建模题目及相关资料的阅读
GAN-Overview-Chinese论文阅读

2019.8.26

目标：各种GAN的结构及Loss function整理成PPT（大致完成）

2019.8.23

GAN paper的理论部分，并总结制作PPT
完成Generative Adversarial Networks: An Overview论文阅读

2019.8.22

完成CS231n-SVM的代码作业
Generative Adversarial Networks: An Overview论文阅读（未阅读完全）
李宏毅深度学习课程-GAN,似乎懂了一些GAN paper的理论

2019.8.21

完成CS231n-KNN的代码作业：代码层面理解KNN的原理；在作业的过程中，熟悉了numpy的应用，体会到了二层循环运算、一层循环运算、无循环的vectorized运算的神奇之处。
《tensorflow实战》第五章：复杂的卷积神经网络
计算机视觉识别：优化
numpy-从数值范围创建数组

2019.8.20

TODO

计算机视觉识别-损失函数：原理层面理解KNN及SVM、Softmax损失函数
启动numpy学习
多层感知机（带有隐藏层的网络）
《tensorflow》实战第五章：卷积神经网络
学习jupyter notebook的简单使用

收获W的发音原来是double U

2019.8.19

斯坦福李飞飞计算机视觉识别：K近邻算法、线性分类
训练集、验证集、测试集的区别
tensorflow实现手写数字
支持向量机的直观理解
自编码器了解

2019.8.15

TODO

create_discriminator函数中第一层网络的rectified可视化出来。可视化不出来的，因为通道有64
搞清楚为什么要rectified，为什么要normalized?
梯度消失是什么？
反向传播算法

2019.8.14

问题

项目目标是什么？

TODO

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks论文阅读
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks代码阅读，不大懂
了解残差块
卷积层的输入输出层数的关系计算，总参数的计算

2019.8.13

问题：

input = tf.concat([discrim_inputs, discrim_targets], axis=3) 通道拼接怎么理解，为什么discriminator的构建，将输入和输出拼接，卷积，激活，卷积，激活后就能输出判别的概率？
1个epoch表示过了1遍训练集中的所有样本，那么为什么训练的时候要重复几千个epoch呢？

TODO:

阅读CycleGAN, a Master of Steganography论文
看CycleGAN-tensorflow代码

2019.8.12

TODO

学习应用tools里面的脚本文件

问题：

为什么discriminator_loss会先下降后上升，而generator_loss会先上升后下降？
摩尔纹的两个test文件，407的区别，407是什么意思呢？
训练时候，xshell断开连接，训练会继续吗？中断训练用ctrl+c 就可以了吧？
如果其中一个人在使用gpu进行训练，另一个人也使用相同的GPU,会发生什么呢？会干扰到第一个人的训练吗？

2019.8.9

问题：

discriminator的最后一层网络,卷积后sigmoid，直观上生成的图像每个点的代表的是什么呢？是分辩真假后的概率吗？看代码不像是，从代码上看，为什么create_discriminator这个函数能作为辨别器呢?
为什么create_discriminator\create_generator代码这么写就能成为生成器和分辨器？
代码中的损失和论文中的对不上。代码中gen_loss_GAN和discrim_loss对应论文中哪里呢？

TODO:

结合Pix2pix工程，tensorboard学习
进一步学习代码中的网络部分
论文
测试pix2pix中的其他数据集
which only penalizes structure at the scale of image patches？看论文Structured losses for image modeling部分（SSIM metric …）

2019.8.8

回头看pix2pix的论文，并结合代码理解论文
卷积理论结合函数tf.layers.conv2d
传统机器学习与深度学习的区别是什么？
服务器上的训练文件的名称的参数都是什么意思，ssim是衡量两张图片的相似度，psnr什么意思
感受野概念的理解

2019.8.7

TODO

搭建好xshell 与winscp服务器配置
搭建Xshell隧道（待跑训练，输出tensorboad测试）
测试杨工的训练模型
看pix2pix网络代码

问题：

server中的各文件是用来做什么的？用作Docker的
lab_colorization 是用来做什么的？
batch size可以理解成batch张图片吗？batch的大小对训练速度的影响大吗？

我学了什么？

熟悉了pix2pix工程，大概知道数据集该怎么处理，工程该怎么运行
了解 GAN、CycleGAN、pix2pix、pix2pixHD、U-Net
测试工程的各个输入参数

2019.8.2

运行pix2pix-tensorflow工程中的测试部分
了解pix2pix-tensorflow工程中各脚本文件
训练的方向AtoB\BtoA是什么意思？
数据集中的test、train、val各是什么意思？我理解的val是输入，但是为什么输入也是一对匹配的图像？因为test的输出是三张图片:input/output/target/，输入的匹配图像是Input和target,程序运行的结果是output
process.py 中blank操作，将原图像添加一个白色正方形是为了做什么？
export这种mode是用来做什么的？