keras图像处理笔记1

 

keras
数据生成器
将图像处理转化为训练格式，keras使训练数据不会爆炸内存或者显存

keras可以选择迁移学习中哪些层是可以训练的

keras中的数学
序列数据
文字数据(特殊的序列)
图像数据

gc
imagedataGenerator 使得训练的时候每次使用一小部分数据
可以自己设计激活函数
keras的源码都是python写得，可以去自己修改或者查看

-----------------------------
SGD随机梯度下降，收敛难（学习率大的时候）（开车只根据梯度来）

有momentum的SGD
有之前的速度，让学习率较大的时候收敛的方向不至于反弹（开车带有之前的速度，下一步拐弯的时候不至于很快偏离现在的运动方向）

nesterov
相当于知道下一步改进方向的同时，让moment向这个改进方向偏移（知道下一步开车的方向，刹车使目前的速度不至于影响太大）

adaGrad（一般学习效果比较好）
在update的时候learning rate要改变。在距离最优较远的是lr大，后来的lr小。也用了momentum

RMSprop(hinton)
在计算梯度的时候是同有momentum的SGD,在lr中分配lr的变化因素的权值，类似adagrad