池化层
MaxPooling2D(pool_size=(2, 2), strides=None, padding=’valid’, data_format=None)
GlobalMaxPooling2D(data_format=None) default =channel last
循环层
LSTM
GRU
CuDNNLSTM
CuDNNGRU
问题: lstm对gpu利用率不高,原因是什么?
具体看GPU占用率,也就是模型复杂度,如果GPU占用率不是很高,不建议并行,因为并行后的速度由于多了通信的开销,还不如单卡的速度。
比如我的lstm处理75维的数据,只有20万参数,跟几千万的卷积网络没法比,用四卡完全没必要。
问题:gpu的显存全部占满,是用什么占满的,网络参数只有不到几百兆,为什么利用率却不高
直接分配所有,如果想按需分配,可以在session中设置一个参数