a362682954的博客

权重稀疏作用增加权重的0个数量,加快推理速度pytorch权重稀疏训练通过L1损失来减少神经网络权重, 使得大部分权重接近于0.注意点: 最后一层和bias层通常不进行稀疏.原理, 通过每一个权重等系数的减少来进行权重稀疏. l1_reg = None for i, W in enumerate(network.parameters()): if i == 64 or i == 54 or i == 44 or i == 34 or i % 2 == 1:

混合精度是指在训练期间在模型中同时使用16位和32位浮点类型，以使其运行更快并使用更少的内存。通过将模型的某些部分保持在32位类型中以保持数值稳定性，模型将具有更短的步长时间，并且在评估指标（如准确性）方面同样可以训练。可以在现代GPU和TPU上将性能提高。tensorflow自带了混合精度训练，但是要求版本在2.1以上。而混合精度训练需要一定的硬件配置。虽然混合精度可以在大多数硬件上运行...

使用tf.keras.applications中的模型构建自己的网络，并且使用官方的预训练模型:经过我反复实验： model = tf.keras.applications.MobileNetV2(include_top=False, weights="imagenet") inputs = tf.keras.layers.Input(shape=(224, 224, 3)...

tensofrlow2.0的api和使用方法：https://zhuanlan.zhihu.com/c_1091021863043624960

读模型中使用 tf.import_graph_def(od_graph_def, name='') 出现ValueError: Input 0 of node batch_normalization_v1/cond/ReadVariableOp/Switch was passed float from batch_normalization_v1/moving_mean:0 inc...

折腾了我几天，一直搞不定。最后用以下代码成功保存。方法一：tensorflow2.0以上版本可以使用tf.saved_model.save(model, "save_test")model = tf.saved_model.load("save_test")来保存成pb文件，以及读取。方法二tensorflow1.x版本可以使用如下代码保存：session = t...

我通过降低setuptools版本到 44.0.0 后成功解决问题。pip install setuptools==44.0.0参考文献：https://blog.51cto.com/cfy10/2468597?source=dra

转载：http://theorangeduck.com/page/neural-network-not-workingMy Neural Network isn't working! What should I do?Created on Aug. 19, 2017, 5:56 p.m.So you're developing the next great breakthroug...