tensorflow加入正则项及如何自定义损失函数

自定义损失函数:

n表示batchsize

loss = tf.reduce_sum(tf.where(tf.greater(v1, v2), (v1 - v2) * a, (v1 -v2) * b))

tf.greater(v1, v2)比较两个输入张量中每一个元素大小, v1_i >v2_i 时, 该维度为true

tf.where(True, 1, 2)第一个参数是True执行1, 第一个参数是False执行2, 也是元素级别的函数,对每一个元素对应操作.

 

加入正则化项的损失函数:

loss = tf.reduce_mean(tf.square(y_-y)) + tf.contrib.layers.l2_regularizer(lambda)(w)

使用集合的方式:

tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(lambda)(w1))
//最后将所有的loss加起来,包括J(\theta)也送到collection
loss = tf.add_n(tf.get_collection('losses'))