tensorflow中自定义激活函数

关注

原创最新推荐文章于 2026-05-01 18:00:00 发布 3.8k 阅读 AI 写同款· GEO 优化 ›

Tensorflow自定义激活函数/函数/梯度 Tensorflow自定义激活函数/函数/梯度 (对于Tensorflow 1.x) 最近刚做完一个paper，需要自定义激活函数，记录一下心得，顺便帮助下有需要的小伙伴。大刀阔斧，直接上解决方案： 1、对于分段（激活）函数，代码分开写 2、使用自带自定义梯度详解 Tensorflow是自动求导（不懂就百度），因此我们不需要定义梯度，但大家可能会遇到和我一样的问题（在训练模型的时候loss爆炸）... 阅读详情

一、tensorflow中常用的模型定义

import tensorflow as tf

model=tf.keras.Sequential([
    tf.keras.layers.Dense(64, kernel_initializer='normal', activation='relu'),
    tf.keras.layers.Dense(1, kernel_initializer='normal', activation='relu')
)]

上面这段代码定义了两层，输出为一个元素。

如果想实验自己的激活函数，又不想过多地写代码。可以使用以下方法：

比如定义tanh

$\tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}=\frac{e^{2x}-1}{e^{2x}+1}=1-\frac{2}{e^{2x}+1}$

二、在keras网站上对自定义激活函数有如下说明：

Creating custom activations

You can also use a TensorFlow callable as an activation (in this case it should take a tensor and return a tensor of the same shape and dtype):

简单地翻译：你可以使用一个可调用的tensorflow作为激活函数（这种情况下，它输入一个张量并且返回一个具有同样形状和类型的张量）

三、例子：

import tensorflow as tf

def m_tanh(x):
  return 1-2/(tf.math.exp(2*x)+1)

model=tf.keras.Sequential([
    tf.keras.layers.Dense(64, kernel_initializer='normal', activation=m_tanh),
    tf.keras.layers.Dense(1, kernel_initializer='normal', activation=m_tanh)
)]

四、总结：

tensorflow中可以自定义单独的激活函数。只要保证输入、输出是形状和元素数据类型一样就可以。

当然如果想定义复杂的激活函数，就需要使用激活层来实现了。

收录于