Reluplex Example

本文介绍了ReLU激活函数在深层神经网络(DNN)中的配置步骤。通过一系列的数学方程和迭代过程,确保网络中各变量的有效更新。当变量越界时,采用PivotForRelu操作调整网络状态。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

初始的ReLU设置由DNN各层之间的关系得到。
设定的基本变量初始为a1,a2,a3,a4,a5a1,a2,a3,a4,a5,根据DNN有下面的五个方程:
1a1=vb21v11+v12v13(1)a1=v21b−v11+v12−v13
2a2=vb22+v11+v12v13(2)a2=v22b+v11+v12−v13
3a3=vb31vf21+vf22(3)a3=v31b−v21f+v22f
4a4=vb323vf21vf22(4)a4=v32b−3v21f−v22f
5a5=v41+vf31vf32(5)a5=v41+v31f−v32f

基本变量集合为a1,a2,a3,a4,a5a1,a2,a3,a4,a5,ReLU连接集合R={<vb21,vf21>,<vb22,vf22>,<vb31,vf31>,<vb32,vf32>}{<v21b,v21f>,<v22b,v22f>,<v31b,v31f>,<v32b,v32f>}
所有变量的初始值均赋值为0。基本变量的上界和下界设为0.输入输出变量的上下界需要根据具体的条件设置,在此处因为没有上下文所以我们自己初始化了一个上下界。
配置步骤:

  1. 变量v41v41是非基本变量而且越界了。所以我们要Update,把它设置成1。
    根据方程(5),v41=1v41=1意味着a5=1a5=1
  2. a5=1a5=1a5a5越界,需要执行PivotForRelu操作,把vf32v32f变成基本变量,把a5a5重新设置为0,而此时vf32=1v32f=1
  3. 因为此时α(vf32)=10=max(0,α(vb32))α(v32f)=1≠0=max(0,α(v32b))。所以要执行UpdatebUpdateb的操作,使得α(vb32)=1α(v32b)=1
  4. 根据方程(4),vb32=1v32b=1意味着a4=1a4=1
  5. a4=1a4=1a4a4越界,需要执行PivotForRelu操作,把vf22v22f变成基本变量,把a4a4重新设置为0,而此时vf22=1v22f=1
  6. 因为此时α(vf22)=10=max(0,α(vb22))α(v22f)=1≠0=max(0,α(v22b))。所以要执行UpdatebUpdateb的操作,使得α(vb22)=1α(v22b)=1
  7. 根据方程(3),vf22=1v22f=1意味着a3=1a3=1
  8. a3=1a3=1a3a3越界,需要执行PivotForRelu操作,把vf21v21f变成基本变量,把a3a3重新设置为0,而此时vf21=1v21f=1
  9. 根据方程(2),vb22=1v22b=1意味着a2=1a2=1
  10. a2=1a2=1a2a2越界,需要执行PivotForRelu操作,把v13v13变成基本变量,把a2a2重新设置为0,而此时v13=1v13=1
  11. 因为此时α(vf21)=10=max(0,α(vb21))α(v21f)=1≠0=max(0,α(v21b))。所以要执行UpdatebUpdateb的操作,使得α(vb21)=1α(v21b)=1
  12. 此时恰好满足所有条件,停机!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值