前言:师兄组会上的一篇文章, 给结构学习提供了新思路, 自己仔细读一读记点笔记.
主要参考文献:
Chen, G., Lu, Y., Su, R., & Kong, Z. (2022). Interpretable Fault Diagnosis of Rolling Element Bearings with Temporal Logic Neural Network. ArXiv. https://doi.org/10.48550/arXiv.2204.07579
文章目录
概览
本文亮点:
- 用神经网络的反向传播特性来学习公式结构
- 通过结构学习解决的是数据的拟合而非分类问题
- wSTL的引入
流水账笔记
1 Introduction
本文的中心论点其实有点奇怪, 全片放在故障诊断的框架下谈, 但我感觉STL的结构学习算法才是这篇论文的核心.
故障诊断通常是用DL来做的, 但是传统的DL神经网络通常是黑箱一般的存在, 究竟是根据怎样的依据进行分类的不得而知。
因此本文的研究意义是为了给DL提供形式化解释——时序逻辑的可解释性便为DL可解释性的研究提供了一条新思路.
TLNN的主要思想: 用神经网络编码STL的公式结构
2 Preliminaries
STL
之前介绍过很多次了, 这里不再赘述。
wSTL
wSTL的定义是使用神经网络的基础. 这里重点要搞清楚wSTL和STL有什么样的区别. 顾名思义, wSTL多了一个权重的概念, 那么这个权重是加在哪里呢?
φ : = μ ∣ ¬ φ ∣ ∧ i = 1 : N w φ i ∣ ∨ i = 1 : N w φ i ∣ ∇ [ τ 1 , τ 2 ) w φ ∣ □ [ τ 1 , τ 2 ) w φ \varphi:=\mu|\neg \varphi| \wedge_{i=1: N}^{w} \varphi_{i}\left|\vee_{i=1: N}^{w} \varphi_{i}\right| \nabla_{\left[\tau_{1}, \tau_{2}\right)}^{w} \varphi \mid \square_{\left[\tau_{1}, \tau_{2}\right)}^{w} \varphi φ:=μ∣¬φ∣∧i=1:Nwφi∣∨i=1:Nwφi∣∇[τ1,τ2)wφ∣□[τ1,τ2)wφ
- 对于布尔操作子, 权重加在子公式上
- 对于时序操作子, 权重加在不同的时间点上.
Weighted robustness degree
定义:
ρ w ( x , f ( x ) ≥ c , t ) : = w 2 ( f ( x ( t ) ) − c ) ρ w ( x , f ( x ) < c , t ) : = w 2 ( c − f ( x ( t ) ) ) ρ w ( x , ¬ φ , t ) : = − ρ w ( x , φ , t ) ρ w ( x , ∧ i = 1 : N w φ i , t ) : = g ∧ ( w , [ ρ w ( x , φ i , t ) ] i = 1 : N ) ρ w ( x , ∨ i = 1 : N w φ i , t ) : = g ∨ ( w , [ ρ w ( x , φ i , t ) ] i = 1 : N ) ρ w ( x , □ [ τ 1 , τ 2 ] w φ , t ) : = g □ ( w , [ ρ w ( x , φ , t ) ] t ′ ∈ [ t + τ 1 , t + τ 2 ] ) ρ w ( x , ⋄ [ τ 1 , τ 2 ] φ , t ) : = g ⋄ ( w , [ ρ w ( x , φ , t ) ] t ′ ∈ [ t + τ 1 , t + τ 2 ] ) \begin{array}{ll}\rho^{w}(x, f(x) \geq c, t) & :=\frac{w}{2}(f(x(t))-c) \\ \rho^{w}(x, f(x)<c, t) & :=\frac{w}{2}(c-f(x(t))) \\ \rho^{w}(x, \neg \varphi, t) & :=-\rho^{w}(x, \varphi, t) \\ \rho^{w}\left(x, \wedge_{i=1: N}^{w} \varphi_{i}, t\right) & :=g^{\wedge}\left(w,\left[\rho^{w}\left(x, \varphi_{i}, t\right)\right]_{i=1: N}\right) \\ \rho^{w}\left(x, \vee_{i=1: N}^{w} \varphi_{i}, t\right) & :=g^{\vee}\left(w,\left[\rho^{w}\left(x, \varphi_{i}, t\right)\right]_{i=1: N}\right) \\ \rho^{w}\left(x, \square_{\left[\tau_{1}, \tau_{2}\right]}^{w} \varphi, t\right) & :=g^{\square}\left(w,\left[\rho^{w}(x, \varphi, t)\right]_{t^{\prime} \in\left[t+\tau_{1}, t+\tau_{2}\right]}\right) \\ \rho^{w}\left(x, \diamond_{\left[\tau_{1}, \tau_{2}\right]} \varphi, t\right) & :=g^{\diamond}\left(w,\left[\rho^{w}(x, \varphi, t)\right]_{t^{\prime} \in\left[t+\tau_{1}, t+\tau_{2}\right]}\right)\end{array} ρw(x,f(x)≥c,t)ρw(x,f(x)<c,t)ρw(x,¬φ,t)ρw(x,∧i=1:Nwφi,t)ρw(x,∨i=1:Nwφi,t)ρw(x,□[τ1,τ2]wφ,t)ρw(x,⋄[τ1,τ