最详细循环神经网络讲解 循环神经网络原理( 六 )


对于任何可观察的
,其中
。我们将与 h 关联的转移算子
定义为:
对于
,和转移算子
(其为一个马尔科夫半群),它们都是与
相关联的 。
此外,可以在概率测度空间上定义上述生成元和转移算子的 L2 伴随矩阵 。我们分别用

表示与 h 和
关联的伴随生成器,分别用

表示与 h 和
关联的伴随转移算子 。我们假设初始测度和过程定律具有关于勒贝格测度的密度 。将初始密度表示为

满足与
关联的前向柯尔莫果洛夫方程(FKE) 。
我们采取自然的假设,即扰动和未扰动过程都有相同的初始分布
,这通常不是无扰动动力学的不变分布

关键思想和形式推导
首先,我们将推导出 SRNN 的输出函数在驱动输入信号方面的表示 。我们的方法源于非平衡统计动力学的响应理论 。在下文中,我们假设任何无限级数都是明确定义的,且求和和积分之间的任何互换都是合理的 。
固定一个 T>0,令
足够小并且
首先,请注意概率密度
的 FKE 是:
其中
,而:
关键思想是,由于 ε> 0 很小,我们寻求形式为 ρ 的微扰展开:
将其代入 FKE 并匹配 ε 中的阶数,我们得到以下方程层次:
ρn 的形式解可以通过迭代获得 。形式化的描述,我们记
。在不变分布是稳定的特殊情况下,
与时间无关 。
请注意,n ≥ 2 时,
,在 n ≥ 2 时,解 ρn 通过递归关系而得:
因此,假设下面的无穷级数绝对收敛,我们有:
接下来,我们考虑 SRNN 的隐性动力学的标量值观测值
,并研究输入信号扰动引起的该观测值的平均偏差:
对于扰动动力学的可观察值的平均值可写为:
在不丧失一般性的情况下,我们在下文中取
,即 f(h)被认为是均值为零的(相对于 ρinit) 。
我们有:
其中
是一阶响应核,它们是相对于 ρinit 的仅无扰动动力学函数的平均值 。请注意,为了获得上面的最后一行,我们分部积分并假设 ρinit>0 。
该式表达了阿加瓦尔型的非平衡波动-耗散关系 。在平稳不变分布的情况下,我们使用(向量值)响应核,恢复统计力学中众所周知的平衡波动-耗散关系:
其中
。在线性 SRNN(即 φ(h, t)在 h 中是线性的)和 f(h) = h 的特殊情况下,其可简化为
的协方差函数(相对于 ρ∞) 。
到目前为止,我们已经研究了线性响应机制,其中,响应线性地依赖于输入 。现在我们通过将上述推导扩展到 n≥2 的情况 。我们表示
,可得
其中

是 n 阶响应核:

n = 2, 3, . . .时,
请注意,这些高阶响应核与一阶响应核类似,是相对于 ρinit 的一些仅无扰动动力学的函数的平均值 。
基于上述结果可得:
其中
是递归定义的时间相关核 。更重要的是,这些核完全由 SRNN 的未扰动动力学以明确的方式确定 。因此,SRNN 的输出函数可以写成(实际上是唯一的)上述一系列形式 。该陈述在后文中得到了精确表述,从而解决了 (Q1) 。
现在我们关注(Q2) 。通过展开技术,我们可以得到:
其中,
是与时间和信号
无关的常数 。该表达式以系统的方式将驱动输入信号从 SRNN 架构中分离出来 。粗略地说,它告诉我们,SRNN 对输入信号的响应可以通过将两部分的乘积相加得到,其中一个描述了 SRNN 的未扰动部分,一个是经过时间变换的输入信号的迭加积分 。这一声明在后续得到了更精确的阐述,它是解决(Q2)的起点 。


以上关于本文的内容,仅作参考!温馨提示:如遇健康、疾病相关的问题,请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容,希望对您有所帮助: