最详细循环神经网络讲解循环神经网络原理( 八 )

如果 Ft 和 Gt 是沃尔泰拉级数（即 N，M=∞），则在 r = 1, 2, . . . 上，
是具有上述响应核
的沃尔泰拉级数（只要它是明确定义的) 。
此外，定理 4.2 中的陈述适用于
，即
在定理 4.2 的假设下允许指定形式的收敛级数展开。
定义 4.2 （路径特征）令 X∈C([0, T], E)为有界变差路径。X 的特征是 T((E))的元素 S，定义为
其中
当且仅当 n ∈ Z+，
。
令
为
的典范基，那么我们有：
用
表示对偶配对，有
定理 4.3 （特征方面的无记忆表示）设 p 是一个正整数，并假设输入信号 u 是一个有界变差路径。那么 SRNN 的输出函数 Ft 是
在 p→∞ 的极限，其是路径特征的线性泛函，
（可通过向量化与
进行识别），其中
，即
其中，bn(t)仅取决于 t 的系数。
将 SRNN 表述为核机器
我们现在考虑一个监督学习（回归或分类）的环境，我们给定 N 个训练输入输出对
，其中 un∈χ，为
中有界变差的路径空间，yn∈R，使得对于所有 n，有
，这里 FT 是一个连续目标映射。
考虑优化问题：
其中 G 是具有范数
的假设（巴拿赫）空间，
为一个损失函数，R(x)是一个在 x 中严格增加的实值函数。
受定理 4.3 的启发（将 G 视为由 SRNN 引入的假设空间）我们将表明，该问题的解决方案可以表示为对训练样本的核扩展。
在下文中，考虑希尔伯特空间：
其中 P 是适当加权的
序列空间，其遵循序列形式为
，其中
Pn(t)是[0, T]上的正交多项式。令
表示 H 上的对称福克空间，
表示 L∈Z+时
的 L 折张量积。
命题 4.3 令 L∈Z+ 。考虑映射
，定义为：
其中 K 是 H 上的核，存在一个唯一的 RKHS，表示为具有范数
的
，其中 K 为再生核。
定理 4.4 （表示定理）考虑时间增加的路径
，其中 un 是 χ 中
值的输入路径，v 是 P 中
值向量。那么：
(a) 假设空间为
的前文所述优化问题的任何解都允许以下形式的表示：
其中 cn∈R，N 是训练输入-输出对的数量。
(b) 令 L ∈ Z+ 。如果我们转而考虑路径，表示为
，在时间 ti∈[0, T]上，通过对 L+1 个数据点进行线性插值获得
，则相应优化问题的任何解都具有
的假设空间，表示形式为：
其中 αn∈R，l=1,…,L 时，
。
结论
在本文中，我们使用非平衡统计动力学的非线性响应理论作为起点，解决了关于一类随机循环神经网络 (SRNN) 的两个基本问题，这些网络可以是人工或生物网络的模型。特别地，我们能够以系统的、逐级的方式来描述 SRNN 对扰动的确定性输入信号的响应，为这些 SRNN 的输出函数推导出两种类型的序列表示，以及在驱动输入信号方面的深度变体。这提供了对由这些驱动网络所引起的记忆和无记忆表示的性质的探究。此外，通过将这些表示与路径特征的概念联系起来，我们发现响应特征集是 SRNN 在处理输入信号时从中提取信息的构建块，揭示了 SRNN 运行的普遍机制。特别地，我们通过表示定理表明，SRNN 可以被看作是在与响应特征相关的再生核希尔伯特空间上运行的核机器。
从数学的角度来看，放宽这里的假设，并在驱动输入信号是粗略路径的一般设置中工作会很有趣，输入信号的规律性可能会发挥重要作用。人们还可以通过采用此处开发的技术来研究 SRNN 如何响应输入信号和噪声驱动（正则化）中的扰动。到目前为止，我们一直专注于介绍中提到的“公式化优先”方法。这里获得的结果表明，可以通过设计有效的算法来利用离散化响应特征和相关特征在涉及时间数据的机器学习任务中的使用，来研究”离散化的下一步”，例如在科学与工程中预测由复杂动力系统产生的时间序列。

以上关于本文的内容，仅作参考！温馨提示：如遇健康、疾病相关的问题，请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容，希望对您有所帮助：

最详细循环神经网络讲解 循环神经网络原理( 八 )

最详细循环神经网络讲解循环神经网络原理( 八 )