简述智能网络技术人工智能网络教程( 二 )

左上角：阶跃函数。右上角： Sigmoid 激活函数。左中：双曲正切。中右： ReLU 激活（深度神经网络最常用的激活函数）。左下： Leaky ReLU，允许负数的 ReLU 变体。右下： ELU，ReLU 的另一种变体，其性能通常优于 Leaky ReLU 。
然而，虽然直观且易于使用，但阶梯函数不可微，这可能会导致在应用梯度下降和训练我们的网络时出现问题。
相反，神经网络更常见的激活函数是 sigmoid 函数它遵循以下等式：
sigmoid 函数是比简单阶跃函数更好的学习选择，因为它：
处处连续且可微。围绕y轴对称。渐近地接近其饱和值。这里的主要优点是 sigmoid 函数的平滑性使得设计学习算法变得更加容易。但是，sigmoid函数有两个大问题：
sigmoid 的输出不是以零为中心的。饱和神经元基本上会杀死梯度，因为梯度的增量非常小。直到 1990 年代后期，双曲正切或tanh（具有类似 sigmoid 的形状）也被大量用作激活函数：tanh的方程如下：
f ( z ) = tanh ( z ) = ( e z -e -z ) / ( e z + e -z )
所述的tanh函数零为中心，但是，当神经元变得饱和梯度仍然杀死。
我们现在知道激活函数有比 sigmoid 和tanh函数更好的选择。
f ( x ) = max (0 , x )
ReLU 也被称为“斜坡函数”，因为它们在绘制时的外观。注意函数对于负输入是如何为零的，但对于正值则线性增加。ReLU 函数是不可饱和的，并且在计算上也非常高效。
根据经验，在RELU激活功能趋于超越sigmoid 和tanh在几乎所有的应用功能。ReLU 激活函数比之前的激活函数家族具有更强的生物动机，包括更完整的数学理由。
截至 2015 年，ReLU 是深度学习中最流行的激活函数。然而，当我们的值为零时会出现一个问题——不能采用梯度。
ReLU 的一种变体，称为Leaky ReLU允许在单元不活动时使用小的非零梯度：
我们可以看到该函数确实允许采用负值，这与将函数输出为零的传统 ReLU 不同。
Parametric ReLUs，或简称 PReLUs，建立在 Leaky ReLUs 的基础上，允许参数α在一个激活的基础上学习，这意味着网络中的每个节点都可以学习与其他节点分开的不同“系数” 。
最后，我们还有(ELU)激励函数。
α的值是常数，并在网络架构实例化时设置——这与学习效率α 的PReLU 不同。对于一个典型的值α是α = 1。ELU 通常比 ReLU 获得更高的分类准确率。
具有 3 个输入节点、具有 2 个节点的隐藏层、具有 3 个节点的第二个隐藏层以及具有 2 个节点的最终输出层的前馈神经网络示例。
使用哪个激活函数？
鉴于最近深度学习的普及，激活函数出现了相关的爆炸式增长。由于激活函数的选择数量众多，现代（ReLU、Leaky ReLU、ELU 等）和“经典”（step、sigmoid、tanh等），它可能看起来令人生畏，如何来选择合适的激活函数。
然而，在几乎所有情况下，建议从 ReLU 开始以获得基线准确度。从那里可以尝试将标准 ReLU 换成 Leaky ReLU 变体。
前馈网络架构
虽然有许多神经网络的前馈架构，最常见的结构是Feedforward网络
在这种类型的架构中，节点之间的连接只允许从第i层的节点到第i +1层的节点。不允许向后或层间接连接。当前馈网络包括反馈连接（反馈到输入的输出连接）时，它们被称为循环神经网络。
我们专注于前馈神经网络，因为它们是应用于计算机视觉的现代深度学习的基石。卷积神经网络只是前馈神经网络的一个特例。
为了描述一个前馈网络，我们通常使用一个整数序列来快速简洁地表示每一层的节点数。例如，上图中的网络是一个3-2-3-2前馈网络：

以上关于本文的内容，仅作参考！温馨提示：如遇健康、疾病相关的问题，请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容，希望对您有所帮助：

简述智能网络技术 人工智能网络教程( 二 )

简述智能网络技术人工智能网络教程( 二 )