神经网络模型

1943年一直沿用至今的M-P神经网络模型

M-P神经网络模型

模型解释：

将输入神经元的x乘上相应权重w并求和，将结果与阈值$\theta$做差，再经过激活函数f得到输出值y

名词解释：

阈值(threshold / bias):
表示神经元电位超过阈值则被激活

激活函数(activation function)：也称挤压函数或响应函数，用于将输入值映射为0/1或(0，1)

训练目标：

通过训练模型，得出合适的w和$\theta$，其中训练算法最常见的就是下面会说到的BP算法

![[Pasted image 20240531074642.png]]

激活函数

回顾第三章线性模型中的对数几率回归模型和单位阶跃函数

最理想状态是用单位阶跃函数输入值映射为0/1，但由于其不连续、不光滑的性质，我们使用Sigmoid函数将输入值映射为(0，1)，Sigmoid函数即型为S的函数，其中我们最常用的就是对数几率函数：
$$ s i g m o i d ( x ) = \frac { 1 } { 1 + e ^ { - x } }$$
对率函数有很好的性质：$$ f ^ { \prime } ( x ) = f \left( x \right) ( 1 - f \left( x \right) )$$

万有逼近能力

名词概念：

仅需一个包含足够多神经元的隐层，多层前馈神经网络就能以任意精度逼近任意复杂度的连续函数

引入原因：

很多算法都具有万有逼近能力，不是神经网络所特有的，如决策树、支持向量机等等。而之所以在神经网络中强调其万有逼近能力，是因为其数学公理方面的理论薄弱，为了证明其有效性而进行说明。

BP算法

误差逆传播(error BackPropagation，简称BP)算法，亦称反向传播算法