章节介绍

统计学领域名声赫赫的SVM与核方法是时至今日仍在高频使用的经典算法。

笔记介绍

对本章各节知识点进行汇总，主要分为引入原因，原理思想，和一些思考，对于数学推导内容介绍较少，有需要的可以先阅读西瓜书，再参考南瓜书的数学推导。

数学知识

大部分都是规划类、最优化的问题，最好先进行相关知识的学习。

这里推荐一本书：最优化：建模、算法与理论 (刘浩洋 户将 李勇锋 文再文)

SVM-支持向量机

引入原因：

在线性可分的条件下，我们在训练集做分类任务时，最基本的想法就是在样本空间中找到一个超平面进行划分,
但是对于分类任务，我们可以画出很多个超平面，这时候就需要引入损失函数，对超平面进行选择，而使得两个异类支持向量的距离最大化，就是我们所说的支持向量机的基本型。

神经网络模型

1943年一直沿用至今的M-P神经网络模型

M-P神经网络模型

模型解释：

将输入神经元的x乘上相应权重w并求和，将结果与阈值$\theta$做差，再经过激活函数f得到输出值y

名词解释：

阈值(threshold / bias):
表示神经元电位超过阈值则被激活

激活函数(activation function)：也称挤压函数或响应函数，用于将输入值映射为0/1或(0，1)

训练目标：

通过训练模型，得出合适的w和$\theta$，其中训练算法最常见的就是下面会说到的BP算法