百木园支持向量机（Support vector machine, SVM）是一种二分类模型，是按有监督学习方式对数据进行二元分类的广义线性分类器。
支持向量机经常应用于模式识别问题，如人像识别、文本分类、手写识别、生物信息识别等领域。
1、支持向量机（SVM）的基本原理
SVM 的基本模型是特征空间上间隔最大的线性分类器，还可以通过核函数方法扩展为非线性分类器。
SVM 的分割策略是间隔最大化，通过寻求结构化风险最小来提高模型的泛化能力，实现经验风险和置信范围的最小化。SVM 可以转化为求解凸二次规划的问题，学习算法就是求解凸二次规划的最优化算法。
欢迎关注 Youcans 原创系列，每周更新数模笔记
Python数模笔记-PuLP库
Python数模笔记-StatsModels统计回归
Python数模笔记-Sklearn
Python数模笔记-NetworkX
Python数模笔记-模拟退火算法
1.1 SVM 线性分类器
线性可分，在二维平面上是指可以用一条直线将两个点集完全分开，在三维空间上是指可以用一个平面将两个点集完全分开，扩展到多维空间上就是可以用一个超平面完全分割两个点集。
对于线性可分问题，不是仅存在一个超平面可以完全分割两个点集，而是存在无穷多个完全可分的超平面。显然。可以找到两个这样的超平面：（1）完全分割两个点集；（1）两者相互平行；（2）两者距离最大（图中的两条虚线），这两个超平面上的样本点称为支持向量。
样本集中的样本被分为两类，SVM 学习算法就是寻找最大间隔超平面（maximum-margin hyperplane），使样本集的两类数据点以尽可能宽的间隔被超平面分开，其特征是：（1）两类样本被分割在超平面的两侧；（2）两侧距离超平面最近的样本点到超平面的距离最大。显然，最大间隔超平面就是上述两个支持向量超平面的均值。
顺便说一句，感知机（）就是采用错误分类最小的策略求分离超平面，有无穷多个解；线性可分支持向量机以间隔最大化求解最优分离超平面，解是唯一的。
超平面可以用线性方程来描述：
\\[w^Tx + b = 0
\\]
来源：https://www.cnblogs.com/youcans/p/14773370.html
图文来源于网络，如有侵权请联系删除。