Catalog
  1. 1. 感知机模型(perceptron)
  2. 2. 感知机学习策略
    1. 2.1 数据集的线性可分性
    2. 2.2 感知机学习策略
  3. 3. 感知机学习算法
    1. 3.1 感知机学习算法
    2. 3.2 算法的收敛性
《统计学习方法》(CH02 感知机模型)

1. 感知机模型(perceptron)

神经网络与支持向量机的基础,数据线性可分

  • 输入空间:$$X\subseteq R^n$$

  • 输入变量:$$x\in X$$

  • 输出空间:$$Y=\left{+1,-1\right}$$

  • 输出变量:$$Y$$上的点

  • 假设空间:平面中的所有实线

    $$f(x)=sign(w\cdot x+b)=\begin{cases}

    +1& w\cdot x\geq0\\
    -1& w \cdot x<0
    \end{cases}

    $$

2. 感知机学习策略

2.1 数据集的线性可分性

$$ f(x)=sign(w\cdot x+b)=\begin{cases}
+1& w\cdot x\geq0\
-1& w \cdot x<0
\end{cases}$$

2.2 感知机学习策略

损失函数:误分类点到超平面的距离

3. 感知机学习算法

3.1 感知机学习算法

  • 算法1 原始形式:随机梯度下降法
    1. 选取初值
    2. 在训练集中选取数据
    3. 如果$$x=0$$
    4. 转至2,指导没有误分类的点
  • 算法2 对偶形式:感知机模型对偶形式
    1. 初值$$\alpha=0,b:=0 X$$
    2. 在训练集中选取数据
    3. 如果$$$$[更新了alpha]
    4. 转至2,指导没有误分类的点

3.2 算法的收敛性

​ 经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型。

Donate
  • 微信
  • 支付寶

Comment