Support Vector Machine

导入库函数

1
2
3
4
5

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy.io import loadmat
from sklearn import svm

行向量

1

np.array([[1,2,3]])

结果:

1

[[1,2,3]]

.shape为（1,3）。是一个一行三列的行向量。

支持向量机

优化目标

在监督学习中，重要的不是你选择的算法，而是应用这些算法时，选择的特征、正则化参数等等诸如此类。其中有一种非常强大的分类工具，称为支持向量机。（Support Vector Machine，SVM）

下面展示如何通过修改逻辑回归，来得到SVM。

首先回顾一下逻辑回归假设函数，注意y=1和y=0的情况。

运用机器学习建议

决定下一步做什么？

当你的模型运用于新的样本时，如果产生巨大的误差该怎么办？

一般来说，有以下几种处理方式：

• 获得更多的训练样本——通常是有效的，但代价较大，下面的方法也可能有效，可考虑先采用下面的几种方法。
• 尝试减少特征的数量
• 尝试获得更多的特征
• 尝试增加多项式特征
• 尝试减少正则化程度$\lambda$
• 尝试增加正则化程度$\lambda$

当然我们不可能随机去一个个方法尝试，所以需要一点手段来预测。

用matplotlib画图时会遇到原点不重合在左下角的情况

1
2
3
4
5
6
7
8

fig,ax=plt.subplots(figsize=(8,5))
    ax.plot(range(1,13),error_train,label="Train")
    ax.plot(range(1,13),error_cv,label="Cross Validation",color="green")
    ax.legend()
    plt.xlabel("Number of training examples")
    plt.ylabel('error')
    plt.title('Learning curve of linear regression')
    plt.show()

正向传播

和机器学习|吴恩达机器学习之神经网络中的内容差不多，都是在给出$\Theta_{(1)}$和$\Theta_{(2)}$的情况下通过正向传播求个代价值或是验证一下准确率。

matplotlib是python领域中很常见的绘图模块

几乎只在需要用到时查手册，这里记录一些比较常用的函数，有机会再来系统学习一下

多类分类问题

就是把多个类别细分为多个0-1类别来分析

对《机器学习》这门课程的回顾，系列文章的目的是希望能够把原理和代码实现统一起来，增进理解，所以对一些我认为简单的知识，可能会一笔带过。

前言

这里对第一周的内容做一些简单的回顾：

一个名为回归却用于解决分类问题的算法，吴恩达coursera第三周