关键词：框架清晰，满秩用最小二乘法，否则梯度下降

 

3.1 基本形式

线性模型（linear model）一个试图通过属性的线性组合来进行预测的函数

3.2 线性回归（linear regression）

分类和回归的区别

定量输出称为回归，或者说是连续变量预测；

定性输出称为分类，或者说是离散变量预测。

有序属性（分数：1 2 3 4）和无序属性（冬瓜 西瓜 南瓜：（1,0,0）（0,1,0）（0,0,1））

最小二乘法（least square method）：试图找到一个直线，使所有样本到直线上的欧式距离（Euclidean distance）之和最小

在分类中，还有各种距离http://blog.csdn.net/shiwei408/article/details/7602324

？

3.3 对数几率回归

为完成分类任务

最理想的时“单位阶跃函数”（unit-step function）

 

上式不能直接使用g^-（.），故近似单位阶跃函数的替代函数（surrogate function），并希望它单调可微.“对数几率函数”（logistics function）

对数几率函数是一种“sigmoid函数”——即 f(x)=1/(1 exp(-x)) 神的非线性作用函数

若将y视为样本x作为正例的可能性，则1-y是其反例可能性，两者的比值称为“几率”（odds）

对几率取对数则得到对数几率（log odds，亦成logit）

？

3.4 线性判别分析（Linear Discrimination Analysis）

设样例投影到一条直线上，同类样例投影点尽可能接近，异类样例投影点尽量远离

类内散度矩阵（within-class scatter matrix）和类间散度矩阵（between-class scatter matrix）

？

3.5 多分类学习

当遇到多分类学习任务

有些二分类学习任务可直接推广到多分类；但是更多情形下，我们是基于一些基本策略，利用二分类学习器来解决多分类问题

拆分策略：“一对一”（One vs One，简称OvO）、“一对多”（One vs

Rest，简称OvR）和“多对多”（Many vs Many）

？

3.6 类别不平衡（class-imbalance）问题

前面的分类学习方法都已一个共同的基本假设，即不同类别的训练样例数目相当

差别很大，则会对学习过程造成困扰.例如998反例，2正例，如果学习方法返回一个永远将新样本预测为反例的学习器，就能达到99.8%的准确度；然而这样的学习器往往没有价值，因为它不能预测出任何正例

类别不平衡学习的一个基本策略——“再缩放”（rescaling）

现有技术大体上有三类做法：

1 直接对训练集里的反类样例进行“欠采样”（undersampling），即去除一些反例使得正反例数目接近，然后进行学习

2 对训练集例的正类样例进行“过采样”（oversampling），即增加一些正例使得正反例数目接近

3 直接基于原始训练集进行学习，但在用训练好的分类器进行预测时，将（引：式3.48）嵌入到其决策过程中，成为“阈值移动”（threshold-moving）

 欠采样法时间开销通常远小于过采样法，因为前者丢弃了很多反例，使得分类器训练集远小于初始训练集，而过采样法增加了很多正例，其训练集大于初始训练集

过采样法并不能简单地对初始正例样本重复采样，否则会导致过拟合；过采样法代表算法有SMOTE

 

————————华丽的分割线（2017.8.6）————————————

摘要：从普通最小二乘法到局部加权线性回归