统计学习 statistical learning
-
构建概率统计模型并运用模型对数据进行预测与分析的学科。
-
特点
-
学习定义
-
统计学习对象： 数据 提取特征，模型，发现知识，对数据分析与预测，基本假设，同类数据有一定统计规律性。
-
统计学习的分类
- supervised learning
- unsupervised learning
- reinforcement learning
-
统计学习方法：
-
统计学习方法步骤
- 得到有限的训练数据集合
- 保含所有可能的模型的假设空间，即学习模型的集合
- 确定模型选择的准则即学习的策略
- 实现求解最优模型的算法，即学习的算法
- 通过学习方法选择最优模型
- 利用学习的最优模型对数据进行预测或分析
监督学习
labled data
本质是学习输入到输出的映射的统计规律。
输入空间、特征空间、输入空间
instance，feature vector，feature space。
问题分类
- 回归
- 分类
- 标注问题
输入变量与输出变量均为变量序列的预测问题
联合概率分布
理论
假设空间
监督学习的模型可以是概率模型或者非概率模型。有条件概率P(Y/X)或者决策函数（decision function）Y = f（X）表示，随具体学习方法而定。
问题的形式化
分为学习和预测两过程。
argmax vs y=f（x）
无监督学习
无标注数据 本质是学习数据中的统计概率或潜在结构。模型对数据聚类，降维，或概率估计。
强化学习
智能系统与环境的连续互动中学习最优行为策略的机器学习问题
半监督学习与主动学习
更接近监督学习
new learning
概率模型vs 非概率模型
- 决策树、朴素贝叶斯、隐马尔可夫模型、条件随机场、概率潜在语义分析、潜在狄利克雷分配、高斯混合模型
- 感知机、支持向量机、k近邻、AdaBoost、潜在语义分析、神经网络
- 逻辑斯谛回归
相互转换，区别呢？
概率模型的代表概率图模型。如贝叶斯网络、马尔可夫随机场、条件随机场。
线性模型 vs 非线性模型
- 感知机、线性支持向量机、k近邻、k均值、潜在语义分析
- 核函数支持向量机、AdaBoost、神经网络（深度学习）
参数化模型 vs 非参数化模型
参数化模型假设模型参数的纬度固定。
- 感知机、朴素贝叶斯、逻辑斯谛回归、k均值、高斯混合模型
- 决策树、支持向量机、AdaBoost、k近邻、潜在语义分析、概率潜在语义分析、潜在狄利克雷分配
按算法分类 online vs batch learning
online 可以是监督/无监督，强化学习有在线学习的特点。
按技巧分类
贝叶斯学习
- 朴素贝叶斯
- 潜在狄利克雷分配
核方法
- 支持向量机、核PCA、核K均值