19.md

2. 无监督学习

• 2.1 高斯混合模型
  • 2.1.1 高斯混合
    • 2.1.1.1 优缺点
      • 2.1.1.1.1 优点
      • 2.1.1.1.2 缺点
    • 2.1.1.2 选择经典高斯混合模型中分量的个数
    • 2.1.1.3 估计算法期望最大化（EM）
  • 2.1.2 变分贝叶斯高斯混合
    • 2.1.2.1 估计算法: 变分推断（variational inference）
      • 2.1.2.2. BayesianGaussianMixture下的变分推理的优缺点
      • 2.1.2.2.1 优点
      • 2.1.2.2.2 缺点
    • 2.1.2.3 The Dirichlet Process（狄利克雷过程）
• 2.2 流形学习
  • 2.2.1 介绍
  • 2.2.2 Isomap
    • 2.2.2.1 复杂度
  • 2.2.3 局部线性嵌入
    • 2.2.3.1 复杂度
  • 2.2.4 改进型局部线性嵌入（MLLE）
    • 2.2.4.1 复杂度
  • 2.2.5 黑塞特征映射（HE）
    • 2.2.5.1 复杂度
  • 2.2.6 谱嵌入
    • 2.2.6.1 复杂度
  • 2.2.7 局部切空间对齐（LTSA）
    • 2.2.7.1 复杂度
  • 2.2.8 多维尺度分析（MDS）
    • 2.2.8.1 度量 MDS
    • 2.2.8.2 非度量 MDS
  • 2.2.9 t 分布随机邻域嵌入（t-SNE）
    • 2.2.9.1 优化 t-SNE
    • 2.2.9.2 Barnes-Hut t-SNE
  • 2.2.10 实用技巧
• 2.3 聚类
  • 2.3.1 聚类方法概述
  • 2.3.2 K-means
    • 2.3.2.1 小批量 K-Means
  • 2.3.3 Affinity Propagation
  • 2.3.4 Mean Shift
  • 2.3.5 Spectral clustering
    • 2.3.5.1 不同的标记分配策略
    • 2.3.5.2 谱聚类用于图聚类问题
  • 2.3.6 层次聚类
    • 2.3.6.1 不同连接类型: Ward, complete and average linkage
    • 2.3.6.2 添加连接约束
    • 2.3.6.3 Varying the metric
  • 2.3.7 DBSCAN
  • 2.3.8 OPTICS
  • 2.3.9 Birch
  • 2.3.10 聚类性能度量
    • 2.3.10.1 调整后的 Rand 指数
      • 2.3.10.1.1 优点
      • 2.3.10.1.2 缺点
      • 2.3.10.1.3 数学表达
    • 2.3.10.2 基于 Mutual Information （互信息）的分数
      • 2.3.10.2.1 优点
      • 2.3.10.2.2 缺点
      • 2.3.10.2.3 数学公式
    • 2.3.10.3 同质性，完整性和 V-measure
      • 2.3.10.3.1 优点
      • 2.3.10.3.2 缺点
      • 2.3.10.3.3 数学表达
    • 2.3.10.4 Fowlkes-Mallows 分数
      • 2.3.10.4.1 优点
      • 2.3.10.4.2 缺点
    • 2.3.10.5 Silhouette 系数
      • 2.3.10.5.1 优点
      • 2.3.10.5.2 缺点
    • 2.3.10.6 Calinski-Harabaz 指数
      • 2.3.10.6.1 优点
      • 2.3.10.6.2 缺点
• 2.4 双聚类
  • 2.4.1 Spectral Co-Clustering
    • 2.4.1.1 数学公式
  • 2.4.2 Spectral Biclustering
    • 2.4.2.1 数学表示
  • 2.4.3 Biclustering 评价
• 2.5 分解成分中的信号（矩阵分解问题）
  • 2.5.1 主成分分析（PCA）
    • 2.5.1.1 准确的PCA和概率解释（Exact PCA and probabilistic interpretation）
    • 2.5.1.2 增量PCA (Incremental PCA)
    • 2.5.1.3 PCA 使用随机SVD
    • 2.5.1.4 核 PCA
    • 2.5.1.5 稀疏主成分分析 ( SparsePCA 和 MiniBatchSparsePCA )
  • 2.5.2 截断奇异值分解和隐语义分析
  • 2.5.3 词典学习
    • 2.5.3.1 带有预计算词典的稀疏编码
    • 2.5.3.2 通用词典学习
    • 2.5.3.3 小批量字典学习
  • 2.5.4 因子分析
  • 2.5.5 独立成分分析（ICA）
  • 2.5.6 非负矩阵分解(NMF 或 NNMF)
    • 2.5.6.1 NMF 与 Frobenius 范数
    • 2.5.6.2 具有 beta-divergence 的 NMF
  • 2.5.7 隐 Dirichlet 分配（LDA）
• 2.6 协方差估计
  • 2.6.1 经验协方差
  • 2.6.2 收敛协方差
    • 2.6.2.1 基本收敛
    • 2.6.2.2 Ledoit-Wolf 收敛
    • 2.6.2.3 Oracle 近似收缩
  • 2.6.3 稀疏逆协方差
  • 2.6.4 Robust 协方差估计
    • 2.6.4.1 最小协方差决定
• 2.7 新奇和异常值检测
  • 2.7.1 孤立点检测方法一览
  • 2.7.2 Novelty Detection（新奇检测）
  • 2.7.3 Outlier Detection（异常值检测）
    • 2.7.3.1 Fitting an elliptic envelope（椭圆模型拟合）
    • 2.7.3.2 Isolation Forest（隔离森林）
    • 2.7.3.3 Local Outlier Factor（局部异常系数）
  • 2.7.4 使用LOF进行新奇点检测
• 2.8 密度估计
  • 2.8.1 密度估计: 直方图
  • 2.8.2 核密度估计
• 2.9 神经网络模型（无监督）
  • 2.9.1 限制波尔兹曼机
    • 2.9.1.1 图形模型和参数化
    • 2.9.1.2 伯努利限制玻尔兹曼机
    • 2.9.1.3 随机最大似然学习