第二章 机器学习概述

2.1 基本概念

  • 芒果的特征包括颜色、大小、形状、产地、品牌等。
  • 芒果的标签 例如 水分甜度成熟度等的综合打分 也可以是好、坏这样的离散值。
  • 一个标记好特征以及标签的芒果看作一个样本。
  • 一组样本构成的集合称为数据集：一般分为训练集和测试集：
    训练集中的样本用来训练模型，测试集中的样本用来测试模式的好坏
  • 我们通常将所有的特征构成一个向量，称为特征向量x。
  • 而标签通常用标量y来表示。

图片说明

寻找这个最优的函数的过程就是训练或者称之为学习

机器学习系统实例

2.2 机器学习的三个要素

  1. 模型
    • 不同的机器学习的任务主要是在于输出空间不同。但是模型总结为一个带有参数的函数族。
      图片说明
    • 常见的模型分为线性模型和非线性模型
  2. 学习准则

在训练模型的时候，我们使用损失函数，希望参数最小，但是如果我们的学习能力过于强大，就会导致过拟合
过拟合的模型虽然对训练数据的准确率比较高，但是模型的泛化能力差。对测试集的准确度会非常低。
图片说明

  1. 优化算法
  • 梯度下降算法
    梯度下降算法
  • 随机梯度下降法
    在每次迭代的时候，只采集一个样本，计算这个损失函数的梯度，并更新参数。
  • 小批量梯度下降法
    小批量梯度下降法是批量梯度下降和随机梯度下降的折中。每次迭代时，我们随机选取一小部分训练样本来计算梯度并更新参数，这样既可以兼顾随机梯度下降法的优点，也可以提高训练效率。