基本概念

» 机器学习

一、机器学习的三要素

数据在机器学习方法框架中的流动,会按顺序经历三个过程,分别对应机器学习的三大要素:1. 模型;2. 策略;3. 算法

  • 模型:谈到机器学习,经常会谈到机器学习的“模型”。在机器学习中,模型的实质是一个假设空间(hypothesis space),这个假设空间是“输入空间到输出空间所有映射”的一个集合,这个空间的假设属于我们的先验知识。然后,机器学习通过“数据+三要素”的训练,目标是获得假设空间的一个最优解,翻译一下就是求模型的最优参数。
  • 策略:在模型部分,机器学习的学习目标是获得假设空间(模型)的一个最优解,那么问题来了,如何评判优还是不优?策略部分就是评判“最优模型”(最优参数的模型)的准则或方法。
  • 算法:在策略部分,机器学习的学习目标转换成了求目标函数的最小值,而算法部分就是对函数最优解的求解方法。

模型

模型定义了从输入到输出的转换过程,即机器学习中的「学习」。模型的选择和设计通常基于数据的特性和学习任务的要求,它们可以是线性模型、非线性模型、深度神经网络等。

损失函数(策略)

损失函数是评估机器学习模型预测结果与真实结果之间差异的一种方法。它用于衡量模型在给定数据集上的性能,通常是一种数学函数形式,它的值越小,代表模型的性能越好。在机器学习中,我们需要根据应用场景和任务需求选择适合的损失函数,比较常见的损失函数有均方误差、交叉熵、对数损失等。

优化算法

优化算法是求解模型参数的一种数学方法,目的是使损失函数取到最小值。优化算法有多种,如梯度下降、牛顿法、共轭梯度法等。

这三个基本要素互相依赖,它们一起构成了机器学习算法的基本框架,也是我们在训练模型时需要关注和调整的问题。

参考:

https://zhuanlan.zhihu.com/p/48914251