Mitchell (1997) 提供了一个简洁的 定义 ：‘‘对于某类 任务 $ T $ 和 性能度量 $ P $ ，一个计算机程序被认为可以从 经验 $ E $ 中学习是指，通过经验 $ E $ 改进后，它在任务 $ T $ 上由性能度量 $ P $ 衡量的性能有所提升。”
任务 $ T $
通常机器学习任务定义为机器学习系统应该如何处理样本（example）。样本是指我们从某些希望机器学习系统处理的对象或事件中收集到的已经量化的特征（feature）的集合。我们通常会将样本表示成一个向量x 2 Rn，其中向量的每一个元素xi 是一个特征。例如，一张图片的特征通常是指这张图片的像素值。
常见的机器学习任务有：
- 分类
- 输入缺失分类：医疗诊断
- 回归
- 转录：语音识别、文本图片-->文字序列
- 机器翻译
- 结构化输出（输出值之间内部紧密相关）：语法分析（映射自然语言句子道语法结构树，并标记树的节点为动词、名词、副词等）、图像的像素级分割（将每一个像素分配到特定类别）、标注航拍照片中的道路位置、为图片添加描述。
- 异常检测
- 合成和采样
- 缺失值填补
- 去噪
- 密度估计或概率质量函数估计
- else
性能度量 $ P $
通常性能度量 $ P $ 是特定于系统执行的任务 $ T $ 而言的，如准确率、错误率等。
经验 $ E $
表示数据集的常用方法是设计矩阵（design matrix）。
参考
- 《深度学习_中文版》第五章
