归纳(induction)与演绎(deduction)是科学推理的两大基本手段

1.3假设空间
    归纳(induction)与演绎(deduction)是科学推理的两大基本手段．前者是从特殊到一般的“泛化”(generalization)过程，即从具体的事实归结出一般性规律；后者则是从一般到特殊的“特化”(specialization)过程，即从基础原理推演出具体状况．例如，在数学公理系统中，基于一组公理和推理规则推导出与之相洽的定理，这是演绎；而“从样例中学习”显然是一个归纳的过程，因此亦称“归纳学习”(inductive learning).
　　归纳学习有狭义与广义之分，广义的归纳学习大体相当于从样例中学习，而狭义的归纳学习则要求从训练数据中学得概念(concept)，因此亦称为“概念学习”或“概念形成”，概念学习技术目前研究、应用都比较少，因为要学得泛化性能好且语义明确的概念实在太困难了，现实常用的技术大多是产生“黑箱”模型．然而，对概念学习有所了解，有助于理解机器学习的一些基础思想，概念学习中最基本的是布尔概念学习，即对“是”“不是”这样的可表示为0/1布尔值的目标概念的学习，举一个简单的例子，假定我们获得了这样一个训练数据集： 这里要学习的目标是“好瓜”，暂且假设“好瓜”可由“色泽”“根蒂”
　　“敲声”这三个因素完全确定，换言之，只要某个瓜的这三个属性取值明确了，我们就能判断出它是不是好瓜．于是，我们学得的将是，好瓜是某种色泽、某种根蒂、某种敲声的瓜”这样的概念，用布尔表达式写出来则是“好瓜Hf色更一般的情况是考虑霁  泽=?）^（根蒂=?）^（敲声：？）”，这里“？”表示尚未确定的取值，而我们的任如(A^B)V(G^D)的才J合范式    务就是通过对表1.1的训练集进行学习，把“？”确定下来．读者可能马上发现，表1.1第一行：“（色泽=青绿）^（根蒂：蜷缩）八（敲声=浊响）”不就是好瓜吗？是的，但这是一个已见过的瓜，别忘了我们学习的目的是“泛化”，即通过对训练集中瓜的学习以获得对没见过的瓜进行判断的能力．如果仅仅把训练集中的瓜“记住”，今后再见到一模一样的瓜当然可判断，但是，对没见过的瓜，例如“（色泽=浅白）八（根蒂=蜷缩）八（敲声=浊响）”