Hopfield利用神经网络求解“流动推销员问题”这个著名的NP难题取得重大进展

1983年，J．J．Hopfield利用神经网络求解“流动推销员问题”这个著名的NP难题取得重大进展，使得连接主义重新受到人们关注．1986年，D.E．Rumelhart等人重新发明了著名的BP算法，产生了深远影响．与符号主义学习能产生明确的概念表示不同，连接主义学习产生的是“黑箱”模型，因此从知识获取的角度来看，连接主义学习技术有明显弱点；然而，由于有BP这样有效的算法，使得它可以在很多现实问题上发挥作用，事实上，BP -直是被应用得最广泛的机器学习算法之一，连接主义学习的最大局限是其“试错性”；简单地说，其学习过程涉及大量参数，而参数的设置缺乏理论指导，主要靠手工“调参”；夸张一点说，参数调节上失之毫厘，学习结果可能谬以千里．二十世纪九十年代中期，“统计学习”(statistical learning)闪亮登场并迅速占据主流舞台，代表性技术是支持向量机(Support Vector Machine，简称SVM)以及更一般的“核方法”(kernel methods).这方面的研究早在二十世纪六七十年代就已开始，统计学习理论[Vapnik, 1998]在那个时期也已打下了基础，例如V. N. Vapnik在1963年提出了“支持向量”概念，他和A.J．Chervonenkis在1968年提出VC维，在1974年提出了结构风险最小化原则等，但直到九十年代中期统计学习才开始成为机器学习的主流，一方面是由于有效的支持向量机算法在九十年代初才被提出，其优越性能到九十年代中期在文本分类应用中才得以显现；