1. 深度学习发展沿革

深度学习是神经网络发展到一定时期的产物。最早的神经网络模型可以追溯到1943年McCulloch等提出的McCulloch-Pitts计算结构，简称MP模型，它大致模拟了人类神经元的工作原理，但需要手动设置权重，十分不便。1

958年，Rosenblatt提出了感知机模型（perceptron）。与MP模型相比，感知机模型能更自动合理地设置权重，但1969年Minsky和Paper证明了感知机模型只能解决线性可分问题，并且否定了多层神经网络训练的可能性，甚至提出了“基于感知机的研究终会失败”的观点，此后十多年的时间内，神经网络领域的研究基本处于停滞状态。

1986年，欣顿（Geoffery Hinton）和罗姆哈特（David Rumelhart）等提出的反向传播（Back Propagation，BP）算法，解决了两层神经网络所需要的复杂计算量问题，大大减少了原来预计的计算量，这不仅有力回击了Minsky等人的观点，更引领了神经网络研究的第二次高潮。随着20世纪80年代末到90年代初共享存储器方式的大规模并行计算机的出现，计算处理能力大大提升，深度学习有了较快的发展。

1989年，Yann LeCun等提出的卷积神经网络是一种包含卷积层的深度神经网络模型，较早尝试深度学习对图像的处理。2012年，Hinton构建深度神经网络，并应用于ImageNet上，取得了质的提升和突破，同年，人们逐渐熟悉谷歌大脑（Google Brain）团队。2013年，欧洲委员会发起模仿人脑的超级计算机项目，百度宣布成立深度学习机构。2014年，深度学习模型Top-5在ImageNet2014计算机识别竞赛上拔得头筹，腾讯和京东也同时分别成立了自己的深度学习研究室。

2015年至2017年初，谷歌公司的人工智能团队DeepMind所创造的阿尔法狗（AlphaGo）相继战胜了人类职业围棋选手，这只“狗”引起世界的关注，人类围棋大师们陷入沉思。这一切都显著地表明了一个事实：深度学习正在有条不紊地发展着，其影响力不断扩大。深度学习发展沿革，如图1.2所示。

机器学习和深度学习之间的关系是包含与被包含的关系，如图1.3所示。