【深度学习】：人工智能领域的崛起之路

柚柚切克闹

深度学习起源于电子管计算机时代。一看时间离我们很久远，但真正应用领域的普及还在继续。我们今天来学习和探讨AI深度学习的应用和发展。
1958年，康奈尔大学的弗兰克·罗森布拉特(Frank Rosenblatt)设计了第一个人工神经网络。这后来被命名为“深度学习”。Rosenblatt知道这项技术超越了当时的计算能力。
他说:“随着神经网络连接节点的增加，传统的数字计算机将很快无法承担计算负载。”


幸运的是，计算机硬件在过去几十年里进步迅速。这使得计算速度提高了大约1000万倍。
因此，21世纪的研究人员能够实现神经网络。现在有更多的连接来模拟更复杂的现象。如今，深度学习已被广泛应用于各个领域：被用于游戏、语言翻译、医学图像分析等领域。
深度学习的崛起势头强劲，但其未来可能并不太平坦。Rosenblatt担心的计算局限性仍然是笼罩在深度学习领域上空的乌云。如今，深度学习领域的研究人员正在挑战计算机的极限。
深度学习的工作原理

深度学习是人工智能领域长期发展的结果。早期的人工智能系统是基于人类专家给出的逻辑和规则。渐渐地，现在有了可以通过学习调整的参数。
今天，神经网络可以学习建立高度可塑的计算机模型。神经网络的输出不再是单一公式的结果。它现在使用着极其复杂的操作。一个足够大的神经网络模型可以适合任何类型的数据。
而实现深度学习的两种方法“专家系统方法”和“灵活系统方法”是有区别的。


让我们设想停车的场景，我们自主控制停车则是系统甄别的方法，而采用车辆自主泊车则是灵活的系统方法，后者需要足够的数据（障碍物、车距、场景判定等）才能做出正确判断而停好车。
“专家系统方法”将指定重要的变量，并允许系统只检查这些变量。这种方法计算量小。因此，它得到了广泛的应用。但是，如果专家们不能确定关键变量，那么系统报告就会失败。
灵活系统解决问题的方法是检查尽可能多的变量。然后系统自己决定哪些是最重要的。
这需要更多的数据和更高的计算成本。此外，它的效率也不如专家系统。然而，如果有足够的数据和计算，灵活系统可以优于专家系统。
深度学习模型（系统）有大量的参数

深度学习模型（系统）被“过度参数化”。这意味着可供训练的参数多于数据点。例如，一个图像识别系统神经网络可能有4.8亿个参数。然而，它只会使用120万张图像进行训练。
大参数的存在往往会导致“过拟合”。这意味着模型太趋于训练数据集了。因此，系统可能会错过总体趋势，而得到细节。


深度学习已经在机器翻译领域展现了它的才华。早期，翻译软件根据语法专家制定的规则进行翻译。在翻译诸如乌尔都语、阿拉伯语和马来语等语言时，基于规则的方法最初优于基于统计的深度学习方法。
但随着文本数据的增加，深度学习现在在各方面都优于其他方法。事实证明，深度学习在几乎所有的应用领域都是优越的。
巨大的计算成本

简单来说，科学家要提高深度学习模型（系统）的性能，就必须建立更大的模型。这些较大的模型将用于训练。然而，为训练建立更大的模型会有多昂贵呢?会不会因为太高负担不起，从而阻碍深度学习的发展?
为了探索这个问题，麻省理工学院的科学家从1000多篇深度学习研究论文中收集了数据。他们的研究警告说，深度学习面临着严峻的挑战。


以图像分类为例。减少图像分类错误带来了巨大的计算负担。例如，在图形处理单元(GPU)上训练深度学习系统的能力在2012年首次被证明。这是通过AlexNet模型完成的。
然而，使用两个GPU需要5到6天的训练。到2018年，另一个模型NASNet-A的错误率是AlexNet的一半。尽管如此，它使用了1000多倍的计算量。
芯片性能的提升是否跟上了深度学习的发展?一点也不。NASNet-A的计算能力增加了1000多倍，其中只有6倍的改进来自于更好的硬件。其余的是通过使用更多的处理器或运行更长的时间来实现的，但成本更高。
实际数据比他们的计算要多得多

理论上，要将性能提高K倍，我们需要4K以上的数据。然而，在实践中，计算至少需要一个9K的因数。这意味着，要将错误率减半，需要500倍以上的计算资源。
这是相当贵的，而且是非常贵的。训练一个错误率低于5%的图像识别模型将花费1000亿美元。它消耗的电力产生的碳排放量相当于纽约市一个月的碳排放量。


如果训练一个错误率低于1%的图像识别模型，成本甚至会更高。
到2025年，最优图像识别系统的错误率将降低到5%。然而，训练这样一个深度学习系统将产生相当于纽约市一个月的二氧化碳排放量。


在深度学习的前沿领域，计算成本的负担已经变得非常明显。机器学习智库OpenAI花费了400多万美元进行设计和培训。企业也开始回避深度学习的计算成本。
欧洲一家大型连锁超市最近放弃了基于深度学习的系统。这个系统是用来预测哪些产品会被购买。该公司的高管得出结论，培训和运行该系统的成本太高。

喜欢点赞收藏！欢迎关注SevenTech!

烽呈居士

众里寻他千百度，蓦然回首在这里！