整套解决方案:2021年将是“AI硬件元年”

作者|

翻译 |

策划 | 刘艳

未来，谁将改变机器学习硬件的格局。

在本文中，我讨论了专门为机器学习/人工智能应用程序开发的硬件，以及该领域的机遇。 并简要描述 如何在机器学习硬件领域取得近乎垄断的地位，以及为何很少有人成功挑战它。

在过去的 10 年里，致力于机器学习应用的硬件研究呈爆炸式增长，硬件与机器学习堆栈的每个部分都有关系。 该硬件可加速训练和推理、减少延迟、降低功耗并降低这些设备的零售成本。 目前通用的机器学习硬件解决方案是 GPU，这让在市场上占据主导地位，使其估值超越英特尔。

随着有前途的研究不断涌现， 通过销售 GPU 及其专有的 CUDA 工具箱继续主导该领域。 不过，我认为有四个因素会挑战英伟达的霸主地位，而且最快在今年，它肯定会在 2~3 年内改变机器学习硬件的格局。

这方面的学术研究正在成为主流。

摩尔定律已死。 随着它的消亡，“技术和市场力量正在将计算推向相反的方向，使计算机处理器的通用性降低而更加专业化。” （来源）

投资者和创始人都认识到人工智能不仅可以开辟新天地，还可以增加他们的预算。

人工智能的碳排放量太高，而且越来越高。 我们需要使计算更加节能。

背景

这是典型的机器学习管道的样子：

对于大多数数据科学工作流程，在训练和部署大型模型之前，通用芯片（例如 CPU）就足够了。 GPU 在“深度学习”（涉及视觉和自然语言处理等任务的神经网络架构）中几乎总是必不可少的。 为深度学习提供 GPU 工作站的 Labs 估计训练 GPT-3 的成本约为 460 万美元，其中包括 的顶级 GPU 集群。

使用 GPU 的主要优势是 GPU 可以并行执行计算，数据吞吐量比传统 CPU 更高。 在计算过程中，机器学习的核心计算部分是矩阵乘法，并行运行时可以大大提高计算速度。 专有的 CUDA 提供 API 和工具，以便开发人员可以利用这种并行化。 流行的库喜欢并将其抽象化，其中一行代码自动检测 GPU，然后利用 CUDA 后端。 要设计利用并行计算的新算法或库，CUDA 提供了一些工具来简化这项工作。

1990 年代初期， 最初是一家视频游戏公司，希望提供能够快速绘制 3D 图像的图形芯片。 它在这项业务中取得了成功，在与另一家显卡制造商 AMD 的持续竞争中，始终如一地制造一些最强大的 GPU。 巧合的是，事实证明，相同的图形硬件对于深度学习的腾飞必不可少。 CUDA 使 比其他 GPU 更具优势。

2006 年， 发布了第一个 CUDA 工具包，它提供了一个 API，使使用 GPU 变得非常简单。 三年后的2009年，斯坦福大学人工智能教授吴恩达和他的合作者发表了一篇题为《Large-scale Deep using 》（大规模深度使用）的论文，指出如果将GPU用于训练，大-规模深度学习是可能的。

一年后，吴恩达和另一位斯坦福大学教授兼 X 的联合创始人 Thrun 找到拉里佩奇，提出在谷歌成立一个深度学习研究团队的想法，这个团队后来成为了 Brain。 随着Brain的兴起和“时刻”的到来，英伟达的GPU已经成为人工智能/机器学习行业事实上的计算标准。 有关详细信息，请参阅这篇文章，新的英特尔：如何从视频游戏到 .

概述：现状

正如我上面提到的，我的设想是 的主导地位将在 2021 年及以后受到越来越多的挑战和侵蚀。 这有四个原因：

1. 学术研究转化为实际产品

由学术界和工业界的研究人员创立的一些初创公司已经在开发机器学习专用硬件，而且还有更多空间。 在该领域发表的论文不仅提供理论保证，还展示了真实的硬件原型，这些原型实现了比市售选项更好的指标。 （实例 1、实例 2 和实例 3）

有许多类型的芯片和硬件加速器，每一种都有自己蓬勃发展的研究社区。 仅举几个：

摩尔定律预测，集成电路上的晶体管数量每两年就会翻一番。 自 1970 年代以来，这在经验上一直是正确的，并且是我们自那时以来所看到的技术进步的代名词：个人计算革命、传感器和相机的改进、移动设备的兴​​起以及智能的兴起提供了大量资源，只是关于你能想到的一切。 唯一的问题是摩尔定律即将结束，如果还没有结束的话。 “缩小芯片难度越来越大已经不是什么秘密了，这样做的好处也不如从前了。去年， 创始人黄仁勋直言‘摩尔定律不再可行’。”经济学家。

麻省理工学院经济学家 Neil 在麻省理工学院技术评论 (MIT) 中解释说：“软件和专业架构的进步现在将开始有选择地针对特定问题、业务和资源，而不是像摩尔定律那样‘风起云涌’，通过提供更快、更低-成本筹码普及。” 包括这位在内的一些人认为，“这是一个消极的发展，因为计算硬件将开始分裂为”使用强大的定制芯片的“快车道”应用程序和卡在通用芯片上的“慢车道”应用程序进展缓慢。 “

分布式计算往往是解决这个问题的方法：让我们使用功能更少、成本更低的资源，却使用大量的资源。 然而，即使是这种方案也越来越昂贵（更不用说分布式梯度下降算法的复杂性）。

那么，接下来会发生什么？ 2018 年，CMU 的研究人员在 上发表了一篇题为“科学研究政策与摩尔定律终结”的论文，认为私营部门关注短期盈利能力，这使得很难找到一个通用的接班人到摩尔定律。 他们呼吁建立公私合作伙伴关系，共同创造计算硬件的未来。

虽然我不反对公私合作伙伴关系（赋予他们更多权力），但我认为未来的计算硬件将是专用芯片的集合，当这些芯片协同工作时，它们比今天的 CPU 更能执行通用任务。 我相信 Apple 向自己的芯片过渡是朝这个方向迈出的一步，证明集成的硬件和软件系统将优于传统芯片。 特斯拉还使用自己的硬件进行自动驾驶。 我们需要的是让新玩家涌入硬件生态系统，以便专用芯片的优势能够在昂贵的笔记本电脑、云服务器和汽车之外普及和传播。 （我敢说……是时候建造了吗？）

3.创始人和投资者担心成本上升

De 和 Matt 去年初发表了一篇题为“The New of AI (and How It's From)”的文章，他们在文中认为 AI 的业务与传统软件软件不同。 归根结底，一切都是为了利润。 “对于人工智能公司而言，云计算基础设施是一项巨大的成本，有时甚至是隐性成本”。

正如我所提到的，训练一个 AI 模型可能要花费数千美元（如果你是的话，可能会花费数百万美元），但成本并不止于此。 必须持续监控和改进人工智能系统。 如果您的模型是“离线”训练的，则很容易出现概念漂移，即现实世界中的数据分布会随着您训练的数据而发生变化。 这种情况可以自然发生，也可以是对抗性的，例如当用户试图欺骗信用风险算法时。 发生这种情况时，必须重新训练模型。

有一些关于减少概念漂移和创建具有与现有模型相同性能保证的更小模型的积极研究，但这是另一篇文章的主题。 与此同时，该行业正在推动更大的模型和更大的计算支出。 更便宜、更专业的人工智能芯片无疑会降低这些成本。

4. 训练大型模型有助于应对气候变化

马萨诸塞大学阿默斯特分校进行的一项研究发现，训练现成的自然语言处理模型产生的碳排放量与从旧金山飞往纽约的航班产生的碳排放量一样多。 在三大云计算提供商中，只有谷歌使用超过 50% 的数据中心能源来自可再生能源。

但我不认为我必须列出为什么我们应该减少人工智能的碳足迹。 我想说的是，现有的芯片太耗电了，研究表明其他类型的硬件加速器，比如 FPGA 和超低功耗芯片（比如谷歌的 TPU Edge），都可以用于机器学习和其他任务。 更节能。

甚至地理位置也会影响人工智能的碳足迹。 斯坦福大学的研究人员估计，“在严重依赖页岩油的爱沙尼亚举行的会议产生的碳排放量是在严重依赖水力发电的魁北克举行的会议的 30 倍。”

已透露

我已经提到了 AI 的硬件，但是 AI 的硬件呢？ 谷歌最近就一种使用强化学习来确定机器学习模型在多个硬件设备上运行的位置的方法申请了专利。 该专利背后的研究人员之一是她负责 Brain 的机器学习硬件/系统登月计划。

关于作者：

，康奈尔大学，学习计算机科学和政治学。 研究机器学习中的公平性、隐私性和可解释性。

原文链接：

你也在“看”吗？

編輯：碩谷新聞聚合