Google 的巨大突破“确实了不起”——但还有更多工作要做

训练深度学习模型成本高昂且困难，但不如在生产环境中部署和运行它们那么多。Deci 希望帮助解决这个问题。

深度学习可能是目前最流行的机器学习形式。尽管并非每个问题都归结为深度学习模型，但在计算机视觉和自然语言处理等领域，深度学习很普遍。

然而，深度学习模型的一个关键问题是它们需要大量资源。它们需要大量的数据和计算来训练，也需要大量的计算来运行。通常， 众所周知，GPU 在训练和推理方面的性能都优于 CPU ，而某些模型根本无法在 CPU 上运行。现在 Deci 想要改变这种情况。

Deci 是一家旨在优化深度学习模型的公司，它正在发布一个新的图像分类模型系列。这些模型在准确性和运行时间方面都优于众所周知的替代方案，并且可以在流行的 Intel Cascade Lake CPU 上运行。

我们采访了 Deci 首席执行官兼联合创始人 Yonatan Geifman，讨论了 Deci 的方法和今天的发布。

深度学习性能需要权衡取舍

Deci 由 Geifman、Jonathan Elial 和 Ran El-Yaniv 于 2019 年共同创立。所有创始人都拥有机器学习背景，Geifman 和 El-Yaniv 也曾在 Google 工作过。他们有机会亲身体验到将深度学习引入生产环境是多么困难。

Deci 创始人意识到，提高深度学习模型的可扩展性将有助于他们在生产环境中更好地运行。他们还看到硬件公司试图构建更好的 AI 芯片来大规模运行推理。

他们与 Deci 合作的赌注是专注于模型设计领域，以使深度学习更具可扩展性和效率，从而使他们能够在生产环境中更好地运行。他们正在使用自动化方法来设计模型，这些模型在结构以及它们在生产中与底层硬件的交互方式方面更加高效。

Deci 专有的自动神经架构构建 （AutoNAC） 技术用于开发所谓的 DeciNet。DeciNet 是预先训练的模型，Deci 声称在准确性和运行时性能方面优于已知的最先进模型。

Geifman 说，为了在深度学习中获得更好的准确性，你可以采用更大的模型，并使用更多的数据训练它们多一点时间，你会得到更好的结果。但是，这样做会生成更大的模型，这些模型在生产环境中运行会占用更多资源。Deci 承诺通过提供平台和工具来构建在生产中既准确又快速的模型，从而解决该优化问题。

Geifman 说，解决该优化问题需要的不仅仅是手动调整现有的神经架构，而且 AutoNAC 可以为专门的用例设计专门的模型。这意味着要了解手头的数据和机器学习任务，同时还要了解模型将部署的硬件。

与适用于 Intel Cascade Lake CPU 的其他深度学习图像分类模型相比，DeciNet 在图像分类方面的性能。图片来源： Deci

今天发布的 DeciNet 适用于英特尔 Cascade Lake CPU 上的图像分类，正如 Geifman 所指出的，这是许多云实例中的热门选择。Deci 称这些模型为“行业领先”，基于一些基准，Geifman 表示，这些基准将发布给第三方，以便能够复制。

计算机视觉有三个主要任务：图像分类、对象检测和语义分割。Geifman 说，Deci 为每项任务生产多种类型的 DeciNet。每个 DeciNet 都针对不同的性能级别，定义为准确性和延迟之间的权衡。

在 Deci 发布的结果中，将具有不同复杂程度（即参数数量）的 DeciNet 变体与其他图像分类模型（如 Google 的 EfficientNet 和行业标准 ResNet）的变体进行了比较。

根据 Geifman 的说法，Deci 有数十种模型预先优化，供客户在完全自助式的产品中使用，范围从各种计算机视觉任务到要在生产中部署的任何类型的硬件上的 NLP 任务。

深度学习推理堆栈

但是，这里有一个问题。由于 DeciNet 是预先训练的，这意味着它们不一定会根据客户的特定用例和数据执行。因此，在选择具有满足用例要求的最佳精度/延迟权衡的 DeciNet 后，用户需要根据其数据对其进行微调。

随后，接下来是优化阶段，在这个阶段，训练好的模型通过 API 或 GUI 与 Deci 的平台进行编译和量化。最后，该模型可以利用Deci的部署工具Infery和RTiC进行部署。Geifman 说，这种端到端覆盖是 Deci 的一个差异化因素。值得注意的是，现有模型也可以移植到 DeciNet。

在考虑端到端生命周期时，经济性和权衡取舍起着重要作用。Deci 产品背后的想法是，训练模型虽然成本高昂，但实际上比在生产环境中作模型的成本更低。因此，专注于生成运营成本更低的模型，同时具有与现有模型相当的准确性和延迟是有意义的。

在以部署硬件为目标时，也采用相同的务实方法。在某些情况下，当最小化延迟是主要目标时，将选择尽可能快的硬件。在其他情况下，以降低运营成本为代价获得低于最佳延迟可能是有意义的。

对于边缘部署，甚至可能不需要做出选择：硬件就是它是什么，要部署的模型应该能够在给定的约束下运行。Deci 提供了一个建议和基准测试工具，可用于比较各种云实例和硬件类型的延迟、吞吐量和成本，帮助用户做出选择。

Deci 与 Intel 建立了合作伙伴关系。虽然今天的发布不是与 Intel 合作完成的，但对双方的好处是显而易见的。通过与 Deci 合作，英特尔扩展了可部署在其 CPU 上的深度学习模型的范围。通过与 Intel 合作，Deci 扩大了其市场推广范围。

Deci 的目标是在各种部署目标上优化深度学习模型推理。图片来源： Deci

然而，正如 Geifman 所指出的，Deci 针对广泛的硬件，包括 GPU、FPGA 和专用 ASIC 加速器，并且还与 HPE 和 AWS 等公司建立了合作伙伴关系。Deci 还致力于与销售机器学习数据中心和服务的各种类型的硬件制造商、云提供商和 OEM 建立合作伙伴关系。

Deci 的方法让人想起 TinyML，不同之处在于它针对的是更广泛的部署目标集。在讨论这个话题时，Geifman 提到了机器学习推理加速堆栈。根据这个概念化，加速可以发生在堆栈的不同层。

它可以通过选择模型的部署位置在硬件层进行。它可能发生在运行时/图形编译器层，在那里我们看到硬件制造商提供的解决方案，例如 Nvidia 的 Tensor RT 或 Intel 的 OpenVino。我们还有 Microsoft 支持的 ONNX 开源，以及 OctoML 正在商业化的 Apache TVM 等商业解决方案。

最重要的是，我们有模型压缩技术，如池化和量化，Geifman 指出，这些技术被各种开源解决方案广泛使用，一些供应商正在努力实现商业化。Geifman 将 Deci 定义为在高于这些水平（即神经架构搜索）的水平上工作，帮助数据科学家设计模型，在保持准确性的同时获得更好的延迟。

Deci 的平台提供针对希望提高性能和缩短开发时间的开发人员的社区层，以及具有更多选项的专业和企业层，包括使用 DeciNets。该公司在两轮融资中共筹集了 3000 万美元，拥有 40 名员工，主要在以色列工作。据 Geifman 称，在不久的将来将发布更多的 DeciNet，专注于 NLP 应用程序。