Domino Data Lab 为 MLOps 添加了自动缩放功能

Domino Data Lab 5.0 主要关注机器学习生命周期的部署、自动扩展和监控部分。

正如大数据大佬 Andrew Brust 去年秋天报道的那样，Domino Data Lab 最近一直在以更广泛的方式看待 MLOps，从实验管理到模型的持续集成/持续交付、特征工程和生命周期管理。在最近发布的 5.0 版本中，Domino 专注于通常会减慢物理部署速度的障碍。

新功能中的主要功能是自动扩展。在此之前，数据科学家必须扮演集群工程师的角色，或者与他们合作，将模型投入生产并管理计算。新版本允许此步骤自动化，与已经这样做的云服务（如 Amazon SageMaker 和 Google Vertex AI）以及 Azure 机器学习预览版产品/服务公平竞争。更顺利的是，它被认证可以在 Nvidia AI Enterprise 平台上运行（Nvidia 是 Domino 的投资者之一）。

自动扩展功能基于先前 4.6 版本中添加的对 Ray 和 Dask（除 Spark 之外）的支持，该版本提供了用于将分布式计算构建到代码中的 API。

5.0 处理部署的另一个新功能是添加了一个新的数据连接器库，因此数据科学家不必在每次尝试连接到 Snowflake、AWS Redshift 或 AWS S3 时都重新发明轮子;将来将添加其他数据源。

5.0 版本的完善是内置监控功能。这实际上集成了以前的独立功能，必须手动配置。在 5.0 中，Domino 会自动设置监控，捕获实时预测流，并在部署模型后对生产数据与训练数据进行统计检查。为了进行调试，它会捕获模型的快照：代码版本、数据集和计算环境配置。只需单击一下，数据科学家就可以启动版本化模型的开发环境以进行调试。但是，此时系统不会自动检测或就需要修复模型的位置提出建议。

5.0 功能的火花（不是双关语）正在解决运营难题，这些难题迫使数据科学家执行系统或集群工程任务，或者依赖管理员为他们执行。

但也有数据工程瓶颈，正如我们在 2018 年为 Ovum（现为 Omdia）和 Dataiku 所做的研究中发现的那样。通过与十几位首席数据官的深入讨论，我们发现数据科学家通常将一半以上的时间花在数据工程上。5.0 版本解决了数据工程中的一个主要障碍 —— 连接到流行的外部数据源，但目前，Domino 没有解决数据管道的设置问题，或者更基本地说，没有解决数据准备任务的自动化问题。当然，后者（数据准备的集成）是推动 Data Robot 在 2019 年收购 Paxata 的原因。

5.0 功能反映了 Domino Data Lab 和其他 ML 生命周期管理工具如何不得不将重点从模型生命周期扩展到部署。这反过来又反映了这样一个事实，即随着企业对 ML 的经验越来越丰富，他们开发更多的模型会更频繁，并且需要将最初的一次性流程工业化。如果 Domino 接下来将重点放在特色商店，我们也不会感到惊讶。