我们如何在生产环境中创建和部署经过训练的模型 API 受到机器学习生命周期的许多方面的控制。 MLOps 的概念对于处理复杂的 ML 部署环境非常有益。

实施可靠的 MLOps 可以为投资机器学习的公司带来巨大收益。 了解要使用和执行什么是这个难题的重要组成部分。 学习和适应简化整个工作流程的新工具是另一回事。

本文列出了用于模型部署的最佳工具。 帮助你扩展和管理机器学习生命周期的所有要素，包括服务、监控和管理 API 端点。

推荐：用 NSDT编辑器 快速搭建可编程3D场景

1、Seldon.io

Seldon.io 提供 Seldon 核心，这是一个开源框架。 该框架简化并加速了 ML 模型部署。Seldon 处理和服务在任何其他开源 ML 框架中构建的模型。 ML 模型部署在 Kubernetes 中。 随着它与 Kubernetes 一起扩展，它使我们能够使用最先进的 Kubernetes 功能，例如自定义资源定义来处理模型图。

Seldon 还提供将项目与持续集成和部署 (CI/CD) 工具连接起来的功能，以扩展和更新模型部署。它有一个警报系统，可以在监控生产中的模型时出现问题时通知你。 可以定义模型来解释某些预测。 该工具可在云端和本地使用。

Seldon的优点：

定制离线模型。向外部客户端公开 API实时预测。简化部署过程。

Seldon的缺点：

设置可能有点复杂。对于新人来说学习可能会很困难。

2、BentoML

BentoML 简化了构建机器学习服务的过程。 它提供了一个基于 Python 的标准架构，用于部署和维护生产级 API。 该架构允许用户使用任何 ML 框架轻松打包经过训练的模型，以进行在线和离线模型服务。

BentoML 的高性能模型服务器支持自适应微批处理以及独立于业务逻辑扩展模型推理工作人员的能力。 UI 仪表板提供了一个集中式系统来组织模型和监控部署流程。

其模块化设计使得配置可与现有的 GitOps 工作流程重用，并且自动 docker 映像生成使部署到生产成为一个简单且版本化的过程。

多用途框架解决了 ML 模型的服务、组织和部署问题。 主要重点是将数据科学和 DevOps 部门连接起来，以提供更高效的工作环境并生成高性能的可扩展 API 端点。

BentoML 优点：

用于轻松大规模部署预测服务的实用格式支持以单一统一格式提供高性能模型服务和部署支持模型部署到多个平台，而不仅仅是 Kubernetes

BentoML 缺点：

不专注于实验管理。不处理开箱即用的水平缩放。

3、TensorFlow Serving

如果想将经过训练的模型部署为端点，可以使用 TensorFlow Serving 来实现。它允许您创建一个将为经过训练的模型提供服务的 REST API 端点。

TensorFlow Serving 是一个强大的高性能系统，用于为机器学习模型提供服务。你可以轻松部署最先进的机器学习算法，同时维护与其各自端点相同的服务器架构。 它功能强大，足以为不同类型的模型和数据以及 TensorFlow 模型提供服务。

它是由谷歌创建的，许多顶级公司都在使用它。 将模型作为集中模型库提供服务是一个很好的方法。 服务架构足够高效，足以让大量用户同时访问模型。

如果由于大量请求而出现阻塞，可以使用负载均衡器轻松维护。 总体而言，该系统具有良好的可扩展性、可维护性和高性能。

TensorFlow 服务的优点：

一旦部署模型准备就绪，该工具就可以轻松提供服务。它可以向同一模型发起批量请求，从而有效地利用硬件。它还提供模型版本管理。该工具易于使用，负责模型和服务管理。

TensorFlow 服务的缺点：

当加载新模型或更新旧模型时，无法确保零停机。仅适用于 TensorFlow 模型。

4、Kubeflow

Kubeflow 的主要目标是维护机器学习系统。 它是专为 Kubernetes 设计的强大套件。主要操作包括打包、组织docker容器，帮助维护整个机器学习系统。

Kubeflow简化了机器学习工作流程的开发和部署，从而使模型可追溯。 它提供了一组强大的 ML 工具和架构框架来高效执行各种 ML 任务。

多功能 UI 仪表板可以轻松管理和跟踪实验、任务和部署运行。 Notebook 功能使我们能够使用指定的平台开发套件与 ML 系统进行交互。

组件和管道是模块化的，可以重复使用以提供快速解决方案。 该平台由 Google 启动，旨在通过 Kubernetes 为 TensorFlow 任务提供服务。 后来它扩展到执行整个机器学习管道的多云、多架构框架。

Kubeflow 的优点：

一致的基础设施，提供监控、运行状况检查、每次复制以及新功能的扩展。简化新团队成员的入职流程。标准化流程有助于建立安全性并更好地控制基础设施。

Kubeflow 的缺点：

很难手动设置和配置。高可用性不是自动的，需要手动配置。这个工具的学习曲线很陡。

5、Cortex

Cortex 是一种开源多框架工具，足够灵活，可以用作模型服务工具，也可以用于模型监控等目的。

凭借其处理不同机器学习工作流程的能力，它使你能够完全控制模型管理操作。 它还可以作为使用 SageMaker 工具提供模型的替代方案，以及基于 AWS 服务（例如 Elastic Kubernetes Service (EKS)、Lambda 或 Fargate）的模型部署平台。

Cortex 扩展到 Docker、Kubernetes、TensorFlow Serving 和 TorchServe 等开源项目。 它可以与任何 ML 库或工具结合使用。 它提供端点的可扩展性来管理负载。

它允许你在单个 API 端点中部署多个模型。 它还充当在不停止服务器的情况下更新已生产端点的解决方案。 它涵盖了模型监控工具的足迹，监控端点的性能以及预测数据。

Cortex优点：

自动缩放功能可确保 API 在网络流量波动时保持安全。支持Keras、TensorFlow、Scikit-learn、PyTorch等多个平台。更新模型时无需停机。

Cortex缺点：

设置过程可能有点令人畏惧。

6、AWS Sagemaker

AWS Sagemaker 是 Amazon 提供的一项强大服务。 它使机器学习开发人员能够快速构建、训练和部署机器学习模型。

它通过删除一些复杂的步骤来简化整个机器学习过程，从而提供高度可扩展的机器学习模型。

机器学习开发生命周期是一个复杂的迭代过程。 它迫使你集成复杂的工具和工作流程。 这项任务可能要求很高且令人恼火，并且可能会消耗你大量的时间。 更不用说配置时出错的麻烦了。

Sagemaker 使这个过程变得更容易，在集中式工具集中提供用于机器学习的所有组件。 无需配置每一项，因为它已经安装并可供使用。

这可以以最小的工作量和成本加速模型的生产和部署。 该工具可用于使用任何机器学习框架创建的端点。 它还提供预测跟踪和捕获以及时间表监控。

AWS Sagemaker 的优点：

设置过程很简单，可以与 Jupyter Notebook 一起运行。 因此，简化了脚本的管理和部署。成本是模块化的，具体取决于您使用的功能。模型训练是在多台服务器上完成的。

AWS Sagemaker 缺点：

初级开发人员的学习曲线陡峭。严格的工作流程使得定制变得困难。仅适用于 AWS 生态系统

7、MLflow

如果你正在寻找一个开源工具来组织整个机器学习生命周期，那么MLflow可能就是适合你的平台。

MLflow 提供用于管理 ML 流程和部署的解决方案。 它可以进行实验、再现、部署，或者成为中央模型注册表。

该平台可供个人开发人员和团队用于机器学习部署。 它可以合并到任何编程生态系统中。 该库是为了满足各种技术需求而构建的，可以与不同的机器学习库一起使用。

组织整个机器学习生命周期围绕四个主要功能：跟踪、项目、模型和模型注册表。

它有助于简化自动化 ML 模型跟踪的过程。 但它的一个缺点是它无法自动处理模型定义。 这意味着需要手动向模型定义添加额外的工作。

MLflow 的优点：

模型跟踪机制易于设置。它提供了非常直观的 API 服务。日志记录实用且简化，因此很容易进行实验。代码优先的方法。

MLflow 缺点：

向模型添加额外的工作并不是自动的。不太容易，但非常适合将模型部署到不同的平台。

8、Torchserve

Torchserve 是一个 Pytorch 模型服务框架。 它简化了经过训练的 PyTorch 模型的大规模部署。 它消除了为模型部署编写自定义代码的需要。

Torchserve 由 AWS 设计，作为 PyTorch 项目的一部分提供。 这使得使用 PyTorch 环境构建模型的人可以轻松设置。

它支持低延迟的轻量级服务。 部署的模型具有高性能和广泛的可扩展性。

Torchserve 具有用于某些 ML 任务的内置库，例如对象检测或文本分类。 它可以节省您编写代码的时间。 它提供了强大的功能，例如多模型服务、用于 A/B 测试的模型版本控制、用于监控的指标以及用于应用程序集成的 RESTful 端点。

Torchserve的优点：

简化了部署模型的扩展。服务端点是轻量级的，具有高性能规模。

Torchserve缺点：

由于该工具是实验性的，因此经常会发生更改和更新。仅适用于 PyTorch 模型

---

原文链接：http://www.bimant.com/blog/top8-ml-model-deployment-tools/