跳转至

REST API

概述

Pinferencia 有两个内置 API:

from pinferencia import Server

service = Server()

# or
service = Server(api="default")
from pinferencia import Server

service = Server(api="kserve")

您现在正在使用其他模型服务工具吗?

如果您还使用其他模型服务工具,以下是这些工具支持的 Kserve API 版本:

名称 API
Pinferencia Kserve V1 & V2
TF Serving Kserve V1
TorchServe Kserve V1 or V2
Triton Kserve V2
KServe Kserve V1

没有痛苦,只有收获

如你看到的

  • 您可以在 Pinferencia 和其他工具之间切换,几乎无需在客户端更改代码。
  • 您可以使用 Pinferencia 进行原型设计和客户端构建,然后在生产中使用其他工具。
  • 您可以在生产环境中将 Pinferencia 与具有相同 API 集的其他工具一起使用。
  • 如果您要从 Kserve V1 切换到 Kserve V2,并且在过渡期间需要支持这两者的服务器,那么您就可以使用 Pinferencia

所以,没有痛苦,只有收获。

默认 API

Path Method Summary
/v1/healthz GET 服务健康
/v1/models GET 模型列表
/v1/models/{model_name} GET 模型版本列表
/v1/models/{model_name}/ready GET 模型是否可用
/v1/models/{model_name}/versions/{version_name}/ready GET 模型版本是否可用
/v1/models/{model_name}/load POST 加载模型
/v1/models/{model_name}/versions/{version_name}/load POST 加载版本
/v1/models/{model_name}/unload POST 卸载模型
/v1/models/{model_name}/versions/{version_name}/unload POST 卸载版本
/v1/models/{model_name}/predict POST 模型预测
/v1/models/{model_name}/versions/{version_name}/predict POST 模型版本预测

Kserve API

Path Method Summary
/v1/healthz GET 服务健康
/v1/models GET 模型列表
/v1/models/{model_name} GET 模型版本列表
/v1/models/{model_name}/ready GET 模型是否可用
/v1/models/{model_name}/versions/{version_name}/ready GET 模型版本是否可用
/v1/models/{model_name}/load POST 加载模型
/v1/models/{model_name}/versions/{version_name}/load POST 加载版本
/v1/models/{model_name}/unload POST 卸载模型
/v1/models/{model_name}/versions/{version_name}/unload POST 卸载版本
/v1/models/{model_name}/infer POST 模型预测
/v1/models/{model_name}/versions/{version_name}/infer POST 模型版本预测
/v2/healthz GET 服务健康
/v2/models GET 模型列表
/v2/models/{model_name} GET 模型版本列表
/v2/models/{model_name}/ready GET 模型是否可用
/v2/models/{model_name}/versions/{version_name}/ready GET 模型版本是否可用
/v2/models/{model_name}/load POST 加载模型
/v2/models/{model_name}/versions/{version_name}/load POST 加载版本
/v2/models/{model_name}/unload POST 卸载模型
/v2/models/{model_name}/versions/{version_name}/unload POST 卸载版本
/v2/models/{model_name}/infer POST 模型预测
/v2/models/{model_name}/versions/{version_name}/infer POST 模型版本预测