榫卯 AI 平台 模型目录

模型目录

经过验证的模型部署模板

每个模板(ModelCatalog)都在对应硬件上实际部署验证过,包含推理引擎版本、模型变体、显存与资源建议,以及可按需开关的调优参数。导入榫卯 AI 平台后,选择变体即可部署,无需再反复试错引擎参数。

01

获取 YAML

在下方选择模型,复制或下载它的 YAML;也可以一次下载全部。

02

导入平台

在榫卯 AI 平台右上角点击「导入 YAML」,粘贴内容或上传文件。所需推理引擎版本需已导入。

03

选择变体部署

在「模型目录」中选择变体,按场景调整上下文、并发等参数,创建推理实例。