模型目录
每个模板(ModelCatalog)都在对应硬件上实际部署验证过,包含推理引擎版本、模型变体、显存与资源建议,以及可按需开关的调优参数。导入榫卯 AI 平台后,选择变体即可部署,无需再反复试错引擎参数。
在下方选择模型,复制或下载它的 YAML;也可以一次下载全部。
在榫卯 AI 平台右上角点击「导入 YAML」,粘贴内容或上传文件。所需推理引擎版本需已导入。
在「模型目录」中选择变体,按场景调整上下文、并发等参数,创建推理实例。