跳转到主要内容

提交任务

平台支持通过 UI 提交训练任务,无需繁琐的 k8s 操作。用户可以点击 Workloads 页面右上角的 “Create” 按钮,进入任务提交页面: 图片 按需填写表单后,点击右下角的 “Create” 即可提交任务。 图片
对于分布式训练任务,平台在每个 pod 中提供以下实用的环境变量:
  • MASTER_ADDR:分布式训练任务中主节点的地址
  • MASTER_PORT:分布式训练任务中主节点的端口号
  • WORLD_SIZE:分布式训练任务中使用的机器总数
  • RANK:当前 pod 的 “ID”(即 RANK) 借助这些环境变量,提交分布式训练任务变得非常便捷。以 PyTorch 的 torchrun 命令为例,你无需声明 MAST_ADDR 等环境变量,系统会自动为你配置:
torchrun \
--nproc_per_node 8 \  
train.py
任务提交后,将被加入队列并等待调度。 图片 在任务执行期间,你可以查看任务详情、任务日志、任务监控等信息。

克隆任务

平台支持对现有任务配置稍作修改后作为新任务提交。用户可以点击待克隆任务右侧的 “Clone” 按钮进入 Clone 页面。 图片 在 Clone 页面中,任务相关配置已全部加载完成。你可以稍作修改后提交一个新任务。你也可以不做任何更改直接提交,这等同于”重新提交”——本质上是用原有设置创建一个新任务。 图片

重新提交任务

有时,用户可能希望以相同配置重新提交任务,以排除执行过程中的随机因素。平台允许用户使用现有任务配置提交一个完全相同的任务。用户可以点击任务右侧的 “Resubmit” 按钮,以相同配置重新提交任务。 图片 平台还支持批量重新提交任务。用户可以选择多个任务,点击右上角的 “Resubmit” 按钮进行批量重新提交。 图片

停止任务

有时,用户可能在执行过程中发现任务的运行状态不符合预期(例如参数设置错误、loss 波动异常),并希望中途停止任务,同时保留记录以便后续克隆或重新提交。平台允许用户点击任务右侧的 “Stop” 按钮停止正在运行的任务。 图片 任务停止后,状态将变为 “Stopped”。 图片

删除任务

平台允许用户删除任务。无论任务当前是否正在运行,用户都可以直接删除。 用户可以点击待删除任务右侧的 “Delete” 按钮,删除单个任务。 图片 平台还支持批量删除任务。用户可以选择多个任务,点击右上角的 “Delete” 按钮进行批量删除。 图片