任务管理

目前，训练任务既可以直接使用 create 函数创建，也可以通过提交任务 YAML 配置来创建。

创建训练任务

from siflow import SiFlow
from siflow.types import (
    TaskVolume,
    TaskEnhancements,
    TaskUserSelectedInstance,
    TaskEnhancementsFaultTolerance,
    TaskEnv
)

client = SiFlow(
    region="cn-beijing",
    cluster="auriga",
)

uuid = client.tasks.create(
    name_prefix="test",
    image="megatron",
    image_version="0.12.1",
    image_url="registry-cn-beijing.siflow.cn/siflow/megatron:0.12.1-a845aa7",
    image_type="preset",
    type="pytorchjob",
    priority="medium",
    cmd="""echo hello world""",
    workers=1,
    resource_pool="cn-beijing-auriga-ai-infra-reserved-shared",
    instances=[
        TaskUserSelectedInstance(name="sci.c23-2", count_per_pod=1),
    ],
    volumes=[
        TaskVolume(mount_dir="/volume/ai-infra", volume_id=1),
    ],
    enhancements=TaskEnhancements(
        fault_tolerance=TaskEnhancementsFaultTolerance(enabled=True, max_retry_count=1),
    ),
    labels={
        "key1": "value1",
        "key2": "value2",
    },
    task_env=[
        TaskEnv(env_key="AA", env_value="aa", hide=True),
        TaskEnv(env_key="BB", env_value="bb", hide=False),
    ],
)
print(uuid)

参数说明：

参数名	类型	是否必填	说明
name_prefix	str	是	训练任务名称前缀
image	str	是	训练任务使用的镜像名称
image_version	str	是	镜像版本
image_type	str	是	镜像类型，可选值为：preset 或 custom
image_url	str	否	使用该参数为自定义镜像指定镜像 URL
type	str	是	任务类型，可选值为：pytorchjob、pod
priority	str	否	任务优先级，可选值为：high、medium、low
cmd	str	是	任务入口程序
workers	int	是	任务 worker 数量，不指定时默认为 1
resource_pool	str	是	使用的实例资源池名称： 1. 按需共享：`<region>-<cluster>-<tenant>-ondemand-shared` 2. 预留共享： `<region>-<cluster>-<tenant>-reserved-shared` 3. 预留独享: `<pool_name>`
instances	List[TaskUserSelectedInstance]	是	任务 Pod 使用的实例类型及数量。可选择多种实例类型，系统将按录入顺序检查是否有足够配额并据此进行调度。
volumes	List[TaskVolume]	否	任务 Pod 需要挂载的存储卷，支持挂载多个存储卷
datasets	List[TaskDataset]	否	任务所需的数据集，支持同时挂载多个数据集
enhancements	TaskEnhancements	否	启用任务增强功能配置
task_env	List[TaskEnv]	否	- 配置中的键值对将以环境变量的形式反映在 Pod 中 - hide 参数：设为 True 时，非任务所有者查看任务详情时该值将显示为 ****（主要用于任务共享场景）

使用 YAML 创建训练任务

除上述通过 create 函数指定参数的方式外，还可以通过提交任务 YAML 配置来创建任务，其格式与 SiFlow 命令行工具相同。

uuid = client.tasks.create(yaml_file="/path/to/task-yaml-file.yml")
print(uuid)

任务 YAML 示例

namePrefix: test
image: megatron
imageVersion: "0.12.1"
imageUrl: registry-cn-beijing.siflow.cn/siflow/megatron:0.12.1-a845aa7
type: pytorchjob
priority: medium
cmd: |
  echo hello world
workers: 1
resourcePool: cn-beijing-auriga-ai-infra-reserved-shared
instances:
  - name: sci.c23-2
    countPerPod: 1
volumes:
  - volumeId: 1
    mountDir: /volume/ai-infra
enhancements:
  faultTolerance:
    enabled: true
    maxRetryCount: 1

删除训练任务

删除单个任务：

uuid = client.tasks.delete(uuid="e86c99a1-08a4-95db-9ac2-67fc4b43e7fd")
print(uuid)

批量删除任务：

uuids = client.tasks.batch_delete(uuids=[
    "e86c99a1-08a4-95db-9ac2-67fc4b43e7fd",
])
print(uuids)

停止训练任务

uuid = client.tasks.stop(uuid="e86c99a1-08a4-95db-9ac2-67fc4b43e7fd")
print(uuid)

uuids = client.tasks.batch_stop(uuids=["e86c99a1-08a4-95db-9ac2-67fc4b43e7fd"])
print(uuid)

根据 ID 获取任务详情

task = client.tasks.get(uuid="e86c99a1-08a4-95db-9ac2-67fc4b43e7fd")
print(task.name, task.status, task.created_at)
# test-2XsAaXW3 Running "2024-10-01 10:00:00"

返回值请参见”相关类型定义”中的 Task。

获取任务列表

tasks = client.tasks.list()

for task in tasks:
    print(task.uuid, task.name, task.status)

list 参数：

参数名	类型	是否必填	说明
status	string	否	根据 status 字段过滤要查询的任务
count	int	否	本次查询返回的最大任务数量
返回值中的每一项请参见”相关类型定义”中的 TaskBrief。

重新提交任务

uuids = client.tasks.resubmit(uuids=[
    "e86c99a1-08a4-95db-9ac2-67fc4b43e7fd",
])
print(uuids)

结构定义

TaskBrief

字段	类型	说明
uuid	string	任务的 UUID；使用该 ID 查询任务状态详情
cluster	string	任务所在的集群
name	string	任务名称
resource_pool	string	任务使用的实例资源池
instances	List[TaskUserSelectedInstance]	提交任务时选择的实例类型及数量
selected_instances	List[TaskSystemSelectedInstance]	任务实际使用的实例类型及数量
volumes	List[TaskVolume]	任务 Pod 挂载的存储卷
image	string	任务使用的镜像名称
image_version	string	镜像版本
image_url	string	镜像 URL
image_type	string	镜像类型，preset 或 custom
status	string	任务状态
status_msg	string	任务状态详情
created_time	string	任务创建时间
updated_time	string	任务更新时间
start_time	string	任务开始时间
end_time	string	任务结束时间
duration	string	任务运行时长
priority	string	任务优先级
queue_info	TaskQueueInfo	任务排队状态

Task

字段	类型	说明
uuid	string	任务的 UUID；使用该 ID 查询任务状态详情
cluster	string	任务所在的集群
name	string	任务名称
name_prefix	string	任务名称前缀
resource_pool	string	任务使用的实例资源池
instances	List[TaskUserSelectedInstance]	提交任务时选择的实例类型及数量
selected_instances	List[TaskSystemSelectedInstance]	任务实际使用的实例类型及数量
volumes	List[TaskVolume]	任务 Pod 挂载的存储卷
image	string	任务使用的镜像名称
image_version	string	镜像版本
image_url	string	镜像 URL
image_type	string	镜像类型，preset 或 custom
status	string	任务状态
status_msg	string	任务状态详情
created_time	string	任务创建时间
updated_time	string	任务更新时间
start_time	string	任务开始时间
end_time	string	任务结束时间
duration	string	任务运行时长
type	string	任务类型：pytorchjob 或 pod
workers	int	任务 worker 数量
cmd	string	任务入口命令
datasets	List[TaskDataset]	挂载到任务 Pod 的数据集
models	List[TaskModel]	挂载到任务 Pod 的模型
enhancements	TaskEnhancements	任务增强相关配置

TaskUserSelectedInstance

参数名	类型	是否必填	说明
name	str	是	可在网页上查看各集群支持的实例类型，例如 sci.c23-2
count_per_pod	int	是	每个任务 Pod 使用的实例数量

TaskSystemSelectedInstance

参数名	类型	是否必填	说明
name	str	是	可在网页上查看各集群支持的实例类型，例如 sci.c23-2
count_per_pod	int	是	每个任务 Pod 使用的实例数量

TaskVolume

参数名	类型	是否必填	说明
volume_id	int	否	存储卷的 ID：volume_id 与 volume_name 两个参数中至少需提供一个
volume_name	str	否	存储卷名称
mount_dir	str	是	存储卷在任务 Pod 中的挂载路径

TaskDataset

参数名	类型	是否必填	说明
name	str	是	要挂载到任务 Pod 的数据集名称
version	str	否	数据集版本
type	str	是	数据集类型，可选参数为：preset 或 custom
pvc_name	str	是	数据集所在存储卷对应的 PVC 名称
sub_path	str	是	数据集在存储卷中的相对路径
mount_path	str	是	数据集挂载到任务 Pod 中的路径

TaskModel

参数名	类型	是否必填	说明
name	str	是	要挂载到任务 Pod 的数据集名称
version	str	否	数据集版本
type	str	是	数据集类型，可选参数为：preset 或 custom
pvc_name	str	是	数据集所在存储卷对应的 PVC 名称
sub_path	str	是	数据集在存储卷中的相对路径
mount_path	str	是	数据集挂载到任务 Pod 中的路径

TaskEnhancements

参数名	类型	是否必填	说明
fault_tolerance	FaultTolerance	否	任务容错相关配置

TaskEnhancementsFaultTolerance

参数名	类型	是否必填	说明
enabled	bool	否	是否启用任务容错功能
max_retry_count	int	否	任务失败时的最大重试次数
recourds	List[str]	否	任务自动容错记录，创建时无需填写，获取时自动填充

TaskQueueInfo

参数名	类型	说明
rank_in_pool	int	当前任务在资源池中的排队位置
ahead_in_pool	TasksAheadBreakdown	当前任务在资源池中前序任务的详细信息
rank_in_user	int	当前任务在用户任务中的排队位置
ahead_in_user	TasksAheadBreakdown	当前任务在用户任务中前序任务的详细信息

TasksAheadBreakdown

参数名	类型	说明
high	int	排在当前任务之前的高优先级任务数量
medium	int	排在当前任务之前的普通优先级任务数量
low	int	排在当前任务之前的低优先级任务数量

开始使用

开发

训练

镜像

部署与服务

SDK

创建训练任务

使用 YAML 创建训练任务

删除训练任务

停止训练任务

根据 ID 获取任务详情

获取任务列表

重新提交任务

结构定义

TaskBrief

Task

TaskUserSelectedInstance

TaskSystemSelectedInstance

TaskVolume

TaskDataset

TaskModel

TaskEnhancements

TaskEnhancementsFaultTolerance

​创建训练任务

​使用 YAML 创建训练任务

​删除训练任务

​停止训练任务

​根据 ID 获取任务详情

​获取任务列表

​重新提交任务

​结构定义

​TaskBrief

​Task

​TaskUserSelectedInstance

​TaskSystemSelectedInstance

​TaskVolume

​TaskDataset

​TaskModel

​TaskEnhancements

​TaskEnhancementsFaultTolerance

创建训练任务

使用 YAML 创建训练任务

删除训练任务

停止训练任务

根据 ID 获取任务详情

获取任务列表

重新提交任务

结构定义

TaskBrief

Task

TaskUserSelectedInstance

TaskSystemSelectedInstance

TaskVolume

TaskDataset

TaskModel

TaskEnhancements

TaskEnhancementsFaultTolerance