Data Engineering Agent 调度与发布指南
本文介绍如何使用 Data Engineering Agent 配置 Studio 任务调度、发布任务到调度系统,以及发布后如何取消发布。本文重点说明"保存调度配置"和"发布到调度系统"之间的区别。
适用场景
当一个 Studio 任务已经完成草稿开发,并准备按周期自动运行时,可以使用 Data Engineering Agent 辅助检查、配置或准备以下工作:
- 配置 Cron 调度周期
- 配置失败重试次数和超时时间
- 配置或检查上下游依赖
- 发布任务到调度系统
- 查看任务是否已发布
- 查询下一次计划运行时间
- 暂停或取消发布任务
调度与发布会影响任务是否自动运行,属于变更类操作。具体能否直接执行,取决于当前权限、工具开放范围和工作空间配置。执行前应让 Agent 说明影响范围,并在确认后执行。
先探索,再进入调度与发布
调度与发布并不适合一上来就直接执行。
更自然的方式通常是:
- 先确认任务是不是已经具备发布条件
- 先判断当前缺的是调度参数、依赖关系,还是发布动作本身
- 当配置和影响范围都清楚后,再真正进入保存调度或发布
更适合先探索的起手方式包括:
- 帮我看看这个任务现在是否已经具备发布条件。
- 帮我看看这个任务现在缺的是 Cron、依赖、VCluster,还是重试和超时配置。
- 帮我看看这个任务当前是草稿、已保存调度,还是已经发布。
当这些状态已经清楚之后,再执行保存调度配置、发布或取消发布会更稳。
调度发布的三个阶段
任务草稿
任务草稿是 Studio IDE 中的任务文件。草稿可以包含 SQL、Python、Shell 等代码,但不会自动进入调度系统。
草稿阶段通常表现为:
- 任务已出现在指定任务目录下
- 任务代码已保存
- 任务未发布
- 不会按周期自动运行
- 不会因为创建草稿而产生运行实例
保存调度配置
保存调度配置会把 Cron、重试、超时、计算集群等配置写入任务元数据,但不等于发布。保存配置后,任务已经具备调度参数,但仍不会自动运行。
只有执行发布操作后,任务才会进入调度系统。
发布任务
发布任务会把任务提交到调度系统。发布后,任务通常会按照 Cron 计划等待后续触发;是否立即运行,应以前端返回状态和调度系统反馈为准。
发布任务前,必须确认 SQL 类型、目标表、计算集群、调度时间、重试策略、超时时间和上下游依赖。
推荐工作流
先确认任务草稿
发布前先让 Agent 检查任务内容。
推荐提问:
重点确认:
- 任务是否在正确目录下
- SQL 是否符合预期
- SQL 是否会写入或覆盖数据
- Schema 是否正确
- 计算集群是否正确
- 是否需要上下游依赖
如果这些信息还不明确,也可以先问:
保存调度配置但不发布
先配置调度参数,再检查配置结果。
推荐提问:
Agent 应说明:
- 将修改哪个任务
- Cron 表达式是什么
- 失败重试次数
- 超时时间
- VCluster
- 是否有上下游依赖
- 保存配置是否会进入调度系统
- 是否会产生运行实例
保存后建议再次确认:
发布前做影响确认
发布前应让 Agent 单独做一次确认。
推荐提问:
发布前确认中,应重点检查:
- 发布对象是否正确
- 任务是否仍是预期 SQL
- VCluster 是否正确
- Cron 是否符合预期
- 是否会立即运行
- 下一次计划运行时间是否合理
- 如何暂停或取消发布
确认发布
确认无误后,再让 Agent 发布。
推荐提问:
发布成功后,任务通常会进入调度系统,等待后续 Cron 触发。是否立即产生运行实例,应以前端返回状态和调度系统反馈为准。应确认:
- 任务发布状态是否已更新
- 是否返回了下一次计划运行时间
取消发布或暂停调度
发布后如果需要停止后续自动运行,可以选择暂停或取消发布。
常见操作:
| 操作 | 常见理解 | 适用场景 |
|---|---|---|
| pause | 通常表示暂停后续调度触发,具体状态变化应以产品实际返回为准 | 临时停止自动运行 |
| undeploy | 通常表示从调度系统移除,后续恢复方式应以产品实际返回为准 | 测试任务清理、下线任务 |
推荐提问:
确认后:
取消发布后,是否已从调度系统移除、是否还会继续自动触发、草稿与配置是否保留,应以后端返回结果和界面状态为准,不能只根据动作名称推断。
常见问题
保存了 Cron,为什么任务还是没有运行?
保存 Cron 只是写入任务配置。任务必须发布到调度系统后,才会按 Cron 自动触发。
发布后会立即运行吗?
通常不会,但仍应以前端返回状态和调度系统反馈为准。如果需要立即验证,应单独执行任务或选择只读查询验证,但这和发布是两个动作。
任务发布后还能取消吗?
通常可以。可以进一步确认是否支持
pause 暂停调度,或使用 undeploy 取消发布;具体状态变化和保留内容,应以后端返回结果和界面状态为准。
取消发布会删除任务吗?
通常不会直接删除任务草稿,但仍应以后端返回结果和界面状态为准。删除草稿应视为单独操作,不要与取消发布混为一体。
为什么要复核 VCluster?
调度任务实际运行时会使用任务配置中的计算集群。发布前应同时核对 Agent 返回的任务详情和 Studio 当前配置,确认 VCluster 是否符合预期,避免在错误的计算集群上运行任务。
测试任务应该如何清理?
测试任务建议遵循以下顺序:
- 如果已发布,先取消发布(
)undeploy - 确认任务已从调度系统移除,下一次计划运行已取消
- 再从任务树中删除草稿
- 删除后确认任务节点不再出现在任务目录下
