Data Engineering Agent 调度与发布指南

本文介绍如何使用 Data Engineering Agent 配置 Studio 任务调度、发布任务到调度系统,以及发布后如何取消发布。本文重点说明"保存调度配置"和"发布到调度系统"之间的区别。

适用场景

当一个 Studio 任务已经完成草稿开发,并准备按周期自动运行时,可以使用 Data Engineering Agent 辅助检查、配置或准备以下工作:

  • 配置 Cron 调度周期
  • 配置失败重试次数和超时时间
  • 配置或检查上下游依赖
  • 发布任务到调度系统
  • 查看任务是否已发布
  • 查询下一次计划运行时间
  • 暂停或取消发布任务

调度与发布会影响任务是否自动运行,属于变更类操作。具体能否直接执行,取决于当前权限、工具开放范围和工作空间配置。执行前应让 Agent 说明影响范围,并在确认后执行。

先探索,再进入调度与发布

调度与发布并不适合一上来就直接执行。

更自然的方式通常是:

  • 先确认任务是不是已经具备发布条件
  • 先判断当前缺的是调度参数、依赖关系,还是发布动作本身
  • 当配置和影响范围都清楚后,再真正进入保存调度或发布

更适合先探索的起手方式包括:

  • 帮我看看这个任务现在是否已经具备发布条件。
  • 帮我看看这个任务现在缺的是 Cron、依赖、VCluster,还是重试和超时配置。
  • 帮我看看这个任务当前是草稿、已保存调度,还是已经发布。

当这些状态已经清楚之后,再执行保存调度配置、发布或取消发布会更稳。

调度发布的三个阶段

任务草稿

任务草稿是 Studio IDE 中的任务文件。草稿可以包含 SQL、Python、Shell 等代码,但不会自动进入调度系统。

草稿阶段通常表现为:

  • 任务已出现在指定任务目录下
  • 任务代码已保存
  • 任务未发布
  • 不会按周期自动运行
  • 不会因为创建草稿而产生运行实例

保存调度配置

保存调度配置会把 Cron、重试、超时、计算集群等配置写入任务元数据,但不等于发布。保存配置后,任务已经具备调度参数,但仍不会自动运行。

只有执行发布操作后,任务才会进入调度系统。

发布任务

发布任务会把任务提交到调度系统。发布后,任务通常会按照 Cron 计划等待后续触发;是否立即运行,应以前端返回状态和调度系统反馈为准。

发布任务前,必须确认 SQL 类型、目标表、计算集群、调度时间、重试策略、超时时间和上下游依赖。

推荐工作流

先确认任务草稿

发布前先让 Agent 检查任务内容。

推荐提问:

重点确认:

  • 任务是否在正确目录下
  • SQL 是否符合预期
  • SQL 是否会写入或覆盖数据
  • Schema 是否正确
  • 计算集群是否正确
  • 是否需要上下游依赖

如果这些信息还不明确,也可以先问:

保存调度配置但不发布

先配置调度参数,再检查配置结果。

推荐提问:

Agent 应说明:

  • 将修改哪个任务
  • Cron 表达式是什么
  • 失败重试次数
  • 超时时间
  • VCluster
  • 是否有上下游依赖
  • 保存配置是否会进入调度系统
  • 是否会产生运行实例

保存后建议再次确认:

发布前做影响确认

发布前应让 Agent 单独做一次确认。

推荐提问:

发布前确认中,应重点检查:

  • 发布对象是否正确
  • 任务是否仍是预期 SQL
  • VCluster 是否正确
  • Cron 是否符合预期
  • 是否会立即运行
  • 下一次计划运行时间是否合理
  • 如何暂停或取消发布

确认发布

确认无误后,再让 Agent 发布。

推荐提问:

发布成功后,任务通常会进入调度系统,等待后续 Cron 触发。是否立即产生运行实例,应以前端返回状态和调度系统反馈为准。应确认:

  • 任务发布状态是否已更新
  • 是否返回了下一次计划运行时间

取消发布或暂停调度

发布后如果需要停止后续自动运行,可以选择暂停或取消发布。

常见操作:

操作常见理解适用场景
pause通常表示暂停后续调度触发,具体状态变化应以产品实际返回为准临时停止自动运行
undeploy通常表示从调度系统移除,后续恢复方式应以产品实际返回为准测试任务清理、下线任务

推荐提问:

确认后:

取消发布后,是否已从调度系统移除、是否还会继续自动触发、草稿与配置是否保留,应以后端返回结果和界面状态为准,不能只根据动作名称推断。

常见问题

保存了 Cron,为什么任务还是没有运行?

保存 Cron 只是写入任务配置。任务必须发布到调度系统后,才会按 Cron 自动触发。

发布后会立即运行吗?

通常不会,但仍应以前端返回状态和调度系统反馈为准。如果需要立即验证,应单独执行任务或选择只读查询验证,但这和发布是两个动作。

任务发布后还能取消吗?

通常可以。可以进一步确认是否支持

pause
pause
暂停调度,或使用
undeploy
undeploy
取消发布;具体状态变化和保留内容,应以后端返回结果和界面状态为准。

取消发布会删除任务吗?

通常不会直接删除任务草稿,但仍应以后端返回结果和界面状态为准。删除草稿应视为单独操作,不要与取消发布混为一体。

为什么要复核 VCluster?

调度任务实际运行时会使用任务配置中的计算集群。发布前应同时核对 Agent 返回的任务详情和 Studio 当前配置,确认 VCluster 是否符合预期,避免在错误的计算集群上运行任务。

测试任务应该如何清理?

测试任务建议遵循以下顺序:

  • 如果已发布,先取消发布(
    undeploy
    undeploy
  • 确认任务已从调度系统移除,下一次计划运行已取消
  • 再从任务树中删除草稿
  • 删除后确认任务节点不再出现在任务目录下

推荐提问模板

配置调度但不发布

发布前确认

发布任务

取消发布

清理测试任务

相关文档

联系我们
预约咨询
微信咨询
电话咨询
邮件咨询