Data Engineering Agent 任务组与组合任务指南
本文介绍 Data Engineering Agent 中任务组、组合任务和 Flow 类对象的实际使用方式,重点说明创建入口、关键字段、DAG 复核方法以及容易误解的地方。
先探索,再操作编排对象
任务组、组合任务和 Flow 类对象,比普通 SQL 或 Python 任务更依赖上下文。
更自然的方式通常不是一开始就直接要求 Agent 创建或改 DAG,而是先探索:
- 当前目录里是否已经有相关组合任务
- 当前对象到底是任务组、组合任务,还是组合任务中的子任务
- 当前 DAG 是否已经存在节点和依赖边
这类问题更适合这样起手:
- 帮我看看当前目录里有没有现成的组合任务可以复用。
- 帮我看看这个对象现在是任务组、组合任务,还是普通任务。
- 帮我先检查这个组合任务的实际 DAG,不要先改节点和依赖。
当对象类型、目录位置和 DAG 状态已经明确后,再执行创建节点、绑定依赖或加入任务组会更稳。
先说明概念
在 Studio 中,和多任务编排相关的对象至少包含三类动作:
- 新建组合任务
- 把任务作为任务组处理
- 把任务加入已有任务组
这三件事不是同一个动作,不能用一句“创建任务组”笼统描述。
实际入口
在 IDE 左侧任务树的新建菜单中,组合任务的入口位于:
这不是普通 SQL、Python、Shell 任务的同类入口,而是单独的任务类型。
组合任务新建弹窗
实际创建弹窗中,至少包含以下字段:
任务名称文件夹任务组
其中
任务组 字段默认可能为 否。当切换为 是 时,界面会额外出现:
这说明界面在区分两种情况:
- 当前对象只是一个组合任务
- 当前对象需要挂到某个任务组关系中
因此,在要求 Agent 操作时,建议明确写出你要的是哪一种。
推荐提问方式
如果要新建组合任务本身:
如果要向已有任务组中添加任务:
如果要在组合任务里创建节点并绑定依赖:
创建后必须复核什么
多节点任务最容易出现“对象创建了,但 DAG 没落对”的情况。因此创建后应实际复核以下内容:
- 任务树中是否真的出现了组合任务对象
- 画布中是否真的出现了节点
- 节点数量是否符合预期
- 节点名称是否符合预期
- 节点之间是否有依赖边
- DAG 是否为空
- 节点内容是否属于组合任务内部,而不是散落成独立任务
推荐提问:
一个重要的实操结论
在实际验证中,曾出现以下情况:
- Flow / 组合任务对象本身创建成功
- Agent 的只读返回中说 DAG 为空
- 但 Studio 画布实际可以看到两个节点和一条依赖边
这说明文档和操作规范中必须强调:
- 不能只依赖 Agent 的口头返回
- 也不能只依赖“创建成功”的提示
- 应以任务树和画布中的实际对象为准
组合任务与普通任务的区别
| 对象 | 主要关注点 |
|---|---|
| 普通 SQL / Python / Shell 任务 | 任务目录、代码内容、调度配置、发布状态 |
| 组合任务 / Flow | 任务目录、画布节点、依赖边、节点内容、发布状态 |
普通任务检查的是代码和调度;组合任务除了这些,还必须检查画布结构。
风险与注意事项
- 创建组合任务本身不等于节点已经创建完成
- 节点创建完成不等于依赖已经绑定完成
- 依赖绑定完成不等于后续调度关系已经发布完成
- 删除组合任务前,应先确认是否已发布、是否有运行记录、是否还关联其它任务
如果只是做测试,建议把组合任务放到测试目录,并在验证完成后及时删除。
相关文档
联系我们
