Dynamic Table 调度部署规范
调度方式选择
生产环境优先选择 Studio Task 调度 REFRESH:
- 可与上下游任务编排依赖
- 统一监控告警
- 灵活控制刷新时机和重试策略
调度配置要求
自依赖(必须)
- Task 必须配置自依赖,保证同一时间只有一个 REFRESH 实例在运行
- 避免并发 REFRESH 导致写冲突或数据不一致
上游依赖
- 如果源表数据需要同步就绪才能刷新,DT 的 REFRESH Task 应依赖源表产出任务
- 如果源表数据不要求同步,可以不配置上游依赖
Task 内容
非分区 DT
分区 DT(带参数)
其中
dt.args.pt 的值由 Studio 调度引擎在每次执行时替换为具体的业务日期。
注意事项
- 不同分区的 REFRESH 可以并行执行(分配到不同 Task 或同一 Task 不同实例)
- 同一分区/非分区 DT 禁止并发 REFRESH
联系我们
