Dynamic Table 调度部署规范

调度方式选择

生产环境优先选择 Studio Task 调度 REFRESH:

  • 可与上下游任务编排依赖
  • 统一监控告警
  • 灵活控制刷新时机和重试策略

调度配置要求

自依赖(必须)

  • Task 必须配置自依赖,保证同一时间只有一个 REFRESH 实例在运行
  • 避免并发 REFRESH 导致写冲突或数据不一致

上游依赖

  • 如果源表数据需要同步就绪才能刷新,DT 的 REFRESH Task 应依赖源表产出任务
  • 如果源表数据不要求同步,可以不配置上游依赖

Task 内容

非分区 DT

REFRESH DYNAMIC TABLE schema.dt_name;

分区 DT(带参数)

SET dt.args.pt = '2024-11-13'; REFRESH DYNAMIC TABLE schema.dt_name PARTITION (pt = '2024-11-13');

其中

dt.args.pt
dt.args.pt
的值由 Studio 调度引擎在每次执行时替换为具体的业务日期。

注意事项

  • 不同分区的 REFRESH 可以并行执行(分配到不同 Task 或同一 Task 不同实例)
  • 同一分区/非分区 DT 禁止并发 REFRESH

联系我们
预约咨询
微信咨询
电话咨询