销售实时看板：用 Dynamic Table 构建多层增量数仓

业务背景

电商运营团队每天面对一个共同问题：促销活动进行中，各品类的 GMV 和排名在实时变化，但数据看板要等到次日才能刷新。错过实时数据意味着错过调整投放策略的窗口——某个品类已经卖爆了，补货和加推的决策却要等到明天。

传统解法是写一个定时 SQL 任务，每分钟全量重算一次。这个方案有两个问题：

• 计算浪费：每次全量扫描所有历史订单，数据量越大越慢，成本随数据增长线性上升
• 运维负担：需要自己管理调度、处理任务失败重试、保证幂等性

预览

Dynamic Table 的价值在于：你只写全量语义的 SQL，系统自动识别新增数据，只计算变化部分，不重算历史。数据量翻 10 倍，增量计算的成本不变。

适用场景

涉及的 SQL 命令

CREATE DYNAMIC TABLE

REFRESH INTERVAL

SHOW DYNAMIC TABLE REFRESH HISTORY

DROP DYNAMIC TABLE

数据架构

三层 Dynamic Table 链路，每层 1 分钟自动刷新：

外部数据源（MySQL / Kafka / 对象存储 / ...） │ 实时写入 ▼ doc_orders doc_products └──────────────────┘ │ JOIN ▼ doc_dwd_order_detail ← DWD：订单打宽（补充品类、品牌） │ ▼ doc_ads_category_gmv ← ADS：品类 GMV 汇总 + 均价 │ ▼ doc_ads_category_rank ← ADS：品类实时排行榜

底表数据如何实时写入

本文用

INSERT INTO

底表一旦有新数据写入，Dynamic Table 链路在下一个刷新周期自动感知并增量计算，无需任何额外配置。

前置准备

建源表

CREATE TABLE IF NOT EXISTS doc_orders ( order_id STRING, user_id STRING, product_id STRING, quantity INT, unit_price DECIMAL(10,2), amount DECIMAL(10,2), order_time TIMESTAMP, status STRING ); CREATE TABLE IF NOT EXISTS doc_products ( product_id STRING, product_name STRING, category STRING, brand STRING );

插入初始数据

INSERT INTO doc_products VALUES ('P001', '无线蓝牙耳机', '数码配件', 'SoundMax'), ('P002', '机械键盘', '电脑外设', 'KeyPro'), ('P003', '运动跑鞋', '运动户外', 'SpeedRun'), ('P004', '瑜伽垫', '运动户外', 'FlexFit'), ('P005', '保温杯', '家居生活', 'ThermoKeep'), ('P006', 'USB-C 充电器', '数码配件', 'ChargeFast'), ('P007', '笔记本支架', '电脑外设', 'DeskPro'), ('P008', '跳绳', '运动户外', 'JumpFit'); INSERT INTO doc_orders VALUES ('O001','U101','P001',2,299.00,598.00, CAST('2026-05-28 16:00:00' AS TIMESTAMP),'completed'), ('O002','U102','P002',1,459.00,459.00, CAST('2026-05-28 16:05:00' AS TIMESTAMP),'completed'), ('O003','U103','P003',1,389.00,389.00, CAST('2026-05-28 16:10:00' AS TIMESTAMP),'completed'), ('O004','U104','P001',1,299.00,299.00, CAST('2026-05-28 16:15:00' AS TIMESTAMP),'completed'), ('O005','U105','P004',2,128.00,256.00, CAST('2026-05-28 16:20:00' AS TIMESTAMP),'completed'), ('O006','U106','P005',3, 89.00,267.00, CAST('2026-05-28 16:25:00' AS TIMESTAMP),'completed'), ('O007','U107','P006',2,129.00,258.00, CAST('2026-05-28 16:30:00' AS TIMESTAMP),'completed'), ('O008','U108','P003',2,389.00,778.00, CAST('2026-05-28 16:35:00' AS TIMESTAMP),'completed'), ('O009','U109','P007',1,199.00,199.00, CAST('2026-05-28 16:40:00' AS TIMESTAMP),'completed'), ('O010','U110','P008',3, 49.00,147.00, CAST('2026-05-28 16:45:00' AS TIMESTAMP),'completed');

CAST('...' AS TIMESTAMP)

场景一：创建三层 Dynamic Table

第一层（DWD）：订单打宽

将订单表与商品表 JOIN，补充品类和品牌信息，只保留已完成的订单。

CREATE OR REPLACE DYNAMIC TABLE doc_dwd_order_detail REFRESH INTERVAL '1' MINUTE VCLUSTER default AS SELECT o.order_id, o.user_id, o.product_id, p.product_name, p.category, p.brand, o.quantity, o.unit_price, o.amount, o.order_time, o.status FROM doc_orders o JOIN doc_products p ON o.product_id = p.product_id WHERE o.status = 'completed';

第二层（ADS）：品类 GMV 汇总

按品类聚合，计算订单数、销量、GMV 和均价。

CREATE OR REPLACE DYNAMIC TABLE doc_ads_category_gmv REFRESH INTERVAL '1' MINUTE VCLUSTER default AS SELECT category, COUNT(DISTINCT order_id) AS order_cnt, SUM(quantity) AS total_qty, SUM(amount) AS gmv, CAST(SUM(amount) / SUM(quantity) AS DECIMAL(10,2)) AS avg_price FROM doc_dwd_order_detail GROUP BY category;

CAST(SUM(amount) / SUM(quantity) AS DECIMAL(10,2))

ROUND(SUM(amount)/SUM(quantity), 2)

第三层（ADS）：品类排行榜

基于 GMV 汇总表计算实时排名。

CREATE OR REPLACE DYNAMIC TABLE doc_ads_category_rank REFRESH INTERVAL '1' MINUTE VCLUSTER default AS SELECT RANK() OVER (ORDER BY gmv DESC) AS gmv_rank, category, order_cnt, total_qty, gmv, avg_price FROM doc_ads_category_gmv;

验证初始结果

等待约 2 分钟后查询排行榜：

SELECT * FROM doc_ads_category_rank ORDER BY gmv_rank;

+--------+---------+-----------+-----------+---------+-----------+ |gmv_rank|category |order_cnt |total_qty |gmv |avg_price | +--------+---------+-----------+-----------+---------+-----------+ | 1|运动户外 | 4| 8| 1570.00| 196.25| | 2|数码配件 | 3| 5| 1155.00| 231.00| | 3|电脑外设 | 2| 2| 658.00| 329.00| | 4|家居生活 | 1| 3| 267.00| 89.00| +--------+---------+-----------+-----------+---------+-----------+

运动户外以 1570 元 GMV 排名第一，来自跑鞋（2 笔）、瑜伽垫（1 笔）、跳绳（1 笔）共 4 笔订单，均价 196.25 元。

场景二：新订单写入，排名自动更新

模拟下一批订单进来——数码配件和电脑外设各有新单：

INSERT INTO doc_orders VALUES ('O011','U111','P005',2, 89.00,178.00, CAST('2026-05-28 17:00:00' AS TIMESTAMP),'completed'), ('O012','U112','P006',3,129.00,387.00, CAST('2026-05-28 17:02:00' AS TIMESTAMP),'completed'), ('O013','U113','P001',1,299.00,299.00, CAST('2026-05-28 17:05:00' AS TIMESTAMP),'completed'), ('O014','U114','P004',1,128.00,128.00, CAST('2026-05-28 17:08:00' AS TIMESTAMP),'completed'), ('O015','U115','P002',2,459.00,918.00, CAST('2026-05-28 17:10:00' AS TIMESTAMP),'completed');

等待约 2 分钟，再次查询排行榜：

SELECT * FROM doc_ads_category_rank ORDER BY gmv_rank;

+--------+---------+-----------+-----------+---------+-----------+ |gmv_rank|category |order_cnt |total_qty |gmv |avg_price | +--------+---------+-----------+-----------+---------+-----------+ | 1|数码配件 | 5| 9| 1841.00| 204.56| | 2|运动户外 | 5| 9| 1698.00| 188.67| | 3|电脑外设 | 3| 4| 1576.00| 394.00| | 4|家居生活 | 2| 5| 445.00| 89.00| +--------+---------+-----------+-----------+---------+-----------+

数码配件新增了保温杯（178 元）、USB-C 充电器（387 元）、无线蓝牙耳机（299 元）共 686 元，GMV 从 1155 升至 1841，超过运动户外跃升第一。排名变化由系统自动计算，无需任何手动干预。

场景三：修改 DT 定义

业务需求变化时，可以用

CREATE OR REPLACE DYNAMIC TABLE

适合用 OR REPLACE 的改动：修改 WHERE 过滤条件、新增透传列（直接来自上游的列，不参与计算）。

需要 DROP + 重建的改动：修改列类型、修改聚合逻辑（如新增

avg_price

NotAllowed: cannot replace <col> from type X to Y

OR REPLACE 后，若上游没有新数据写入，系统不会重算已有行——新列的值会保持 null，直到下次有新数据触发刷新时才一并计算。

查看刷新状态

SHOW DYNAMIC TABLE REFRESH HISTORY WHERE name = 'doc_ads_category_rank' LIMIT 5;

实测返回示例：

关键字段说明：

state

SUCCEED

FAILED

refresh_mode

INCREMENTAL

FULL

NO_DATA

refresh_trigger

SYSTEM_SCHEDULED

MANUAL

start_time

end_time

stats

rows_inserted

rows_deleted

error_message

上游删除后的行为

删除上游 DT 后，下游 DT 不会报错、不会级联删除，刷新状态变为

NO_DATA

-- 删除 DWD 层 DROP DYNAMIC TABLE IF EXISTS doc_dwd_order_detail; -- gmv 层仍然存在，但刷新变为 NO_DATA SHOW DYNAMIC TABLE REFRESH HISTORY WHERE name = 'doc_ads_category_gmv' LIMIT 3; -- state: SUCCEED, refresh_mode: NO_DATA

这意味着：如果误删了上游 DT，下游数据不会消失，重建上游后下游会在下一个刷新周期自动恢复增量计算。

清理资源

DROP DYNAMIC TABLE IF EXISTS doc_ads_category_rank; DROP DYNAMIC TABLE IF EXISTS doc_ads_category_gmv; DROP DYNAMIC TABLE IF EXISTS doc_dwd_order_detail; DROP TABLE IF EXISTS doc_orders; DROP TABLE IF EXISTS doc_products;

关键点总结

• 只写全量 SQL，系统做增量：三层 DT 的 SQL 都是普通的 SELECT，不需要写任何增量逻辑，系统自动识别新增数据并只计算变化部分
• 链路自动传播：源表有新数据 → DWD 层刷新 → ADS 汇总层刷新 → 排行榜更新，整个链路无需人工触发
• 端到端延迟约 1-2 分钟：实测 DWD 和 gmv 层在同一批次刷新，rank 层在下一个周期感知变化，端到端约 1-2 分钟（刷新间隔设为 1 分钟时）
• OR REPLACE 有限制：不能改列类型，改聚合逻辑需 DROP + 重建；OR REPLACE 后若上游无新数据，新列值为 null 直到下次刷新

相关文档

• 动态表介绍
• 创建动态表（Dynamic Table）
• 修改动态表（ALTER DYNAMIC TABLE）
• SHOW DYNAMIC TABLE REFRESH HISTORY