Lakehouse 数据对比与合并指南（集合操作）

概述

在数据分析中，经常需要将多个查询结果进行合并、对比或找出差异。云器 Lakehouse 提供完整的集合操作支持，包括

UNION

INTERSECT

EXCEPT

涉及的 SQL 命令

UNION ALL

UNION

INTERSECT

EXCEPT

前置准备

以下示例使用模拟的两个销售表

sales_2023

sales_2024

-- 创建 2023 年销售表 CREATE TABLE IF NOT EXISTS sales_2023 ( customer_id INT, product STRING, amount DOUBLE ); -- 创建 2024 年销售表 CREATE TABLE IF NOT EXISTS sales_2024 ( customer_id INT, product STRING, amount DOUBLE ); -- 插入 2023 年数据 INSERT INTO sales_2023 VALUES (1, 'Phone', 5000), (2, 'Laptop', 8000), (3, 'Tablet', 3000); -- 插入 2024 年数据 INSERT INTO sales_2024 VALUES (2, 'Laptop', 8000), (3, 'Tablet', 3000), (4, 'Watch', 2000);

合并数据

使用

UNION ALL

-- 合并两年销售数据 SELECT customer_id, product, amount FROM sales_2023 UNION ALL SELECT customer_id, product, amount FROM sales_2024 ORDER BY customer_id;

结果说明：

UNION ALL

UNION

UNION ALL

去重合并

使用

UNION

-- 合并两年销售数据并去重 SELECT customer_id, product, amount FROM sales_2023 UNION SELECT customer_id, product, amount FROM sales_2024 ORDER BY customer_id;

结果说明：

查找共同数据

使用

INTERSECT

-- 查找两年都有购买的客户和产品 SELECT customer_id, product, amount FROM sales_2023 INTERSECT SELECT customer_id, product, amount FROM sales_2024 ORDER BY customer_id;

结果说明：

查找差异数据

使用

EXCEPT

-- 查找 2023 年有但 2024 年没有的客户（流失客户） SELECT customer_id, product FROM sales_2023 EXCEPT SELECT customer_id, product FROM sales_2024 ORDER BY customer_id;

结果说明：

-- 查找 2024 年新增的客户 SELECT customer_id, product FROM sales_2024 EXCEPT SELECT customer_id, product FROM sales_2023 ORDER BY customer_id;

结果说明：

多表对比

组合使用集合操作进行更复杂的数据对比。

-- 查找仅在某一年出现的客户（对称差集） (SELECT customer_id FROM sales_2023 EXCEPT SELECT customer_id FROM sales_2024) UNION ALL (SELECT customer_id FROM sales_2024 EXCEPT SELECT customer_id FROM sales_2023) ORDER BY customer_id;

结果说明：

清理测试数据

完成集合操作验证后，建议清理测试表：

-- 删除测试表 DROP TABLE IF EXISTS sales_2023; DROP TABLE IF EXISTS sales_2024;

UNDROP TABLE

注意事项

1. 列数和类型匹配：集合操作要求两个查询的列数相同，对应列的数据类型兼容。
2. 列名以第一个查询为准：结果集的列名使用第一个

   SELECT

   SELECT
   的列名。
3. ORDER BY 位置：

   ORDER BY

   ORDER BY
   只能放在最后一个查询之后，作用于整个结果集。
4. 性能差异：

   UNION ALL

   UNION ALL
   性能最优（不去重），

   UNION

   UNION
   和

   INTERSECT

   INTERSECT
   需要去重，

   EXCEPT

   EXCEPT
   需要哈希匹配。大数据量时优先使用

   UNION ALL

   UNION ALL
   + 后续处理。

相关文档

• 集合操作
• SELECT 基础语法