Lakehouse 联邦查询指南（External Catalog）

概述

联邦查询（Federation Query）允许 Lakehouse 直接查询外部数据目录（如 Hive Metastore、Databricks Unity Catalog）中的数据，无需迁移或复制数据。通过

CREATE EXTERNAL CATALOG

涉及的 SQL 命令

CREATE EXTERNAL CATALOG

SHOW CATALOGS

SHOW SCHEMAS IN ext_catalog

SHOW TABLES IN ext_catalog.schema

SELECT * FROM ext_catalog.schema.table

前置准备

以下示例假设已创建对应的 Storage Connection 和 Catalog Connection：

-- 确保已创建 Storage Connection（指向外部存储） -- 确保已创建 Catalog Connection（指向 Hive Metastore 或 Databricks）

创建 Hive 外部 Catalog

使用

CREATE EXTERNAL CATALOG

-- 创建 Hive 外部 Catalog CREATE EXTERNAL CATALOG hive_prod CONNECTION hive_catalog_conn;

参数说明：

• hive_prod

  hive_prod
  ：外部 Catalog 在 Lakehouse 中的名称。

• hive_catalog_conn

  hive_catalog_conn
  ：预先创建的 Catalog Connection，包含 HMS 地址和认证信息。

查询外部 Catalog 数据

使用三层命名空间（

catalog.schema.table

-- 查询外部表 SELECT customer_id, SUM(amount) as total_spent FROM databricks_main_catalog.sales_db.customer_orders GROUP BY customer_id LIMIT 10;

执行说明：

• Lakehouse 会向外部 Catalog 请求元数据，并直接从外部存储（如 OSS/S3）读取数据文件。
• 查询语法与本地表完全一致，支持 JOIN、聚合、窗口函数等。

Unauthenticated

SHOW CATALOGS

查看外部 Schema 和表

使用

SHOW

-- 查看所有 Catalog SHOW CATALOGS;

返回信息：

category = 'EXTERNAL'

CREATE EXTERNAL CATALOG

-- 查看外部 Catalog 下的 Schema SHOW SCHEMAS IN databricks_main_catalog; -- 查看外部 Schema 下的表 SHOW TABLES IN databricks_main_catalog.default;

Unauthenticated: invalid_client

删除外部 Catalog

使用

DROP CATALOG

-- 删除外部 Catalog DROP CATALOG IF EXISTS hive_prod;

清理测试数据

完成联邦查询验证后，建议清理外部 Catalog 映射：

-- 删除外部 Catalog DROP CATALOG IF EXISTS hive_prod;

注意事项

1. 只读访问：External Catalog 仅支持

   SELECT

   SELECT
   查询，不支持 DML 操作（INSERT/UPDATE/DELETE）。
2. 网络延迟：查询外部数据需跨网络读取文件，性能通常低于本地表。建议将频繁查询的数据同步到 Lakehouse。
3. 认证过期：External Catalog 依赖 Catalog Connection 的认证信息（如 OAuth Token）。认证过期后会报

   Unauthenticated: invalid_client

   Unauthenticated: invalid_client
   ，需重新创建 Connection。
4. Schema 同步：外部表结构变更不会自动同步到 Lakehouse。如需获取最新 Schema，可重建 External Catalog 或刷新元数据。
5. 数据类型映射：外部系统的数据类型会映射为 Lakehouse 对应类型，部分复杂类型可能不支持。
6. 权限要求：创建 External Catalog 需要

   instance_admin

   instance_admin
   角色，查询需要对 Catalog 具有

   USAGE

   USAGE
   权限。

相关文档

• External Catalog 简介
• 创建 External Catalog
• 创建 Hive Catalog