Volume

Volume 是 Lakehouse 的对象存储挂载点,用于访问外部对象存储(OSS/COS/S3)中的文件,或作为 Lakehouse 内置的文件存储空间。

详细介绍参见 Volume 对象模型


本章内容

页面说明
内部 VolumeUser Volume 和 Table Volume 的操作说明
外部 Volume挂载 OSS/COS/S3 的 External Volume
阿里云 OSS Volume创建 OSS External Volume 的完整步骤
腾讯云 COS Volume创建 COS External Volume 的完整步骤
亚马逊 S3 Volume创建 S3 External Volume 的完整步骤
CREATE VOLUME创建 Named Volume
CREATE EXTERNAL VOLUME创建 External Volume,挂载外部对象存储
ALTER VOLUME修改 Volume 属性,手动刷新目录
DROP VOLUME删除 Volume
DESC VOLUME查看 Volume 详情
SHOW VOLUMES列出所有 Volume
PUT上传本地文件到 Volume
GET从 Volume 下载文件到本地
LIST列出 Volume 中的文件
REMOVE删除 Volume 中的文件

常用操作

User Volume(开箱即用)

-- 上传本地文件 PUT '/Users/Downloads/data.csv' TO USER VOLUME; -- 查看文件列表 SHOW USER VOLUME DIRECTORY; -- 直接查询文件内容 SELECT * FROM USER VOLUME USING CSV OPTIONS('header' = 'true') FILES('data.csv') LIMIT 10; -- 导入到表 COPY INTO my_table FROM USER VOLUME USING CSV OPTIONS('header' = 'true') FILES('data.csv');

External Volume(挂载 OSS)

-- 创建存储连接 CREATE STORAGE CONNECTION my_oss_conn TYPE OSS ENDPOINT = 'oss-cn-hangzhou.aliyuncs.com' ACCESS_ID = 'your-access-id' ACCESS_KEY = 'your-access-key'; -- 创建 External Volume CREATE EXTERNAL VOLUME my_vol LOCATION 'oss://my-bucket/data/' USING CONNECTION my_oss_conn DIRECTORY = (ENABLE = TRUE, AUTO_REFRESH = TRUE); -- 刷新目录(上传新文件后如未自动刷新) ALTER VOLUME my_vol REFRESH;

导出数据到 Volume

COPY INTO VOLUME my_vol SUBDIRECTORY 'export/' FROM TABLE orders FILE_FORMAT = (TYPE = PARQUET);


相关文档

文档说明
Volume 对象模型类型选型、核心机制、常见问题、成本说明
COPY INTO(导入)从 Volume 批量导入数据到表
COPY INTO(导出)从表导出数据到 Volume
联系我们
预约咨询
微信咨询
电话咨询