2025年04月22日 — 1.1 Lakehouse Platform 产品更新发布说明
本次发布(Release 2025.04.22),我们引入了一系列新功能、增强特性以及修复项。这些更新将分阶段逐步推送至以下区域,预计在发布日起一周至两周内完成。具体时间依据您所在的区域而定。
国内区域
- 阿里云(上海)
- 腾讯云(上海/北京/广州)
- 亚马逊云科技(北京)
国际区域
- 阿里云(新加坡)
- AWS(新加坡)
新功能特性
联邦查询增强
- 【预览发布】ORC格式支持:External Catalog/External Schema新增对HMS的ORC文件格式表的读写能力
数据导入导出优化
导入命令COPY INTO <table>
- 换行符智能识别:同时支持
与\r\n
格式\n - on_error=abort|continue 策略:
模式:跳过压缩格式错误继续执行continue
模式:遇错立即终止abort- 执行后可展示导入文件列表
导出命令COPY INTO <location>
参数:导出 CSV 的时候带上 BOM 头,解决 Excel 打开时的中文乱码问题,提高跨平台兼容性writebom=true
参数:清空目标文件夹后导入(含子目录)overwrite=true
Pipe功能增强
- Pipe 文件持续导入:支持通过
参数忽略错误(跳过压缩格式错误继续执行)继续执行on_error=continue
SQL功能
- INTERVAL类型扩展:允许 `INTERVAL expr unit` 中的expr写表达式。如
interval 1+2 year - 元数据展示:
/DESC
命令新增显示share类型的schema信息SHOW - 数据采样: 新增 TABLESAMPLE 采样语法支持高效数据抽样分析
- 向量检索:支持 ef 参数,执行查询前配置ef 参数:
set cz.vector.index.search.ef=64; - 倒排索引:创建倒排索引时,支持
参数,以支持更细粒度分词模式:'mode' = 'max_word'properties ('analyzer' = 'chinese', 'mode' = 'max_word');
函数
内建函数
- GET_JSON_OBJECT性能提升:优化了GET_JSON_OBJECT的实现,提升了JSON解析效率。
自定义SQL函数
SQL 函数增强:支持创建 RETURNS TABLE 类型的用户定义SQL函数
UDF
External Function支持通过VOLUME地址引用资源文件
- User Volume 格式地址:
volume:user://~/upper.jar
表示使用 User Volume 协议。user
表示当前用户,为固定值。~
表示目标文件名。upper.jar
- Table Volume 格式地址
volume:table://table_name/upper.jar
表示使用 Table Volume 协议。table
表示表名,需根据实际情况填写。table_name
表示目标文件名。upper.jar
- Volume 格式地址
volume://volume_name/upper.jar
创建的vollume名称volume_name
表示目标文件名。upper.jar
Volume
- 【预览发布】新增内部命名Volume对象:命名 Volume 是用户自定义的存储位置,主要用于在将数据导入表中之前暂存数据文件。相较于自动创建的用户级(User Volume)和表级(Table Volume),Named Volume需由用户显式创建,并具备更灵活的配置选项,能够更好地满足团队协作以及复杂数据加载场景的需求。此外,内部 Volume 存储于云器 Lakehouse 管理的内部存储空间内,无需额外配置云存储,为用户提供了更为便捷、高效的存储解决方案。
缓存
- Preload Cache缓存状态查询:先前仅支持虚拟集群运行状态时通过
查看缓存占用情况,本次支持在虚拟集群暂停状态下通过该命令查看缓存状态并提示集群运行状态。SHOW VCLUSTER vcname PRELOAD CACHED STATUS
INFORMATION SCHEMA
- INFORMATION_SCHEMA 新增 OBJECT_PRIVILEGES 视图,可查询系统内所有的数据对象权限授予情况:
- 能够直接查询指定用户(user)被授予的所有权限,包含通过角色间接获得的权限;
- 能够直接查询指定对象(如table、view等)的权限被授予了哪些用户,包含通过角色间接授予的用户;
- 暂不支持查询功能授权情况;
- 视图内的授权数据与实时数据存在最多15分钟的延迟。
SDK
Python SDK
- Python SDK增强:Python SDK支持SQLAlchemy 2接口。
BUG修复
- Python SDK
- 修复
方法中executemany
参数失效问题hints - 修复Bulkload SDK写入分区表报错问题
- 修复Python SDK执行
语法报错问题optimize
- 修复
行为变更
- External Function授权简化:从需同时授予
+USE FUNCTION
使用权限,改为仅需VOLUME
权限USE FUNCTION - PIPE功能:原来只有RUNNING和PAUSED状态,新增
状态,便于监控系统捕捉异常,可以设置警报机制对 FAILED 状态进行通知。可通过failed
查看。DESC <pipe_name>
联系我们
