2025年10月30日 — 1.3 Lakehouse Platform 产品更新发布说明
本次发布(Release 2025.12.30),我们引入了一系列新功能、增强特性以及修复项。这些更新将分阶段逐步推送至以下区域,预计在发布日起一周至两周内完成。具体时间依据您所在的区域而定。
国内区域
- 阿里云(上海)
- 腾讯云(上海/北京/广州)
- 亚马逊云(北京)
国际区域
- 阿里云(新加坡)
- AWS(新加坡)
AI 基础能力搭建
- **GenAI函数支持:**通过SQL函数形式提供文本生成、向量化、文档拆解、文本切片等AI能力,云器Lakehouse采用统一封装多云厂商GenAI服务的策略,为用户提供更灵活、更丰富的GenAI能力集成方案
- **语义视图支持:**新增语义视图(Semantic View),支持用手工/AI自动生成语义层,支持对 Semantic View 中关键元素做向量和倒排索引
新功能特性
Managed Iceberg Table
- **外部引擎支持:**引擎支持iceberg split和commit
- **Rest catalog:**Lakehouse实现restcatalog服务支持外部引擎读写,支持iceberg split和commit
倒排索引功能优化
- DYNAMIC Table支持设置倒排索引:建表语句支持dynamic Table中设置inverted index
非结构化数据处理
- **Stream on Volume:**支持基于 Volume 搭建非结构化数据增量化 Pipeline
- **Volume 功能适配:**Internal managed Volume 支持 directory table,提供通过Studio 端白屏化开发;
- **Volume元数据同步:**新增 VOLUME 元数据同步开关,支持 directory table 启用 / 禁用。
- **Volume查询优化:**查询volume不指定schema时支持schema merge
作业管理
**Job Profile:**支持子任务关联查看,提高可观测性,便于用户了解作业的执行逻辑
SQL功能增强
SQL命令
- **可观测性提升:**show create table支持查看dynamic table某个版本的sql
- **Copy命令优化:**新增Copy Into Location命令参数控制,约束导出文件大小上限
- **Desc扩展输出信息:**支持从desc jab中获取到任务的行数及输出输入文件大小等详情
- Show partitions功能补充:show partition时支持倒序
- SQL Partial更新:支持宽表不同列并发更新,解决更新冲突问题。
函数
- **read_kafka:**支持表达式填充参数,满足运维场景预览近期数据需求。
生态能力建设
- **Databricks外表读性能优化:**优化 Databricks Delta Lake 外表读性能,提升 BI 分析效率。
- **Iceberg 生态完善:**集成 Iceberg Rest Catalog,补全 Iceberg 外表 DML 操作能力;支持 Iceberg Rest Catalog OAuth 认证
性能提升
- dynamic Table性能优化:支持 SQL 变化检测(避免无效全量刷新)、Query 参数自动迭代。
- **Data Cache 增强:**支持Cache 独立生命周期管理与 VC 绑定,解决 Cache 空间不足问题。
开发者体验
- **dynamic Table开发体验优化:**大规模数据变动场景,自适应生成补数计划并配置参数
- **作业查询数据量优化:**优化作业查询数据量,从原workspace级1万条限制移到vc级1万条限制
联系我们
