2025年10月30日 — 1.3 Lakehouse Platform 产品更新发布说明

本次发布(Release 2025.12.30),我们引入了一系列新功能、增强特性以及修复项。这些更新将分阶段逐步推送至以下区域,预计在发布日起一周至两周内完成。具体时间依据您所在的区域而定。

国内区域

  • 阿里云(上海)
  • 腾讯云(上海/北京/广州)
  • 亚马逊云(北京)

国际区域

  • 阿里云(新加坡)
  • AWS(新加坡)

AI 基础能力搭建

  • **GenAI函数支持:**通过SQL函数形式提供文本生成、向量化、文档拆解、文本切片等AI能力,云器Lakehouse采用统一封装多云厂商GenAI服务的策略,为用户提供更灵活、更丰富的GenAI能力集成方案
  • **语义视图支持:**新增语义视图(Semantic View),支持用手工/AI自动生成语义层,支持对 Semantic View 中关键元素做向量和倒排索引

新功能特性

Managed Iceberg Table

  • **外部引擎支持:**引擎支持iceberg split和commit
  • **Rest catalog:**Lakehouse实现restcatalog服务支持外部引擎读写,支持iceberg split和commit

倒排索引功能优化

  • DYNAMIC Table支持设置倒排索引:建表语句支持dynamic Table中设置inverted index

非结构化数据处理

  • **Stream on Volume:**支持基于 Volume 搭建非结构化数据增量化 Pipeline
  • **Volume 功能适配:**Internal managed Volume 支持 directory table,提供通过Studio 端白屏化开发;
  • **Volume元数据同步:**新增 VOLUME 元数据同步开关,支持 directory table 启用 / 禁用。
  • **Volume查询优化:**查询volume不指定schema时支持schema merge

作业管理

**Job Profile:**支持子任务关联查看,提高可观测性,便于用户了解作业的执行逻辑

SQL功能增强

SQL命令

  • **可观测性提升:**show create table支持查看dynamic table某个版本的sql
  • **Copy命令优化:**新增Copy Into Location命令参数控制,约束导出文件大小上限
  • **Desc扩展输出信息:**支持从desc jab中获取到任务的行数及输出输入文件大小等详情
  • Show partitions功能补充:show partition时支持倒序
  • SQL Partial更新:支持宽表不同列并发更新,解决更新冲突问题。

函数

  • **read_kafka:**支持表达式填充参数,满足运维场景预览近期数据需求。

生态能力建设

  • **Databricks外表读性能优化:**优化 Databricks Delta Lake 外表读性能,提升 BI 分析效率。
  • **Iceberg 生态完善:**集成 Iceberg Rest Catalog,补全 Iceberg 外表 DML 操作能力;支持 Iceberg Rest Catalog OAuth 认证

性能提升

  • dynamic Table性能优化:支持 SQL 变化检测(避免无效全量刷新)、Query 参数自动迭代。
  • **Data Cache 增强:**支持Cache 独立生命周期管理与 VC 绑定,解决 Cache 空间不足问题。

开发者体验

  • **dynamic Table开发体验优化:**大规模数据变动场景,自适应生成补数计划并配置参数
  • **作业查询数据量优化:**优化作业查询数据量,从原workspace级1万条限制移到vc级1万条限制

联系我们
预约咨询
微信咨询
电话咨询