2025年08月25日 Lakehouse Studio 产品更新发布说明

本次发布(Release 2025.08.25, v1.9.1),我们引入了一系列新功能、增强特性及修复内容。请注意,这些更新将分阶段逐步推送至以下区域,更新将在发布日起一至两周内完成,具体时间取决于您所在的区域。

  • 腾讯云上海区
  • 腾讯云北京区
  • 腾讯云广州区
  • 阿里云上海区
  • 阿里云新加坡区
  • 亚马逊云新加坡区
  • 亚马逊云北京区

不兼容改动

  • 监控告警:监控事项「任务实例运行失败」范围调整,针对上游实例暂停而被阻塞、因超时被终止而置为失败的实例,调整为不触发实例运行失败的告警。同时额外新增了此项告警「调度实例等待超时失败」,该告警需单独进行配置。

新功能特性

  • 产品全局:针对新用户进入产品后的体验进行提升,包括提供新人引导视频课程,以助于用户理解产品功能。对实例首页的信息结构进行调整,加强常用功能的快捷跳转引导等。

  • 产品全局:提供全局的问题反馈快速通道。

  • 账户体系:新增邀请码功能(非必填),支持特定促销活动填入邀请码,获得活动奖励。

  • 账户体系:SSO单点登录账号认证,新增支持Oauth 2.0协议的集成,现对用户灰度开放(需联系云器销售申请)。目前可以与支持Oauth 2.0,OpenID、SMAL 2.0协议的身份服务。使用单点登录后,Web端仅允许使用单点登录方式进行认证;JDBC、SDK仍需使用用户名+密码方式认证。

  • 账户体系:支持管理员代其他用户修改其手机/邮箱信息。

  • 工作区:新增批量提交、批量修改调度配置项能力,提升开发人员在开发场景内的代码管理和开发效率。

  • 数据同步:多表实时同步,新增支持整库镜像同步模式,可自动感知并适配源端库下的表的新增、进行同步。

  • 数据同步:多表实时任务,在镜像同步模式下支持支持源端truncate表的行为感知、对应清理目标表中的数据。

  • 数据同步:多表实时同步,运维中心任务详情页failover的信息持久化保存、能支持任务运行和重启后继续查看。

  • 数据同步:离线同步,PostgreSQL目标端新增支持预处理前置操作(Pre-SQL),用于事先清理源端数据等。

  • 数据同步:离线同步,SLS源端新增支持给定query条件来进行数据过滤。

  • 任务开发:新增运行偏好设置能力,提供全局运行或者单个代码块运行两种用户偏好习惯,提升开发场景内的使用体验。

  • 任务开发:内置参数和函数表达新增支持多个偏移量。可基于日期表达式/时间戳函数,和多个偏移量配合,来表达去年前一天、上周前一个小时时间戳等高阶参数取值。详见:任务参数

  • 任务调度:高阶调度能力加强,包括新增延迟运行空跑跳过,实例生成策略优化,支持设置排除时间,依赖策略新增向前依赖、向前就近依赖等产品能力。适配不同业务场景下个性化配置调度执行策略的需求。详见:任务开发与调度任务调度依赖关系

  • 运维中心:周期实例列表新增任务文件的版本号信息,便于定位实例使用的具体版本、操作回滚。

  • 数据上传:新增支持JSON/JSONL格式本地文件的上传能力。

优化改进

  • 产品全局:依据调度配置时间属性的新规则,调整调度周期展示信息内容,涉及范围涵盖工作区、任务组列表、运维中心等。
  • 数据源:针对不同数据源的创建,提供具有针对性的输入框底纹提示,以辅助用户输入准确信息,降低理解成本。
  • 数据源:对MySQL连接串中的参数进行优化,在连接串后提供默认参数信息,例如CONVERT_TO_NULL、useSSL等。
  • 数据同步:ElasticSearch源端,支持适配JSON中键(Key)动态出现的情况,当键不存在时进行兼容处理,避免任务报错失败。
  • 数据同步:优化集成任务配置的使用体验,更换表时不刷新数据集成任务的缓存。
  • 任务调度:支持在任务开始调度时间并非整点的情况下,保持生成的实例连续。例如,若2:20开始调度,每10分钟调度一次,则3:00、3:10、4:00、4:10等定时时间的实例也会生成(此前方式不会生成)。
  • 运维中心:优化暂停和恢复任务对实例的覆盖范围。暂停任务时,暂停的实例范围从先前的操作时间当天的实例,变更为操作时间之后的实例。恢复任务时,默认仅恢复操作时间之后的任务实例。
  • 运维中心:在实例状态方面,新增通过Tooltip显示状态的具体子状态,以便快速查看细化的状态分类,例如空跑置成功等。
  • 运维中心:在任务实例详情页中,新增展示任务的调度定时信息。
  • 运维中心:合并周期任务列表的最后一次运行时间与状态显示列,提升阅读的视觉效率。
  • 运维中心:在多表实时同步运维中,在执行日志中显示更多报错信息,以便排查和定位问题。
  • 监控告警:对于因上游实例暂停而被阻塞、超时kill的实例,不触发实例运行失败的告警。
  • 监控告警:在周期任务实例的监控告警信息中,新增显示实例的计划定时时间,以便识别报警对应的任务。
  • 作业历史:优化用户在作业历史详情页的使用体验,包括优化集群CRU展示页面、处理失效URL跳转问题。

问题修复

  • 数据同步:解决从 MySQL 实时同步过来的 tinyint(1) 数值与源表不一致的问题。
  • 数据同步:解决多表实时任务按点位启动后,在特殊情况下会触发重建底表的问题,调整为不进行重建。
  • 集群管理:解决作业存在排队情况时,查看 VC 页面详情无法显示的问题。
  • 监控告警:解决任务运行延迟告警疑似误触发的问题。

已知局限

  • 本次版本更新无已知的新增的重大局限。

联系我们
预约咨询
微信咨询
电话咨询