2023年8月7日 Lakehouse Studio 产品更新发布说明

概览

本次更新（Release 2023.08.07, v0.1）旨在为您提供更优质的使用体验，新增了一系列实用功能、增强现有功能并修复了部分问题。

新功能

产品界面全面升级

为了让您的使用体验更加舒适，我们对产品的视觉品牌进行了全面升级，并对信息架构进行了优化，使导航更加直观易懂。此外，我们还新增了工作区功能，帮助您更高效地管理各项任务。

全局登录态控制

我们新增了用户登录态控制功能，确保活跃用户能够保持登录状态，而对于超过设定时间无操作的用户，系统将自动将其退出登录，保障账户安全。

数据集成优化

我们扩展了数据集成功能，现支持离线同步，并新增了对ES数据源的读写支持（7.x版本），以及对腾讯云COS和阿里云SLS数据源的读取支持。此外，我们还批量新增了对多种数据源的支持，包括Oracle、DB2、Greenplum、ADB MySQL、ADB PG、Hologres、PolarDB、SelectDB、StarRocks、MariaDB、TiDB等，满足您更多样化的数据集成需求。

数据开发功能增强

为了让数据开发更加便捷，我们新增了文件提交时自动展示提交内容和生产环境内容对比的功能。同时，支持文件提交的版本或保存的版本直接与当前本地内容进行比对和回滚。此外，运行结果的数据展示组件也进行了优化，支持排序和过滤功能。Python和Shell任务运行现在支持可配置的资源大小，以适应不同的任务需求。

运维中心功能升级

我们升级了实时同步任务启动功能，支持配置启动参数。同时，Virtual Cluster分析型的最大并发数配置功能也得到了增强。

数据管理与监控告警优化

数据管理功能现支持本地文件数据导入，并支持设置表头、分隔符等文件配置，最大规格限制放宽至100Mb。监控告警功能新增支持企业微信告警渠道，方便您及时获取重要通知。

数据质量监控

我们新增了数据质量模块，支持配置Lakehouse的质量规则监控，并在发现问题时发送告警，帮助您更好地保障数据质量。

优化改进

界面与操作优化

我们在代码编译框中增加了快速复制按钮，方便您快速复制代码。数据源列表过滤器现支持选项搜索功能，帮助您更快速地找到所需数据源。我们还新增了CMD+D快捷键，便于您复制光标所在行或选择的内容，并将其插入到光标位置的下一行。

任务调度功能改进

在选择上游依赖节点时，我们优化了节点全路径的展示，便于您识别同名节点。调度配置中的调度依赖关系和产出表的智能推荐功能也得到了优化。我们还优化了产出表的Schema解析逻辑，以调度配置中的定义为准，并支持自依赖跨周期（如跨天）依赖上一个周期的实例。

运维中心体验提升

我们优化了实例列表默认展示的时间范围，并提升了页面加载速度。批量操作限制从最多20条扩展至50条。新增了面包屑导航功能，优化了运维中心Tab页打开过多的问题。我们还优化了任务DAG图的展示方式，并优化了补数据操作逻辑，支持直接选择任务定时的自然日期，代替业务日期。此外，我们还对运维中心的表格进行了改造，包括实例详情-操作日志、周期任务详情-操作日志、周期任务列表等。

监控告警与作业历史优化

我们优化了告警事件中的抑制状态展示，透出抑制时间和状态点击功能。在作业历史方面，我们优化了Job Profile页面的展示信息和性能。

缺陷修复

数据集成与任务开发修复

我们修复了MySQL数据源中tinyint展示为bit的问题，以及任务停止和运行状态展示不一致的问题。

任务调度问题修复

我们修复了上游节点暂停时，下游节点仍正常调度的问题，以及定时生成任务实例时可能出现的自依赖关系丢失问题。

作业历史问题修复

我们修复了作业执行计划中的时间展示异常问题，并解决了在作业plan过大时打开作业历史会失败的问题。