通过横向弹性扩容支持多并发查询

概述

通过本教程，您将了解到如何利用 Lakehouse 虚拟计算集群的横向弹性扩容能力支持客户端动态变化的多并发查询。

导入脚本

打开控制台Tutorial 页面中的"Lakehouse教程"，选择"通过横向弹性扩容支持多并发查询"课程。根据页面提示导入本次课程需要的脚本文件。

在"开发模块"查看"Tutorial_Working_With_Concurrency_Scaling"目录。

入门知识

虚拟计算集群（Virtual Cluster，简称：VC或集群）是云器Lakehouse提供数据处理、分析的计算资源对象。虚拟计算集群提供在Lakehouse中执行SQL作业所需的CPU、内存、本地临时存储（SSD介质）等资源。集群具备快速创建/销毁、扩容/缩容、暂停/恢复等特点，按照资源规格大小以及使用时长进行收费，暂停或删除后不产生费用。 虚拟计算集群针对ETL和分析场景，提供通用型和分析型2种集群类型以满足不同负载之间的隔离和优化。

教程步骤

1. 环境准备：创建测试使用的计算集群。
2. 发起查询：使用 Studio Web 环境创建 Python 任务对Lakehouse使用不同并发度进行连续查询，观察Python任务的执行日志结果了解集群在不同并发请求下的快速扩缩容能力。
3. 清理环境：删除测试使用的计算集群。

通过以上步骤，您将能够了解如何配置使用虚拟集群的弹性并发功能，了解弹性并发的性能表现。

准备工作

首先，通过SQL命令来创建分析型计算集群并开启和设置弹性并发功能。

本教程通过在”开发”模块运行 [Tutorial_Working_With_Concurrency_Scaling->Step01.Preparation] SQL脚本任务方式创建集群，并设置弹性扩容策略。

使用Python程序发起并发查询

在[开发]模块打开 [Tutorial_Working_With_Concurrency_Scaling->Step02.Run_Concurrent_Queries] Python并发任务模板，您需要修改connect连接配置参数后才能连接Lakehouse并执行查询。

修改连接信息后请点击任务运行并查看任务执行日志。

通过观察打印的性能报告，可以发现Reporting_VC集群随着客户端并发请求的梯度增加，通过动态增加Replica数量的方式进行毫秒级延迟的横向扩容。动态扩容的同时保持对持续并发请求的查询SLA。

在执行任务的同时，您也可以通过集群监控页面查看集群的并发请求以及弹性扩容情况。

环境清理

打开”开发”模块 [Tutorial_Working_With_Concurrency_Scaling->Step03.Clean_Up] SQL脚本文件，执行脚本即可删除本教程测试集群。