数据源支持范围
在使用数据同步服务之前,为了确保你的同步需求得到满足,请先确认数据同步服务是否覆盖了你所需的数据源,并选择合适的任务类型。
当前,数据同步任务主要分为四类:
- 单表离线同步
- 单表实时同步
- 多表离线同步
- 多表实时同步
💡 提示:数据源的支持范围、版本和发布状态会随产品更新持续变化。本文档中的矩阵和列表反映的是撰写时的状态,最新最准确的信息请以产品界面为准——在 Studio 中创建同步任务时,源端和目标端的下拉列表会实时反映当前可用的全部数据源及其发布等级。
下面的矩阵用于帮助你快速判断某个数据源大致具备哪些同步能力。需要特别注意的是:
- 数据源卡片上的能力标签不等于所有任务类型都会开放该数据源。
- 单表任务与多表任务的实际可选范围可能不同。
如果你还在评估某个数据源大致支持哪些能力,可以先看下面的能力矩阵;如果你已经确定要创建哪一类同步任务,建议直接看后面的"四类任务支持范围"。
离线同步
| 数据源 | 发布等级 | 单表离线源端 | 单表离线目标端 | 支持版本 |
|---|
| Lakehouse | GA | ✓ | ✓ | - |
| ADB MySQL | GA (Beta) | ✓ | ✓ | 3.x |
| ADB PostgreSQL | GA (Beta) | ✓ | ✓ | 6.x |
| AMQP | GA (Beta) | ✓ | ✗ | - |
| Aurora MySQL | GA | ✓ | ✓ | - |
| Aurora PostgreSQL | GA | ✓ | ✓ | - |
余下数据源(AutoMQ、AWS DocumentDB、AWS OpenSearch、ClickHouse、COS、Databricks、DB2、DM、Doris、DynamoDB、ElasticSearch、Greenplum、Hana、HBase、Hive、Hologres、Kafka、MariaDB、MaxCompute、MongoDB、MySQL、Oracle、OSS、PolarDB MySQL、PolarDB PostgreSQL、PostgreSQL、Redis、Redshift、RestApi、S3、SLS (LogHub)、SQL Server、StarRocks、TiDB)均已支持单表离线同步,具体请参考上方"四类任务支持范围"卡片中单表离线同步的源端和目标端完整列表。
实时同步
| 数据源 | 发布等级 | 单表实时源端 | 多表实时源端 | 实时目标端 | 支持版本 |
|---|
| Lakehouse | GA | ✗ | ✗ | ✓ | - |
| AutoMQ | GA | ✓ | ✗ | ✗ | - |
| Kafka | GA | ✓ | ✗ | ✓ | 0.8.x, 0.9.x, 0.10.x, 2.x |
| MySQL | GA | ✓ | ✓ | ✓ | 5.x, 8.x |
| PostgreSQL | GA | ✗ | ✓ | ✓ | 14及以上 |
| Aurora MySQL | GA | ✗ | ✓ | ✗ | - |
余下数据源(Aurora PostgreSQL、PolarDB MySQL、PolarDB PostgreSQL、SQL Server、DM、TiDB)均同样按上表支持对应类型的同步任务,详情见上方"四类任务支持范围"卡片。
四类任务支持范围
如果你已经确定要创建哪一类同步任务,建议直接看下面的卡片。每张卡片列出了该类任务的源端和目标端当前支持范围。若与上面的能力矩阵理解不同,以这里为准。
单表离线同步
源端(40 种)
ADB MySQL、ADB PostgreSQL、AMQP、Aurora MySQL、Aurora PostgreSQL、AutoMQ、AWS DocumentDB、AWS OpenSearch、ClickHouse、COS、Databricks、DB2、DM、Doris、DynamoDB、ElasticSearch、Greenplum、Hana、Hive、Hologres、Kafka、Lakehouse、MariaDB、MaxCompute、MongoDB、MySQL、Oracle、OSS、PolarDB MySQL、PolarDB PostgreSQL、PostgreSQL、Redshift、RestApi、S3、SLS (LogHub)、SQL Server、StarRocks、TiDB
目标端(35 种)
Lakehouse、ADB MySQL、ADB PostgreSQL、Aurora MySQL、Aurora PostgreSQL、AutoMQ、AWS DocumentDB、ClickHouse、Databricks、DB2、DM、Doris、DynamoDB、ElasticSearch、Greenplum、Hana、HBase、Hive、Hologres、Kafka、MariaDB、MySQL、Oracle、OSS、PolarDB MySQL、PolarDB PostgreSQL、PostgreSQL、Redis、Redshift、S3、SQL Server、StarRocks、TiDB
多表离线同步
源端(8 种)
MySQL、PostgreSQL、SQL Server、Aurora MySQL、Aurora PostgreSQL、PolarDB MySQL、PolarDB PostgreSQL
多表实时同步
源端(10 种)
MySQL、PostgreSQL、SQL Server、TiDB、DM、Aurora MySQL、Aurora PostgreSQL、PolarDB MySQL、PolarDB PostgreSQL
目标端(4 种)
Lakehouse、Kafka、MySQL、PostgreSQL
相关文档