{ “title”: “CloudCanal”, “language”: “zh-CN” }

CloudCanal 是一款全自研、可视化、自动化的数据迁移、同步工具，支持 30+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间的数据互通，具备实时高效、精确互联、稳定可拓展、一站式、混合部署、复杂数据转换等优点。

功能说明

CloudCanal 提供可视化的界面，可轻松实现数据的结构迁移、全量迁移、增量同步、校验与订正等，此外还可通过设置参数，完成更多精细化、自定义的数据同步配置。目前支持从以下数据源集成数据到 Doris。

源端数据源结构迁移全量迁移增量同步校验订正
MySQL/MariaDB/AuroraMySQL支持支持支持支持
Oracle支持支持支持支持
PostgreSQL/AuroraPostgreSQL支持支持支持支持
SQL Server支持支持支持支持
Kafka不支持不支持支持不支持
AutoMQ不支持不支持支持不支持
TiDB支持支持支持支持
Hana支持支持支持支持
PolarDB-X支持支持支持支持

:::info 更多功能及参数设置，请参考 CloudCanal 数据链路说明。 :::

下载安装

请参考 全新安装(Docker Linux/MacOS)，前往 CloudCanal 官网 下载安装私有部署版本。

使用示例

以下以 MySQL 为例，演示如何实现 MySQL 到 Doris 的数据迁移同步。

添加数据源

  1. 登录 CloudCanal 控制台，点击 数据源管理 > 新增数据源。

  2. 分别选择 MySQL 和 Doris 数据源，并填写相应信息。 添加数据源-1

  3. 点击 测试连接，连接成功后，点击 新增数据源，完成数据源添加。 添加数据源-2

创建任务

  1. 点击 同步任务 > 创建任务。

  2. 选择源和目标数据源，并分别点击 测试连接。 创建任务-1

  3. 选择 数据同步 并勾选 全量初始化。 创建任务-2

  4. 选择需要同步的表。 创建任务-3

  5. 选择需要同步的列。 创建任务-4

  6. 确认创建任务。

  7. 任务自动运行。CloudCanal 会自动进行任务流转，其中的步骤包括：

  • 结构迁移: 将源端的表结构迁移到对端，如果同名表在对端已存在，则忽略。
  • 全量数据迁移: 已存在的存量数据将会完整迁移到对端，支持断点续传。
  • 增量数据同步: 增量数据将会持续地同步到对端数据库，并且保持实时（秒级别延迟）。
    创建任务-5