From c13cd686aab1794cb50dd7766ccc388aff52beb6 Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 5 Feb 2020 12:38:21 +0800 Subject: [PATCH 01/21] add tools guide --- dev/reference/tools/guide.md | 236 +++++++++++++++++++++++++++++++++++ 1 file changed, 236 insertions(+) create mode 100644 dev/reference/tools/guide.md diff --git a/dev/reference/tools/guide.md b/dev/reference/tools/guide.md new file mode 100644 index 000000000000..2ccb15205a27 --- /dev/null +++ b/dev/reference/tools/guide.md @@ -0,0 +1,236 @@ +--- +title: A guide for choosing TiDB Ecosystem Tools +category: reference +--- + +# A guide for choosing TiDB Ecosystem Tools + +目前 TiDB Ecosystem Tools 较多，有些工具之间有功能重叠，也有些属于版本迭代关系。本文档将对各个工具进行介绍，说明各个工具之间的关系，并且说明各个版本、场景下应该使用哪些工具。 + +## Tools 概览 + +### 数据导入类 + +#### 全量导入 + +##### Loader (Deprecated) + +- 概述：轻量级的全量数据导入工具，以 SQL 的形式进行导入。目前这个工具正在逐步被 Lightning 替换掉，参见[文档](https://pingcap.com/docs/stable/reference/tools/tidb-lightning/tidb-backend/#migrating-from-loader-to-tidb-lightning-tidb-back-end)。 +- 输入： Mydumper 输出文件 +- 输出：以 SQL 形式写入 TiDB +- 适用 TiDB 版本：all versions +- 相关文档：[Loader](https://pingcap.com/docs/stable/reference/tools/loader/) +- K8s 支持：[backup and restore](https://pingcap.com/docs/stable/tidb-in-kubernetes/maintain/backup-and-restore/) + +##### TiDB-Lightning + +- 概述：将全量数据快速导入到一个新的 TiDB 集群的工具。注意用 TiDB-Lightning 导入数据的时候，有两种模式，默认的是以 `tikv-importer` 为后端，这种模式下导入数据过程中集群无法提供正常的服务，用于导入大量的数据（TB 级别）。第二种模式是以 `TiDB` 为后端（相当于 Loader 的功能），导入速度较慢，但是可以在线导入。 +- 输入 + - Mydumper 输出文件 + - CSV 格式文件 +- 适用 TiDB 版本：v2.1 及以上 +- 相关文档：[TiDB-Lightning](https://pingcap.com/docs/stable/reference/tools/tidb-lightning/overview/) +- K8s 支持：[TiDB-Lightning](https://pingcap.com/docs/stable/tidb-in-kubernetes/maintain/lightning/) + +#### 备份和恢复 + +##### BR + +- 概述：TiDB 分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper/Loader，BR 更适合大数据量的场景。 +- 备份输出和恢复输入：SST + backupmeta 文件 +- 适用 TiDB 版本：v3.1 及 v4.0 +- 相关文档：[br](https://pingcap.com/docs/v3.1/how-to/maintain/backup-and-restore/br/) +- K8s 支持：已支持，文档撰写中 + +#### 增量导入 + +##### Syncer (Deprecated) + +- 概述：将 MySQL/MariaDB 增量 binlog 数据实时复制导入到 TiDB 的工具。目前推荐使用 DM 替换该工具。 +- 输入：MySQL/MariaDB 的 binlog +- 输出：以 SQL 形式写入 TiDB +- 适用 TiDB 版本：all version +- 相关文档：[Syncer](https://pingcap.com/docs/stable/reference/tools/syncer/) +- K8s 支持：不支持 + +##### DM + +- 概述：将 MySQL/MariaDB 数据迁移到 TiDB 的工具，支持全量数据和增量数据的同步。 +- 输入：MySQL/MariaDB 的全量数据以及 binlog +- 输出：以 SQL 形式写入 TiDB +- 适用 TiDB 版本：all version +- 相关文档： [Data Migration](https://pingcap.com/docs/stable/reference/tools/data-migration/overview/) +- k8s 支持：开发中 + +数据导出类 +全量导出 + +Mydumper +概述：用于对 TiDB 进行全量逻辑备份。 +输入/输出 +输入：TiDB 集群 +输出：SQL 文件 +适用 TiDB 版本：all version +相关文档：https://pingcap.com/docs/stable/reference/tools/mydumper/ +K8s 支持：https://pingcap.com/docs/stable/tidb-in-kubernetes/maintain/backup-and-restore/ +Dumpling +概述：用于对 TiDB 进行全量逻辑备份。（可以理解为 golang 版本的 Mydumper） +输入/输出 +输入：TiDB 集群 +输出：SQL 文件 +适用 TiDB 版本：all version +相关文档：暂无 +是否支持 k8s：否 +BR +概述：TiDB 分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper/Loader，BR 更适合大数据量的场景。 +输入/输出 +输入：TiDB 集群 +输出：全量备份文件 +适用 TiDB 版本：v3.1 及 v4.0 +相关文档：https://pingcap.com/docs/v3.1/how-to/maintain/backup-and-restore/br/ +K8s 支持：支持，文档撰写中 +增量导出 +TiDB-Binlog +概述：收集 TiDB 的 binlog，并提供准实时同步和备份的工具。 +输入/输出： +输入：TiDB 集群 +输出：MySQL、TiDB、Kafka 或者增量备份文件 +适用 TiDB 版本：v2.1 及以上 +相关文档：https://pingcap.com/docs/stable/reference/tidb-binlog/overview/ +K8s 支持： +https://pingcap.com/docs/stable/tidb-in-kubernetes/maintain/tidb-binlog/ +https://pingcap.com/docs/stable/tidb-in-kubernetes/reference/configuration/tidb-drainer/ +CDC +概述：收集 TiKV 的 kv change log，还原事务后同步到下游的工具。可以理解为 TiDB-Binlog 的升级版本。（开发中） +输出/输出： +输入：TiDB 集群 +输出：MySQL、TiDB、Kafka 或者增量备份文件 +适用 TiDB 版本：v4.0 +相关文档：暂无，文档撰写中 +是否支持 k8s：暂无，正在规划中 + + +工具版本适配和演进路线 +版本适配 +TiDB 2.1 and before： +MySQL 全量数据备份：使用 Mydumper +MySQL 全量数据导入 TiDB： +数据量 T 级别：使用 Lightning +数据量在 T 级别以下：使用 DM +MySQL 增量数据同步：使用 DM +TiDB 全量数据备份：使用 Mydumper +TiDB 全量数据恢复： +数据量 T 级别：使用 Lightning(>=TiDB 2.1) +数据量在 T 级别以下：使用 DM +TiDB 增量数据备份/恢复：使用 TiDB-Binlog + +TiDB 3.0: +MySQL 全量数据备份：使用 Mydumper +MySQL 全量数据导入 TiDB： +数据量 T 级别：使用 Lightning +数据量在 T 级别以下：使用 DM +MySQL 增量数据同步：使用 DM +TiDB 全量数据备份：使用 Mydumper +TiDB 全量数据恢复： +数据量 T 级别：使用 Lightning +数据量在 T 级别以下：使用 DM +TiDB 增量数据备份/恢复：使用 TiDB-Binlog + + +TiDB 3.1: +MySQL 全量数据备份：使用 Mydumper +MySQL 全量数据导入 TiDB： +数据量 T 级别：使用 Lightning +数据量在 T 级别以下：使用 DM +MySQL 增量数据同步：使用 DM +TiDB 全量数据备份：使用 BR +TiDB 全量数据恢复：使用 BR +TiDB 增量数据备份/恢复：使用 TiDB-Binlog + +TiDB 4.0 +MySQL 全量数据备份：使用 Mydumper +MySQL 全量数据导入 TiDB： +数据量 T 级别：使用 Lightning +数据量在 T 级别以下：使用 DM +MySQL 增量数据同步：使用 DM +TiDB 全量数据备份：使用 BR +TiDB 全量数据恢复：使用 BR +TiDB 增量数据备份/恢复：使用 CDC +演进路线 +TiDB 全量备份： +Mydumper -> BR，使用 TiDB 的特性进行备份和恢复，适合数据量比较大的场景，备份效率大大提升 +，Mydumper -> dumpling，使用 golang 实现，方便维护，且易于集成到 DM 中 +TiDB 全量恢复 +：Loader -> Lightning -> BR：由 Lightning 统一提供全量数据恢复功能 +Lightning -> BR：importer 逻辑和 BR 接近，把 importer 合并到 TiKV 中，TiKV 提供统一的数据导入接口 +MySQL 数据迁移： +Mydumper，Loader，Syncer -> DM：，提供一体化的数据迁移方案，提高易用性 +Loader -> Lightning：由 Lightning 统一提供全量数据恢复功能 +TiDB 增量备份同步： +TiDB-Binlog -> CDC： +从 TiKV 层获取增量数据变更，解决 TiDB-Binlog 的 binlog 数据无高可用的问题 +具有扩展性，支持扩展到任何 tikv 集群规模 + +数据迁移解决方案 +目前 TiDB 主推以及使用最广泛的的版本是 3.0，另外今年会发布 TiDB 3.1 和 4.0，这里会针对这三个版本，给出典型业务场景下的数据迁移方案。 +TiDB 3.0 全链路数据迁移方案 + +MySQL 数据迁移到 TiDB + +MySQL 数据量在 T 级别以上： +使用 Mydumper 导出 MySQL 全量数据 +使用 Lightning 将 MySQL 全量备份数据导入 TiDB 集群 +使用 DM 同步 MySQL 增量数据到 TiDB +MySQL 数据量在 T 级别以下： +使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复 + +TiDB 集群数据的同步 +使用 TiDB-Binlog 将 TiDB 数据同步到下游 TiDB/MySQL。 + +TiDB 集群数据的全量备份及恢复 +使用 Mydumper 进行全量数据的备份 +使用 Lightning 将全量数据恢复到 TiDB/MySQL。如果数据量在 T 级别以上，且恢复到新的 TiDB 集群，则可以使用 Lightning。 + + +TiDB 3.1 全链路数据迁移方案 +MySQL 数据迁移到 TiDB + +MySQL 数据量在 T 级别以上： +使用 Mydumper 导出 MySQL 全量数据 +使用 Lightning 将 MySQL 全量备份数据导入 TiDB 集群 +使用 DM 同步 MySQL 增量数据到 TiDB +MySQL 数据量在 T 级别以下： +使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复 + +TiDB 集群数据的同步 +使用 TiDB-Binlog 将 TiDB 数据同步到下游 TiDB/MySQL。 + +TiDB 集群数据的全量备份及恢复 +恢复到 TiDB： +使用 BR 进行全量数据的备份 +使用 BR 进行全量数据的恢复 +恢复到 MySQL： +使用 Mydumper 进行全量数据的备份 +使用 Lightning 进行全量数据的恢复 + + +TiDB 4.0 全链路数据迁移方案 +MySQL 数据迁移到 TiDB + +MySQL 数据量在 T 级别以上： +使用 Mydumper 导出 MySQL 全量数据 +使用 Lightning 将 MySQL 全量备份数据导入 TiDB 集群 +使用 DM 同步 MySQL 增量数据到 TiDB +MySQL 数据量在 T 级别以下： +使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复 + +TiDB 集群数据的同步 +使用 CDC 将 TiDB 数据同步到下游 TiDB/MySQL。 + +TiDB 集群数据的全量备份及恢复 +恢复到 TiDB： +使用 BR 进行全量数据的备份 +使用 BR 进行全量数据的恢复 +恢复到 MySQL： +使用 Mydumper 进行全量数据的备份 +使用 Lightning 进行全量数据的恢复 From b64fd78e4406fad7c41debb492db63624f588197 Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 5 Feb 2020 14:50:03 +0800 Subject: [PATCH 02/21] update --- dev/reference/tools/guide.md | 283 ++++++++++++++--------------------- 1 file changed, 111 insertions(+), 172 deletions(-) diff --git a/dev/reference/tools/guide.md b/dev/reference/tools/guide.md index 2ccb15205a27..1b43965d7928 100644 --- a/dev/reference/tools/guide.md +++ b/dev/reference/tools/guide.md @@ -62,175 +62,114 @@ category: reference - 相关文档： [Data Migration](https://pingcap.com/docs/stable/reference/tools/data-migration/overview/) - k8s 支持：开发中 -数据导出类 -全量导出 - -Mydumper -概述：用于对 TiDB 进行全量逻辑备份。 -输入/输出 -输入：TiDB 集群 -输出：SQL 文件 -适用 TiDB 版本：all version -相关文档：https://pingcap.com/docs/stable/reference/tools/mydumper/ -K8s 支持：https://pingcap.com/docs/stable/tidb-in-kubernetes/maintain/backup-and-restore/ -Dumpling -概述：用于对 TiDB 进行全量逻辑备份。（可以理解为 golang 版本的 Mydumper） -输入/输出 -输入：TiDB 集群 -输出：SQL 文件 -适用 TiDB 版本：all version -相关文档：暂无 -是否支持 k8s：否 -BR -概述：TiDB 分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper/Loader，BR 更适合大数据量的场景。 -输入/输出 -输入：TiDB 集群 -输出：全量备份文件 -适用 TiDB 版本：v3.1 及 v4.0 -相关文档：https://pingcap.com/docs/v3.1/how-to/maintain/backup-and-restore/br/ -K8s 支持：支持，文档撰写中 -增量导出 -TiDB-Binlog -概述：收集 TiDB 的 binlog，并提供准实时同步和备份的工具。 -输入/输出： -输入：TiDB 集群 -输出：MySQL、TiDB、Kafka 或者增量备份文件 -适用 TiDB 版本：v2.1 及以上 -相关文档：https://pingcap.com/docs/stable/reference/tidb-binlog/overview/ -K8s 支持： -https://pingcap.com/docs/stable/tidb-in-kubernetes/maintain/tidb-binlog/ -https://pingcap.com/docs/stable/tidb-in-kubernetes/reference/configuration/tidb-drainer/ -CDC -概述：收集 TiKV 的 kv change log，还原事务后同步到下游的工具。可以理解为 TiDB-Binlog 的升级版本。（开发中） -输出/输出： -输入：TiDB 集群 -输出：MySQL、TiDB、Kafka 或者增量备份文件 -适用 TiDB 版本：v4.0 -相关文档：暂无，文档撰写中 -是否支持 k8s：暂无，正在规划中 - - -工具版本适配和演进路线 -版本适配 -TiDB 2.1 and before： -MySQL 全量数据备份：使用 Mydumper -MySQL 全量数据导入 TiDB： -数据量 T 级别：使用 Lightning -数据量在 T 级别以下：使用 DM -MySQL 增量数据同步：使用 DM -TiDB 全量数据备份：使用 Mydumper -TiDB 全量数据恢复： -数据量 T 级别：使用 Lightning(>=TiDB 2.1) -数据量在 T 级别以下：使用 DM -TiDB 增量数据备份/恢复：使用 TiDB-Binlog - -TiDB 3.0: -MySQL 全量数据备份：使用 Mydumper -MySQL 全量数据导入 TiDB： -数据量 T 级别：使用 Lightning -数据量在 T 级别以下：使用 DM -MySQL 增量数据同步：使用 DM -TiDB 全量数据备份：使用 Mydumper -TiDB 全量数据恢复： -数据量 T 级别：使用 Lightning -数据量在 T 级别以下：使用 DM -TiDB 增量数据备份/恢复：使用 TiDB-Binlog - - -TiDB 3.1: -MySQL 全量数据备份：使用 Mydumper -MySQL 全量数据导入 TiDB： -数据量 T 级别：使用 Lightning -数据量在 T 级别以下：使用 DM -MySQL 增量数据同步：使用 DM -TiDB 全量数据备份：使用 BR -TiDB 全量数据恢复：使用 BR -TiDB 增量数据备份/恢复：使用 TiDB-Binlog - -TiDB 4.0 -MySQL 全量数据备份：使用 Mydumper -MySQL 全量数据导入 TiDB： -数据量 T 级别：使用 Lightning -数据量在 T 级别以下：使用 DM -MySQL 增量数据同步：使用 DM -TiDB 全量数据备份：使用 BR -TiDB 全量数据恢复：使用 BR -TiDB 增量数据备份/恢复：使用 CDC -演进路线 -TiDB 全量备份： -Mydumper -> BR，使用 TiDB 的特性进行备份和恢复，适合数据量比较大的场景，备份效率大大提升 -，Mydumper -> dumpling，使用 golang 实现，方便维护，且易于集成到 DM 中 -TiDB 全量恢复 -：Loader -> Lightning -> BR：由 Lightning 统一提供全量数据恢复功能 -Lightning -> BR：importer 逻辑和 BR 接近，把 importer 合并到 TiKV 中，TiKV 提供统一的数据导入接口 -MySQL 数据迁移： -Mydumper，Loader，Syncer -> DM：，提供一体化的数据迁移方案，提高易用性 -Loader -> Lightning：由 Lightning 统一提供全量数据恢复功能 -TiDB 增量备份同步： -TiDB-Binlog -> CDC： -从 TiKV 层获取增量数据变更，解决 TiDB-Binlog 的 binlog 数据无高可用的问题 -具有扩展性，支持扩展到任何 tikv 集群规模 - -数据迁移解决方案 -目前 TiDB 主推以及使用最广泛的的版本是 3.0，另外今年会发布 TiDB 3.1 和 4.0，这里会针对这三个版本，给出典型业务场景下的数据迁移方案。 -TiDB 3.0 全链路数据迁移方案 - -MySQL 数据迁移到 TiDB - -MySQL 数据量在 T 级别以上： -使用 Mydumper 导出 MySQL 全量数据 -使用 Lightning 将 MySQL 全量备份数据导入 TiDB 集群 -使用 DM 同步 MySQL 增量数据到 TiDB -MySQL 数据量在 T 级别以下： -使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复 - -TiDB 集群数据的同步 -使用 TiDB-Binlog 将 TiDB 数据同步到下游 TiDB/MySQL。 - -TiDB 集群数据的全量备份及恢复 -使用 Mydumper 进行全量数据的备份 -使用 Lightning 将全量数据恢复到 TiDB/MySQL。如果数据量在 T 级别以上，且恢复到新的 TiDB 集群，则可以使用 Lightning。 - - -TiDB 3.1 全链路数据迁移方案 -MySQL 数据迁移到 TiDB - -MySQL 数据量在 T 级别以上： -使用 Mydumper 导出 MySQL 全量数据 -使用 Lightning 将 MySQL 全量备份数据导入 TiDB 集群 -使用 DM 同步 MySQL 增量数据到 TiDB -MySQL 数据量在 T 级别以下： -使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复 - -TiDB 集群数据的同步 -使用 TiDB-Binlog 将 TiDB 数据同步到下游 TiDB/MySQL。 - -TiDB 集群数据的全量备份及恢复 -恢复到 TiDB： -使用 BR 进行全量数据的备份 -使用 BR 进行全量数据的恢复 -恢复到 MySQL： -使用 Mydumper 进行全量数据的备份 -使用 Lightning 进行全量数据的恢复 - - -TiDB 4.0 全链路数据迁移方案 -MySQL 数据迁移到 TiDB - -MySQL 数据量在 T 级别以上： -使用 Mydumper 导出 MySQL 全量数据 -使用 Lightning 将 MySQL 全量备份数据导入 TiDB 集群 -使用 DM 同步 MySQL 增量数据到 TiDB -MySQL 数据量在 T 级别以下： -使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复 - -TiDB 集群数据的同步 -使用 CDC 将 TiDB 数据同步到下游 TiDB/MySQL。 - -TiDB 集群数据的全量备份及恢复 -恢复到 TiDB： -使用 BR 进行全量数据的备份 -使用 BR 进行全量数据的恢复 -恢复到 MySQL： -使用 Mydumper 进行全量数据的备份 -使用 Lightning 进行全量数据的恢复 +### 数据导出类 + +#### 全量导出 + +##### Mydumper + +- 概述：用于对 MySQL/TiDB 进行全量逻辑备份。 +- 输入：MySQL/TiDB 集群 +- 输出：SQL 文件 +- 适用 TiDB 版本：all version +- 相关文档：[Mydumper](https://pingcap.com/docs/stable/reference/tools/mydumper/) +- K8s 支持：[backup and restore](https://pingcap.com/docs/stable/tidb-in-kubernetes/maintain/backup-and-restore/) + +#### 增量导出 + +##### TiDB-Binlog + +- 概述：收集 TiDB 的 binlog，并提供准实时同步和备份的工具。 +- 输入：TiDB 集群 +- 输出：MySQL、TiDB、Kafka 或者增量备份文件 +- 适用 TiDB 版本：v2.1 及以上 +- 相关文档：[TiDB-Binlog](https://pingcap.com/docs/stable/reference/tidb-binlog/overview/) +- K8s 支持：[TiDB-Binlog](https://pingcap.com/docs/stable/tidb-in-kubernetes/maintain/tidb-binlog/)，[Drainer]( +https://pingcap.com/docs/stable/tidb-in-kubernetes/reference/configuration/tidb-drainer/) + +## 工具演进路线 + +### TiDB 备份与恢复 + +- Mydumper，Loader -> BR：Mydumper 和 Loader 都是在逻辑层面进行备份和恢复，备份效率低；BR 使用 TiDB 的特性进行备份和恢复，适合数据量比较大的场景，备份效率大大提升。 + +### TiDB 全量恢复 + +- Loader -> TiDB-Lightning：Loader 使用 SQL 的方式进行全量数据恢复，效率较低。TiDB-Lightning 将数据直接导入 TiKV，大大提升了全量数据恢复的效率，适合将大量数据（T 级别以上数据）快速导入到一个全新的 TiDB 集群中；且 TiDB-Lightning 集成了 Loader 的逻辑导入数据功能，参见[文档](https://pingcap.com/docs/stable/reference/tools/tidb-lightning/tidb-backend/#migrating-from-loader-to-tidb-lightning-tidb-back-end) ，支持在线导入数据。 + +### MySQL 数据迁移 + +- Mydumper，Loader，Syncer -> DM：使用 Mydumper、Loader、Syncer 将 MySQL 数据迁移到 TiDB，迁移过程比较繁琐。DM 提供了一体化的数据迁移方案，提高了易用性，而且 DM 还支持分库分表的合并。 +- Loader -> TiDB-Lightning：TiDB-Lightning 集成了 Loader 的逻辑导入数据功能，参见[文档](https://pingcap.com/docs/stable/reference/tools/tidb-lightning/tidb-backend/#migrating-from-loader-to-tidb-lightning-tidb-back-end) ，由 Lightning 统一提供全量数据恢复功能。 + +## 数据迁移解决方案 + +针对 TiDB 的 2.1，3.0 以及 3.1 版本，下面给出典型业务场景下的数据迁移方案。 + +### TiDB 2.1 全链路数据迁移方案 + +#### MySQL 数据迁移到 TiDB + +- MySQL 数据量在 T 级别以上 + - 使用 Mydumper 导出 MySQL 全量数据 + - 使用 TiDB-Lightning 将 MySQL 全量备份数据导入 TiDB 集群 + - 使用 DM 同步 MySQL 增量数据到 TiDB + +- MySQL 数据量在 T 级别以下 + - 使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复 + +#### TiDB 集群数据的同步 + +- 使用 TiDB-Binlog 将 TiDB 数据同步到下游 TiDB/MySQL + +#### TiDB 集群数据的全量备份及恢复 + +- 使用 Mydumper 进行全量数据的备份 +- 使用 TiDB-Lightning 将全量数据恢复到 TiDB/MySQL + +### TiDB 3.0 全链路数据迁移方案 + +#### MySQL 数据迁移到 TiDB + +- MySQL 数据量在 T 级别以上 + - 使用 Mydumper 导出 MySQL 全量数据 + - 使用 TiDB-Lightning 将 MySQL 全量备份数据导入 TiDB 集群 + - 使用 DM 同步 MySQL 增量数据到 TiDB + +- MySQL 数据量在 T 级别以下 + - 使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复 + +#### TiDB 集群数据的同步 + +- 使用 TiDB-Binlog 将 TiDB 数据同步到下游 TiDB/MySQL + +#### TiDB 集群数据的全量备份及恢复 + +- 使用 Mydumper 进行全量数据的备份 +- 使用 TiDB-Lightning 将全量数据恢复到 TiDB/MySQL + +### TiDB 3.1 全链路数据迁移方案 + +#### MySQL 数据迁移到 TiDB + +- MySQL 数据量在 T 级别以上 + - 使用 Mydumper 导出 MySQL 全量数据 + - 使用 TiDB-Lightning 将 MySQL 全量备份数据导入 TiDB 集群 + - 使用 DM 同步 MySQL 增量数据到 TiDB + +- MySQL 数据量在 T 级别以下 + - 使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复 + +#### TiDB 集群数据的同步 + +- 使用 TiDB-Binlog 将 TiDB 数据同步到下游 TiDB/MySQL + +#### TiDB 集群数据的全量备份及恢复 + +- 恢复到 TiDB： + - 使用 BR 进行全量数据的备份 + - 使用 BR 进行全量数据的恢复 + +- 恢复到 MySQL： + - 使用 Mydumper 进行全量数据的备份 + - 使用 TiDB-Lightning 进行全量数据的恢复 From 758ed4f73e4a16b4b6161c6e4aaee0634d4858fa Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 5 Feb 2020 14:51:42 +0800 Subject: [PATCH 03/21] minor update --- dev/reference/tools/guide.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/dev/reference/tools/guide.md b/dev/reference/tools/guide.md index 1b43965d7928..80b2c5be3a66 100644 --- a/dev/reference/tools/guide.md +++ b/dev/reference/tools/guide.md @@ -166,10 +166,10 @@ https://pingcap.com/docs/stable/tidb-in-kubernetes/reference/configuration/tidb- #### TiDB 集群数据的全量备份及恢复 -- 恢复到 TiDB： +- 恢复到 TiDB - 使用 BR 进行全量数据的备份 - 使用 BR 进行全量数据的恢复 -- 恢复到 MySQL： +- 恢复到 MySQL - 使用 Mydumper 进行全量数据的备份 - 使用 TiDB-Lightning 进行全量数据的恢复 From 01b43549ee079bb7949300a8c1429e83f1a48991 Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 5 Feb 2020 15:06:36 +0800 Subject: [PATCH 04/21] add TOC and format --- dev/TOC.md | 1 + dev/reference/tools/guide.md | 54 ++++++++++++++++++++++++++++++++++++ 2 files changed, 55 insertions(+) diff --git a/dev/TOC.md b/dev/TOC.md index a949419b9e32..576617bb4b98 100644 --- a/dev/TOC.md +++ b/dev/TOC.md @@ -286,6 +286,7 @@ - [常见错误修复](/dev/reference/tidb-binlog/troubleshoot/error-handling.md) - [FAQ](/dev/reference/tidb-binlog/faq.md) + 周边工具 + - [工具使用指南](/dev/reference/tools/guide.md) - [Mydumper](/dev/reference/tools/mydumper.md) - [Loader](/dev/reference/tools/loader.md) - [Syncer](/dev/reference/tools/syncer.md) diff --git a/dev/reference/tools/guide.md b/dev/reference/tools/guide.md index 80b2c5be3a66..fdd6fe965d1d 100644 --- a/dev/reference/tools/guide.md +++ b/dev/reference/tools/guide.md @@ -16,20 +16,31 @@ category: reference ##### Loader (Deprecated) - 概述：轻量级的全量数据导入工具，以 SQL 的形式进行导入。目前这个工具正在逐步被 Lightning 替换掉，参见[文档](https://pingcap.com/docs/stable/reference/tools/tidb-lightning/tidb-backend/#migrating-from-loader-to-tidb-lightning-tidb-back-end)。 + - 输入： Mydumper 输出文件 + - 输出：以 SQL 形式写入 TiDB + - 适用 TiDB 版本：all versions + - 相关文档：[Loader](https://pingcap.com/docs/stable/reference/tools/loader/) + - K8s 支持：[backup and restore](https://pingcap.com/docs/stable/tidb-in-kubernetes/maintain/backup-and-restore/) ##### TiDB-Lightning - 概述：将全量数据快速导入到一个新的 TiDB 集群的工具。注意用 TiDB-Lightning 导入数据的时候，有两种模式，默认的是以 `tikv-importer` 为后端，这种模式下导入数据过程中集群无法提供正常的服务，用于导入大量的数据（TB 级别）。第二种模式是以 `TiDB` 为后端（相当于 Loader 的功能），导入速度较慢，但是可以在线导入。 + - 输入 + - Mydumper 输出文件 + - CSV 格式文件 + - 适用 TiDB 版本：v2.1 及以上 + - 相关文档：[TiDB-Lightning](https://pingcap.com/docs/stable/reference/tools/tidb-lightning/overview/) + - K8s 支持：[TiDB-Lightning](https://pingcap.com/docs/stable/tidb-in-kubernetes/maintain/lightning/) #### 备份和恢复 @@ -37,9 +48,13 @@ category: reference ##### BR - 概述：TiDB 分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper/Loader，BR 更适合大数据量的场景。 + - 备份输出和恢复输入：SST + backupmeta 文件 + - 适用 TiDB 版本：v3.1 及 v4.0 + - 相关文档：[br](https://pingcap.com/docs/v3.1/how-to/maintain/backup-and-restore/br/) + - K8s 支持：已支持，文档撰写中 #### 增量导入 @@ -47,19 +62,29 @@ category: reference ##### Syncer (Deprecated) - 概述：将 MySQL/MariaDB 增量 binlog 数据实时复制导入到 TiDB 的工具。目前推荐使用 DM 替换该工具。 + - 输入：MySQL/MariaDB 的 binlog + - 输出：以 SQL 形式写入 TiDB + - 适用 TiDB 版本：all version + - 相关文档：[Syncer](https://pingcap.com/docs/stable/reference/tools/syncer/) + - K8s 支持：不支持 ##### DM - 概述：将 MySQL/MariaDB 数据迁移到 TiDB 的工具，支持全量数据和增量数据的同步。 + - 输入：MySQL/MariaDB 的全量数据以及 binlog + - 输出：以 SQL 形式写入 TiDB + - 适用 TiDB 版本：all version + - 相关文档： [Data Migration](https://pingcap.com/docs/stable/reference/tools/data-migration/overview/) + - k8s 支持：开发中 ### 数据导出类 @@ -69,10 +94,15 @@ category: reference ##### Mydumper - 概述：用于对 MySQL/TiDB 进行全量逻辑备份。 + - 输入：MySQL/TiDB 集群 + - 输出：SQL 文件 + - 适用 TiDB 版本：all version + - 相关文档：[Mydumper](https://pingcap.com/docs/stable/reference/tools/mydumper/) + - K8s 支持：[backup and restore](https://pingcap.com/docs/stable/tidb-in-kubernetes/maintain/backup-and-restore/) #### 增量导出 @@ -80,10 +110,15 @@ category: reference ##### TiDB-Binlog - 概述：收集 TiDB 的 binlog，并提供准实时同步和备份的工具。 + - 输入：TiDB 集群 + - 输出：MySQL、TiDB、Kafka 或者增量备份文件 + - 适用 TiDB 版本：v2.1 及以上 + - 相关文档：[TiDB-Binlog](https://pingcap.com/docs/stable/reference/tidb-binlog/overview/) + - K8s 支持：[TiDB-Binlog](https://pingcap.com/docs/stable/tidb-in-kubernetes/maintain/tidb-binlog/)，[Drainer]( https://pingcap.com/docs/stable/tidb-in-kubernetes/reference/configuration/tidb-drainer/) @@ -100,6 +135,7 @@ https://pingcap.com/docs/stable/tidb-in-kubernetes/reference/configuration/tidb- ### MySQL 数据迁移 - Mydumper，Loader，Syncer -> DM：使用 Mydumper、Loader、Syncer 将 MySQL 数据迁移到 TiDB，迁移过程比较繁琐。DM 提供了一体化的数据迁移方案，提高了易用性，而且 DM 还支持分库分表的合并。 + - Loader -> TiDB-Lightning：TiDB-Lightning 集成了 Loader 的逻辑导入数据功能，参见[文档](https://pingcap.com/docs/stable/reference/tools/tidb-lightning/tidb-backend/#migrating-from-loader-to-tidb-lightning-tidb-back-end) ，由 Lightning 统一提供全量数据恢复功能。 ## 数据迁移解决方案 @@ -111,11 +147,15 @@ https://pingcap.com/docs/stable/tidb-in-kubernetes/reference/configuration/tidb- #### MySQL 数据迁移到 TiDB - MySQL 数据量在 T 级别以上 + - 使用 Mydumper 导出 MySQL 全量数据 + - 使用 TiDB-Lightning 将 MySQL 全量备份数据导入 TiDB 集群 + - 使用 DM 同步 MySQL 增量数据到 TiDB - MySQL 数据量在 T 级别以下 + - 使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复 #### TiDB 集群数据的同步 @@ -125,6 +165,7 @@ https://pingcap.com/docs/stable/tidb-in-kubernetes/reference/configuration/tidb- #### TiDB 集群数据的全量备份及恢复 - 使用 Mydumper 进行全量数据的备份 + - 使用 TiDB-Lightning 将全量数据恢复到 TiDB/MySQL ### TiDB 3.0 全链路数据迁移方案 @@ -132,11 +173,15 @@ https://pingcap.com/docs/stable/tidb-in-kubernetes/reference/configuration/tidb- #### MySQL 数据迁移到 TiDB - MySQL 数据量在 T 级别以上 + - 使用 Mydumper 导出 MySQL 全量数据 + - 使用 TiDB-Lightning 将 MySQL 全量备份数据导入 TiDB 集群 + - 使用 DM 同步 MySQL 增量数据到 TiDB - MySQL 数据量在 T 级别以下 + - 使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复 #### TiDB 集群数据的同步 @@ -146,6 +191,7 @@ https://pingcap.com/docs/stable/tidb-in-kubernetes/reference/configuration/tidb- #### TiDB 集群数据的全量备份及恢复 - 使用 Mydumper 进行全量数据的备份 + - 使用 TiDB-Lightning 将全量数据恢复到 TiDB/MySQL ### TiDB 3.1 全链路数据迁移方案 @@ -153,11 +199,15 @@ https://pingcap.com/docs/stable/tidb-in-kubernetes/reference/configuration/tidb- #### MySQL 数据迁移到 TiDB - MySQL 数据量在 T 级别以上 + - 使用 Mydumper 导出 MySQL 全量数据 + - 使用 TiDB-Lightning 将 MySQL 全量备份数据导入 TiDB 集群 + - 使用 DM 同步 MySQL 增量数据到 TiDB - MySQL 数据量在 T 级别以下 + - 使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复 #### TiDB 集群数据的同步 @@ -167,9 +217,13 @@ https://pingcap.com/docs/stable/tidb-in-kubernetes/reference/configuration/tidb- #### TiDB 集群数据的全量备份及恢复 - 恢复到 TiDB + - 使用 BR 进行全量数据的备份 + - 使用 BR 进行全量数据的恢复 - 恢复到 MySQL + - 使用 Mydumper 进行全量数据的备份 + - 使用 TiDB-Lightning 进行全量数据的恢复 From 6803961aec907866bae727eb71d5b402db28b43e Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 5 Feb 2020 15:08:10 +0800 Subject: [PATCH 05/21] minor update --- dev/reference/tools/guide.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/dev/reference/tools/guide.md b/dev/reference/tools/guide.md index fdd6fe965d1d..ecc5457e848b 100644 --- a/dev/reference/tools/guide.md +++ b/dev/reference/tools/guide.md @@ -15,7 +15,7 @@ category: reference ##### Loader (Deprecated) -- 概述：轻量级的全量数据导入工具，以 SQL 的形式进行导入。目前这个工具正在逐步被 Lightning 替换掉，参见[文档](https://pingcap.com/docs/stable/reference/tools/tidb-lightning/tidb-backend/#migrating-from-loader-to-tidb-lightning-tidb-back-end)。 +- 概述：轻量级的全量数据导入工具，以 SQL 的形式进行导入。目前这个工具正在逐步被 TiDB-Lightning 替换掉，参见[文档](https://pingcap.com/docs/stable/reference/tools/tidb-lightning/tidb-backend/#migrating-from-loader-to-tidb-lightning-tidb-back-end)。 - 输入： Mydumper 输出文件 @@ -136,7 +136,7 @@ https://pingcap.com/docs/stable/tidb-in-kubernetes/reference/configuration/tidb- - Mydumper，Loader，Syncer -> DM：使用 Mydumper、Loader、Syncer 将 MySQL 数据迁移到 TiDB，迁移过程比较繁琐。DM 提供了一体化的数据迁移方案，提高了易用性，而且 DM 还支持分库分表的合并。 -- Loader -> TiDB-Lightning：TiDB-Lightning 集成了 Loader 的逻辑导入数据功能，参见[文档](https://pingcap.com/docs/stable/reference/tools/tidb-lightning/tidb-backend/#migrating-from-loader-to-tidb-lightning-tidb-back-end) ，由 Lightning 统一提供全量数据恢复功能。 +- Loader -> TiDB-Lightning：TiDB-Lightning 集成了 Loader 的逻辑导入数据功能，参见[文档](https://pingcap.com/docs/stable/reference/tools/tidb-lightning/tidb-backend/#migrating-from-loader-to-tidb-lightning-tidb-back-end) ，由 TiDB-Lightning 统一提供全量数据恢复功能。 ## 数据迁移解决方案 From 20610dc7243a1354a0bd7506ccf25d8a72c07b29 Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 5 Feb 2020 15:12:15 +0800 Subject: [PATCH 06/21] minor update --- dev/reference/tools/guide.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/dev/reference/tools/guide.md b/dev/reference/tools/guide.md index ecc5457e848b..c32e5b013100 100644 --- a/dev/reference/tools/guide.md +++ b/dev/reference/tools/guide.md @@ -126,7 +126,7 @@ https://pingcap.com/docs/stable/tidb-in-kubernetes/reference/configuration/tidb- ### TiDB 备份与恢复 -- Mydumper，Loader -> BR：Mydumper 和 Loader 都是在逻辑层面进行备份和恢复，备份效率低；BR 使用 TiDB 的特性进行备份和恢复，适合数据量比较大的场景，备份效率大大提升。 +- Mydumper，Loader -> BR：Mydumper 和 Loader 都是在逻辑层面进行备份和恢复，效率较低；BR 使用 TiDB 的特性进行备份和恢复，适合数据量比较大的场景，备份效率大大提升。 ### TiDB 全量恢复 From 3e53958e88c4032020598edf2e623433d5ad5f26 Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Thu, 6 Feb 2020 12:08:14 +0800 Subject: [PATCH 07/21] Apply suggestions from code review Co-Authored-By: Ian --- dev/reference/tools/guide.md | 12 ++++++++---- 1 file changed, 8 insertions(+), 4 deletions(-) diff --git a/dev/reference/tools/guide.md b/dev/reference/tools/guide.md index c32e5b013100..9ceddf7e2e1b 100644 --- a/dev/reference/tools/guide.md +++ b/dev/reference/tools/guide.md @@ -13,7 +13,7 @@ category: reference #### 全量导入 -##### Loader (Deprecated) +##### Loader (停止维护，不推荐使用) - 概述：轻量级的全量数据导入工具，以 SQL 的形式进行导入。目前这个工具正在逐步被 TiDB-Lightning 替换掉，参见[文档](https://pingcap.com/docs/stable/reference/tools/tidb-lightning/tidb-backend/#migrating-from-loader-to-tidb-lightning-tidb-back-end)。 @@ -29,7 +29,11 @@ category: reference ##### TiDB-Lightning -- 概述：将全量数据快速导入到一个新的 TiDB 集群的工具。注意用 TiDB-Lightning 导入数据的时候，有两种模式，默认的是以 `tikv-importer` 为后端，这种模式下导入数据过程中集群无法提供正常的服务，用于导入大量的数据（TB 级别）。第二种模式是以 `TiDB` 为后端（相当于 Loader 的功能），导入速度较慢，但是可以在线导入。 +- 概述：将全量数据快速导入到一个新的 TiDB 集群的工具。注意用 TiDB-Lightning 导入数据的时候，有两种模式： + + - 默认模式是以 `tikv-importer` 为后端，这种模式下导入数据过程中集群无法提供正常的服务，用于导入大量的数据（TB 级别）。 + + - 第二种模式是以 `TiDB` 为后端（相当于 Loader 的功能），相对默认模式导入速度较慢，但是可以在线导入。 - 输入 @@ -47,7 +51,7 @@ category: reference ##### BR -- 概述：TiDB 分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper/Loader，BR 更适合大数据量的场景。 +- 概述：TiDB 分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper/Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 - 备份输出和恢复输入：SST + backupmeta 文件 @@ -59,7 +63,7 @@ category: reference #### 增量导入 -##### Syncer (Deprecated) +##### Syncer (停止维护，不推荐使用) - 概述：将 MySQL/MariaDB 增量 binlog 数据实时复制导入到 TiDB 的工具。目前推荐使用 DM 替换该工具。 From c889df6c60368a41cbdf70897b12f3b67f8057d5 Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Thu, 6 Feb 2020 12:10:01 +0800 Subject: [PATCH 08/21] combine 2.1 and 3.0 --- dev/reference/tools/guide.md | 28 +--------------------------- 1 file changed, 1 insertion(+), 27 deletions(-) diff --git a/dev/reference/tools/guide.md b/dev/reference/tools/guide.md index c32e5b013100..1457c613f7d7 100644 --- a/dev/reference/tools/guide.md +++ b/dev/reference/tools/guide.md @@ -142,33 +142,7 @@ https://pingcap.com/docs/stable/tidb-in-kubernetes/reference/configuration/tidb- 针对 TiDB 的 2.1，3.0 以及 3.1 版本，下面给出典型业务场景下的数据迁移方案。 -### TiDB 2.1 全链路数据迁移方案 - -#### MySQL 数据迁移到 TiDB - -- MySQL 数据量在 T 级别以上 - - - 使用 Mydumper 导出 MySQL 全量数据 - - - 使用 TiDB-Lightning 将 MySQL 全量备份数据导入 TiDB 集群 - - - 使用 DM 同步 MySQL 增量数据到 TiDB - -- MySQL 数据量在 T 级别以下 - - - 使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复 - -#### TiDB 集群数据的同步 - -- 使用 TiDB-Binlog 将 TiDB 数据同步到下游 TiDB/MySQL - -#### TiDB 集群数据的全量备份及恢复 - -- 使用 Mydumper 进行全量数据的备份 - -- 使用 TiDB-Lightning 将全量数据恢复到 TiDB/MySQL - -### TiDB 3.0 全链路数据迁移方案 +### TiDB 2.1 和 3.0 全链路数据迁移方案 #### MySQL 数据迁移到 TiDB From 4e7f005a6654b85d5932f1213de9ae113d9a14de Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Thu, 6 Feb 2020 12:14:20 +0800 Subject: [PATCH 09/21] format --- dev/reference/tools/guide.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/dev/reference/tools/guide.md b/dev/reference/tools/guide.md index 4a9fb1a48e3e..d54af9d5e6a5 100644 --- a/dev/reference/tools/guide.md +++ b/dev/reference/tools/guide.md @@ -31,9 +31,9 @@ category: reference - 概述：将全量数据快速导入到一个新的 TiDB 集群的工具。注意用 TiDB-Lightning 导入数据的时候，有两种模式： - - 默认模式是以 `tikv-importer` 为后端，这种模式下导入数据过程中集群无法提供正常的服务，用于导入大量的数据（TB 级别）。 - - - 第二种模式是以 `TiDB` 为后端（相当于 Loader 的功能），相对默认模式导入速度较慢，但是可以在线导入。 + - 默认模式是以 `tikv-importer` 为后端，这种模式下导入数据过程中集群无法提供正常的服务，用于导入大量的数据（TB 级别）。 + + - 第二种模式是以 `TiDB` 为后端（相当于 Loader 的功能），相对默认模式导入速度较慢，但是可以在线导入。 - 输入 From a60684586926f195b801d7eb02e155679685b322 Mon Sep 17 00:00:00 2001 From: yikeke Date: Thu, 6 Feb 2020 19:10:42 +0800 Subject: [PATCH 10/21] refine the structure and format --- dev/TOC.md | 2 +- dev/reference/tools/guide.md | 207 ------------------------------- dev/reference/tools/use-guide.md | 182 +++++++++++++++++++++++++++ 3 files changed, 183 insertions(+), 208 deletions(-) delete mode 100644 dev/reference/tools/guide.md create mode 100644 dev/reference/tools/use-guide.md diff --git a/dev/TOC.md b/dev/TOC.md index 576617bb4b98..98aa8d51b186 100644 --- a/dev/TOC.md +++ b/dev/TOC.md @@ -286,7 +286,7 @@ - [常见错误修复](/dev/reference/tidb-binlog/troubleshoot/error-handling.md) - [FAQ](/dev/reference/tidb-binlog/faq.md) + 周边工具 - - [工具使用指南](/dev/reference/tools/guide.md) + - [工具使用指南](/dev/reference/tools/use-guide.md) - [Mydumper](/dev/reference/tools/mydumper.md) - [Loader](/dev/reference/tools/loader.md) - [Syncer](/dev/reference/tools/syncer.md) diff --git a/dev/reference/tools/guide.md b/dev/reference/tools/guide.md deleted file mode 100644 index d54af9d5e6a5..000000000000 --- a/dev/reference/tools/guide.md +++ /dev/null @@ -1,207 +0,0 @@ ---- -title: A guide for choosing TiDB Ecosystem Tools -category: reference ---- - -# A guide for choosing TiDB Ecosystem Tools - -目前 TiDB Ecosystem Tools 较多，有些工具之间有功能重叠，也有些属于版本迭代关系。本文档将对各个工具进行介绍，说明各个工具之间的关系，并且说明各个版本、场景下应该使用哪些工具。 - -## Tools 概览 - -### 数据导入类 - -#### 全量导入 - -##### Loader (停止维护，不推荐使用) - -- 概述：轻量级的全量数据导入工具，以 SQL 的形式进行导入。目前这个工具正在逐步被 TiDB-Lightning 替换掉，参见[文档](https://pingcap.com/docs/stable/reference/tools/tidb-lightning/tidb-backend/#migrating-from-loader-to-tidb-lightning-tidb-back-end)。 - -- 输入： Mydumper 输出文件 - -- 输出：以 SQL 形式写入 TiDB - -- 适用 TiDB 版本：all versions - -- 相关文档：[Loader](https://pingcap.com/docs/stable/reference/tools/loader/) - -- K8s 支持：[backup and restore](https://pingcap.com/docs/stable/tidb-in-kubernetes/maintain/backup-and-restore/) - -##### TiDB-Lightning - -- 概述：将全量数据快速导入到一个新的 TiDB 集群的工具。注意用 TiDB-Lightning 导入数据的时候，有两种模式： - - - 默认模式是以 `tikv-importer` 为后端，这种模式下导入数据过程中集群无法提供正常的服务，用于导入大量的数据（TB 级别）。 - - - 第二种模式是以 `TiDB` 为后端（相当于 Loader 的功能），相对默认模式导入速度较慢，但是可以在线导入。 - -- 输入 - - - Mydumper 输出文件 - - - CSV 格式文件 - -- 适用 TiDB 版本：v2.1 及以上 - -- 相关文档：[TiDB-Lightning](https://pingcap.com/docs/stable/reference/tools/tidb-lightning/overview/) - -- K8s 支持：[TiDB-Lightning](https://pingcap.com/docs/stable/tidb-in-kubernetes/maintain/lightning/) - -#### 备份和恢复 - -##### BR - -- 概述：TiDB 分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper/Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 - -- 备份输出和恢复输入：SST + backupmeta 文件 - -- 适用 TiDB 版本：v3.1 及 v4.0 - -- 相关文档：[br](https://pingcap.com/docs/v3.1/how-to/maintain/backup-and-restore/br/) - -- K8s 支持：已支持，文档撰写中 - -#### 增量导入 - -##### Syncer (停止维护，不推荐使用) - -- 概述：将 MySQL/MariaDB 增量 binlog 数据实时复制导入到 TiDB 的工具。目前推荐使用 DM 替换该工具。 - -- 输入：MySQL/MariaDB 的 binlog - -- 输出：以 SQL 形式写入 TiDB - -- 适用 TiDB 版本：all version - -- 相关文档：[Syncer](https://pingcap.com/docs/stable/reference/tools/syncer/) - -- K8s 支持：不支持 - -##### DM - -- 概述：将 MySQL/MariaDB 数据迁移到 TiDB 的工具，支持全量数据和增量数据的同步。 - -- 输入：MySQL/MariaDB 的全量数据以及 binlog - -- 输出：以 SQL 形式写入 TiDB - -- 适用 TiDB 版本：all version - -- 相关文档： [Data Migration](https://pingcap.com/docs/stable/reference/tools/data-migration/overview/) - -- k8s 支持：开发中 - -### 数据导出类 - -#### 全量导出 - -##### Mydumper - -- 概述：用于对 MySQL/TiDB 进行全量逻辑备份。 - -- 输入：MySQL/TiDB 集群 - -- 输出：SQL 文件 - -- 适用 TiDB 版本：all version - -- 相关文档：[Mydumper](https://pingcap.com/docs/stable/reference/tools/mydumper/) - -- K8s 支持：[backup and restore](https://pingcap.com/docs/stable/tidb-in-kubernetes/maintain/backup-and-restore/) - -#### 增量导出 - -##### TiDB-Binlog - -- 概述：收集 TiDB 的 binlog，并提供准实时同步和备份的工具。 - -- 输入：TiDB 集群 - -- 输出：MySQL、TiDB、Kafka 或者增量备份文件 - -- 适用 TiDB 版本：v2.1 及以上 - -- 相关文档：[TiDB-Binlog](https://pingcap.com/docs/stable/reference/tidb-binlog/overview/) - -- K8s 支持：[TiDB-Binlog](https://pingcap.com/docs/stable/tidb-in-kubernetes/maintain/tidb-binlog/)，[Drainer]( -https://pingcap.com/docs/stable/tidb-in-kubernetes/reference/configuration/tidb-drainer/) - -## 工具演进路线 - -### TiDB 备份与恢复 - -- Mydumper，Loader -> BR：Mydumper 和 Loader 都是在逻辑层面进行备份和恢复，效率较低；BR 使用 TiDB 的特性进行备份和恢复，适合数据量比较大的场景，备份效率大大提升。 - -### TiDB 全量恢复 - -- Loader -> TiDB-Lightning：Loader 使用 SQL 的方式进行全量数据恢复，效率较低。TiDB-Lightning 将数据直接导入 TiKV，大大提升了全量数据恢复的效率，适合将大量数据（T 级别以上数据）快速导入到一个全新的 TiDB 集群中；且 TiDB-Lightning 集成了 Loader 的逻辑导入数据功能，参见[文档](https://pingcap.com/docs/stable/reference/tools/tidb-lightning/tidb-backend/#migrating-from-loader-to-tidb-lightning-tidb-back-end) ，支持在线导入数据。 - -### MySQL 数据迁移 - -- Mydumper，Loader，Syncer -> DM：使用 Mydumper、Loader、Syncer 将 MySQL 数据迁移到 TiDB，迁移过程比较繁琐。DM 提供了一体化的数据迁移方案，提高了易用性，而且 DM 还支持分库分表的合并。 - -- Loader -> TiDB-Lightning：TiDB-Lightning 集成了 Loader 的逻辑导入数据功能，参见[文档](https://pingcap.com/docs/stable/reference/tools/tidb-lightning/tidb-backend/#migrating-from-loader-to-tidb-lightning-tidb-back-end) ，由 TiDB-Lightning 统一提供全量数据恢复功能。 - -## 数据迁移解决方案 - -针对 TiDB 的 2.1，3.0 以及 3.1 版本，下面给出典型业务场景下的数据迁移方案。 - -### TiDB 2.1 和 3.0 全链路数据迁移方案 - -#### MySQL 数据迁移到 TiDB - -- MySQL 数据量在 T 级别以上 - - - 使用 Mydumper 导出 MySQL 全量数据 - - - 使用 TiDB-Lightning 将 MySQL 全量备份数据导入 TiDB 集群 - - - 使用 DM 同步 MySQL 增量数据到 TiDB - -- MySQL 数据量在 T 级别以下 - - - 使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复 - -#### TiDB 集群数据的同步 - -- 使用 TiDB-Binlog 将 TiDB 数据同步到下游 TiDB/MySQL - -#### TiDB 集群数据的全量备份及恢复 - -- 使用 Mydumper 进行全量数据的备份 - -- 使用 TiDB-Lightning 将全量数据恢复到 TiDB/MySQL - -### TiDB 3.1 全链路数据迁移方案 - -#### MySQL 数据迁移到 TiDB - -- MySQL 数据量在 T 级别以上 - - - 使用 Mydumper 导出 MySQL 全量数据 - - - 使用 TiDB-Lightning 将 MySQL 全量备份数据导入 TiDB 集群 - - - 使用 DM 同步 MySQL 增量数据到 TiDB - -- MySQL 数据量在 T 级别以下 - - - 使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复 - -#### TiDB 集群数据的同步 - -- 使用 TiDB-Binlog 将 TiDB 数据同步到下游 TiDB/MySQL - -#### TiDB 集群数据的全量备份及恢复 - -- 恢复到 TiDB - - - 使用 BR 进行全量数据的备份 - - - 使用 BR 进行全量数据的恢复 - -- 恢复到 MySQL - - - 使用 Mydumper 进行全量数据的备份 - - - 使用 TiDB-Lightning 进行全量数据的恢复 diff --git a/dev/reference/tools/use-guide.md b/dev/reference/tools/use-guide.md new file mode 100644 index 000000000000..b419bbd1cf87 --- /dev/null +++ b/dev/reference/tools/use-guide.md @@ -0,0 +1,182 @@ +--- +title: TiDB 生态工具使用指南 +category: reference +--- + +# TiDB 生态工具使用指南 + +目前 TiDB 生态工具较多，有些工具之间有功能重叠，也有些属于版本迭代关系。本文档将对各个工具进行介绍，说明各个工具之间的关系，并且说明各个版本、场景下应该使用哪些工具。 + +## TiDB 生态工具概览 + +TiDB 生态工具可以分为几种： + +- 数据导入类，包括全量导入工具、备份和恢复工具、增量导入工具等 +- 数据导出类，包括全量导出工具、增量导出工具等 + +下面将分别介绍这两类工具。 + +### 数据导入类 + +#### 全量导入工具 Loader（停止维护，不推荐使用） + +[Loader](/dev/reference/tools/loader.md) 是一款轻量级的全量数据导入工具，数据以 SQL 的形式导入到 TiDB 中。目前这个工具正在逐步被 [TiDB Lightning](#全量导入工具-tidb-lightning) 替换掉，参见 [TiDB Lightning TiDB-backend 文档](/dev/reference/tools/tidb-lightning/tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)。 + +以下是 Loader 的一些基本信息： + +- Loader 的输入：Mydumper 输出的文件 +- Loader 的输出：以 SQL 形式写入 TiDB +- 适用 TiDB 版本：所有版本 +- Kubernetes 支持：[备份与恢复](/dev/tidb-in-kubernetes/maintain/backup-and-restore.md) + +#### 全量导入工具 TiDB Lightning + +[TiDB Lightning](/dev/reference/tools/tidb-lightning/overview.md) 是将全量数据快速导入到一个新的 TiDB 集群的工具。 + +注意用 TiDB Lightning 导入数据到 TiDB 的时候，有两种模式： + +- 默认模式：`tikv-importer` 为后端，这种模式下导入数据过程中集群无法提供正常的服务，用于导入大量的数据（TB 级别）。 +- 第二种模式：`TiDB` 为后端（相当于 Loader 的功能），相对默认模式导入速度较慢，但是可以在线导入。 + +以下是 TiDB Lightning 的一些基本信息： + +- Lightning 的输入 + - Mydumper 输出文件 + - CSV 格式文件 +- 适用 TiDB 版本：v2.1 及以上 +- Kubernetes 支持：[使用 TiDB Lightning 快速恢复 Kubernetes 上的 TiDB 集群数据](/dev/tidb-in-kubernetes/maintain/lightning.md) + +#### 备份和恢复工具 BR + +[BR](/v3.1/how-to/maintain/backup-and-restore/br.md) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 + +以下是 BR 的一些基本信息： + +- [备份输出和恢复输入的文件类型](/v3.1/how-to/maintain/backup-and-restore/br.md#备份文件类型)：SST + `backupmeta` 文件 +- 适用 TiDB 版本：v3.1 及 v4.0 +- Kubernetes 支持：已支持，文档撰写中 + +#### 增量导入工具 Syncer (停止维护，不推荐使用) + +[Syncer](/dev/reference/tools/syncer.md) 是将 MySQL/MariaDB 增量 binlog 数据实时复制导入到 TiDB 的工具。目前推荐使用 [TiDB Data Migration](#增量导入工具-tidb-data-migration) 替换该工具。 + +以下是 Syncer 的一些基本信息： + +- Syncer 的输入：MySQL/MariaDB 的 binlog +- Syncer 的输出：以 SQL 形式写入 TiDB +- 适用 TiDB 版本：所有版本 +- Kubernetes 支持：不支持 + +#### 增量导入工具 TiDB Data Migration + +[TiDB Data Migration (DM)](/dev/reference/tools/data-migration/overview.md) 是将 MySQL/MariaDB 数据迁移到 TiDB 的工具，支持全量数据和增量数据的同步。 + +以下是 DM 的一些基本信息： + +- DM 的输入：MySQL/MariaDB 的全量数据以及 binlog +- DM 的输出：以 SQL 形式写入 TiDB +- 适用 TiDB 版本：所有版本 +- Kubernetes 支持：开发中 + +### 数据导出类 + +#### 全量导出工具 Mydumper + +[Mydumper](/dev/reference/tools/mydumper.md) 用于对 MySQL/TiDB 进行全量逻辑备份。 + +以下是 Mydumper 的一些基本信息： + +- Mydumper 的输入：MySQL/TiDB 集群 +- Mydumper 的输出：SQL 文件 +- 适用 TiDB 版本：所有版本 +- Kubernetes 支持：[备份与恢复](/dev/tidb-in-kubernetes/maintain/backup-and-restore.md) + +#### 增量导出工具 TiDB Binlog + +[TiDB Binlog](/dev/reference/tidb-binlog/overview.md) 是收集 TiDB 的 binlog，并提供准实时同步和备份的工具。 + +以下是 TiDB Binlog 的一些基本信息： + +- TiDB Binlog 的输入：TiDB 集群 +- TiDB Binlog 的输出：MySQL、TiDB、Kafka 或者增量备份文件 +- 适用 TiDB 版本：v2.1 及以上 +- Kubernetes 支持：[TiDB Binlog 运维文档](/dev/tidb-in-kubernetes/maintain/tidb-binlog.md)，[Kubernetes 上的 TiDB Binlog Drainer 配置](/dev/tidb-in-kubernetes/reference/configuration/tidb-drainer.md) + +## 工具演进路线 + +### TiDB 备份与恢复 + +Mydumper、Loader -> BR： + +Mydumper 和 Loader 都是在逻辑层面进行备份和恢复，效率较低；BR 使用 TiDB 的特性进行备份和恢复，适合数据量比较大的场景，备份效率大大提升。 + +### TiDB 全量恢复 + +Loader -> TiDB Lightning： + +Loader 使用 SQL 的方式进行全量数据恢复，效率较低。TiDB Lightning 将数据直接导入 TiKV，大大提升了全量数据恢复的效率，适合将大量数据（TB 级别以上数据）快速导入到一个全新的 TiDB 集群中；且 TiDB Lightning 集成了 Loader 的逻辑导入数据功能，参见 [TiDB Lightning TiDB-backend 文档](/dev/reference/tools/tidb-lightning/tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)，支持在线导入数据。 + +### MySQL 数据迁移 + +- Mydumper、Loader、Syncer -> DM： + + 使用 Mydumper、Loader、Syncer 将 MySQL 数据迁移到 TiDB，迁移过程比较繁琐。DM 提供了一体化的数据迁移方案，提高了易用性，而且 DM 还支持分库分表的合并。 + +- Loader -> TiDB Lightning： + + TiDB Lightning 集成了 Loader 的逻辑导入数据功能，参见 [TiDB Lightning TiDB-backend 文档](/dev/reference/tools/tidb-lightning/tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)，由 TiDB Lightning 统一提供全量数据恢复功能。 + +## 数据迁移解决方案 + +针对 TiDB 的 2.1，3.0 以及 3.1 版本，下面给出典型业务场景下的数据迁移方案。 + +### TiDB 2.1 和 3.0 全链路数据迁移方案 + +#### MySQL 数据迁移到 TiDB + +如果 MySQL 数据量在 TB 级别以上，推荐迁移步骤如下： + +1. 使用 Mydumper 导出 MySQL 全量数据 +2. 使用 TiDB Lightning 将 MySQL 全量备份数据导入 TiDB 集群 +3. 使用 DM 同步 MySQL 增量数据到 TiDB + +如果 MySQL 数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复。 + +#### TiDB 集群数据的同步 + +使用 TiDB Binlog 将 TiDB 数据同步到下游 TiDB/MySQL。 + +#### TiDB 集群数据的全量备份及恢复 + +推荐步骤： + +1. 使用 Mydumper 进行全量数据的备份 +2. 使用 TiDB Lightning 将全量数据恢复到 TiDB/MySQL + +### TiDB 3.1 全链路数据迁移方案 + +#### MySQL 数据迁移到 TiDB + +如果 MySQL 数据量在 TB 级别以上，推荐迁移步骤如下： + +1. 使用 Mydumper 导出 MySQL 全量数据 +2. 使用 TiDB Lightning 将 MySQL 全量备份数据导入 TiDB 集群 +3. 使用 DM 同步 MySQL 增量数据到 TiDB + +如果 MySQL 数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复。 + +#### TiDB 集群数据的同步 + +使用 TiDB-Binlog 将 TiDB 数据同步到下游 TiDB/MySQL。 + +#### TiDB 集群数据的全量备份及恢复 + +- 恢复到 TiDB + + - 使用 BR 进行全量数据的备份 + - 使用 BR 进行全量数据的恢复 + +- 恢复到 MySQL + + - 使用 Mydumper 进行全量数据的备份 + - 使用 TiDB Lightning 进行全量数据的恢复 From 5f4faddb09d877c477fe548f7ff08fa731c047ed Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Fri, 7 Feb 2020 10:01:36 +0800 Subject: [PATCH 11/21] Apply suggestions from code review Co-Authored-By: Keke Yi <40977455+yikeke@users.noreply.github.com> --- dev/reference/tools/use-guide.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/dev/reference/tools/use-guide.md b/dev/reference/tools/use-guide.md index b419bbd1cf87..27cbc082cd73 100644 --- a/dev/reference/tools/use-guide.md +++ b/dev/reference/tools/use-guide.md @@ -140,7 +140,7 @@ Loader 使用 SQL 的方式进行全量数据恢复，效率较低。TiDB Lightn 2. 使用 TiDB Lightning 将 MySQL 全量备份数据导入 TiDB 集群 3. 使用 DM 同步 MySQL 增量数据到 TiDB -如果 MySQL 数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复。 +如果 MySQL 数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB（迁移的过程包括全量导入和增量的恢复）。 #### TiDB 集群数据的同步 @@ -163,7 +163,7 @@ Loader 使用 SQL 的方式进行全量数据恢复，效率较低。TiDB Lightn 2. 使用 TiDB Lightning 将 MySQL 全量备份数据导入 TiDB 集群 3. 使用 DM 同步 MySQL 增量数据到 TiDB -如果 MySQL 数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB，包括全量导入和增量的恢复。 +如果 MySQL 数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB（迁移的过程包括全量导入和增量的恢复）。 #### TiDB 集群数据的同步 From 36d00b44aebd9c1b4d5ae6ab139d6f8ad97fe0e4 Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Fri, 7 Feb 2020 10:10:04 +0800 Subject: [PATCH 12/21] minor update --- dev/reference/tools/use-guide.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/dev/reference/tools/use-guide.md b/dev/reference/tools/use-guide.md index 27cbc082cd73..98580bafd67a 100644 --- a/dev/reference/tools/use-guide.md +++ b/dev/reference/tools/use-guide.md @@ -140,7 +140,7 @@ Loader 使用 SQL 的方式进行全量数据恢复，效率较低。TiDB Lightn 2. 使用 TiDB Lightning 将 MySQL 全量备份数据导入 TiDB 集群 3. 使用 DM 同步 MySQL 增量数据到 TiDB -如果 MySQL 数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB（迁移的过程包括全量导入和增量的恢复）。 +如果 MySQL 数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB（迁移的过程包括全量导入和增量的同步）。 #### TiDB 集群数据的同步 @@ -163,7 +163,7 @@ Loader 使用 SQL 的方式进行全量数据恢复，效率较低。TiDB Lightn 2. 使用 TiDB Lightning 将 MySQL 全量备份数据导入 TiDB 集群 3. 使用 DM 同步 MySQL 增量数据到 TiDB -如果 MySQL 数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB（迁移的过程包括全量导入和增量的恢复）。 +如果 MySQL 数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB（迁移的过程包括全量导入和增量的同步）。 #### TiDB 集群数据的同步 From e3f6532567e2bbdf425288abe25f2a7263c9fc1b Mon Sep 17 00:00:00 2001 From: yikeke Date: Tue, 11 Feb 2020 17:05:24 +0800 Subject: [PATCH 13/21] Fix CI --- dev/reference/tools/use-guide.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/dev/reference/tools/use-guide.md b/dev/reference/tools/use-guide.md index 98580bafd67a..001acb369a7b 100644 --- a/dev/reference/tools/use-guide.md +++ b/dev/reference/tools/use-guide.md @@ -48,11 +48,11 @@ TiDB 生态工具可以分为几种： #### 备份和恢复工具 BR -[BR](/v3.1/how-to/maintain/backup-and-restore/br.md) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 +[BR](https://pingcap.com/docs-cn/v3.1/how-to/maintain/backup-and-restore/br/) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 以下是 BR 的一些基本信息： -- [备份输出和恢复输入的文件类型](/v3.1/how-to/maintain/backup-and-restore/br.md#备份文件类型)：SST + `backupmeta` 文件 +- [备份输出和恢复输入的文件类型](https://pingcap.com/docs-cn/v3.1/how-to/maintain/backup-and-restore/br/#备份文件类型)：SST + `backupmeta` 文件 - 适用 TiDB 版本：v3.1 及 v4.0 - Kubernetes 支持：已支持，文档撰写中 From f4a658e1111efb27ca0a5af5d74f2df57cb01edf Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 12 Feb 2020 10:48:56 +0800 Subject: [PATCH 14/21] update link --- dev/reference/tools/use-guide.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/dev/reference/tools/use-guide.md b/dev/reference/tools/use-guide.md index 001acb369a7b..a57509586d6f 100644 --- a/dev/reference/tools/use-guide.md +++ b/dev/reference/tools/use-guide.md @@ -48,11 +48,11 @@ TiDB 生态工具可以分为几种： #### 备份和恢复工具 BR -[BR](https://pingcap.com/docs-cn/v3.1/how-to/maintain/backup-and-restore/br/) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 +[BR](/v3.1/how-to/maintain/backup-and-restore/br/) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 以下是 BR 的一些基本信息： -- [备份输出和恢复输入的文件类型](https://pingcap.com/docs-cn/v3.1/how-to/maintain/backup-and-restore/br/#备份文件类型)：SST + `backupmeta` 文件 +- [备份输出和恢复输入的文件类型](/v3.1/how-to/maintain/backup-and-restore/br/#备份文件类型)：SST + `backupmeta` 文件 - 适用 TiDB 版本：v3.1 及 v4.0 - Kubernetes 支持：已支持，文档撰写中 From e17ac1834d93c55af6af03dcada74a4f557e65e3 Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 12 Feb 2020 10:53:08 +0800 Subject: [PATCH 15/21] update v2.1 --- v2.1/reference/tools/use-guide.md | 182 ++++++++++++++++++++++++++++++ 1 file changed, 182 insertions(+) create mode 100644 v2.1/reference/tools/use-guide.md diff --git a/v2.1/reference/tools/use-guide.md b/v2.1/reference/tools/use-guide.md new file mode 100644 index 000000000000..35e85e141b4f --- /dev/null +++ b/v2.1/reference/tools/use-guide.md @@ -0,0 +1,182 @@ +--- +title: TiDB 生态工具使用指南 +category: reference +--- + +# TiDB 生态工具使用指南 + +目前 TiDB 生态工具较多，有些工具之间有功能重叠，也有些属于版本迭代关系。本文档将对各个工具进行介绍，说明各个工具之间的关系，并且说明各个版本、场景下应该使用哪些工具。 + +## TiDB 生态工具概览 + +TiDB 生态工具可以分为几种： + +- 数据导入类，包括全量导入工具、备份和恢复工具、增量导入工具等 +- 数据导出类，包括全量导出工具、增量导出工具等 + +下面将分别介绍这两类工具。 + +### 数据导入类 + +#### 全量导入工具 Loader（停止维护，不推荐使用） + +[Loader](/v2.1/reference/tools/loader.md) 是一款轻量级的全量数据导入工具，数据以 SQL 的形式导入到 TiDB 中。目前这个工具正在逐步被 [TiDB Lightning](#全量导入工具-tidb-lightning) 替换掉，参见 [TiDB Lightning TiDB-backend 文档](/dev/reference/tools/tidb-lightning/tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)。 + +以下是 Loader 的一些基本信息： + +- Loader 的输入：Mydumper 输出的文件 +- Loader 的输出：以 SQL 形式写入 TiDB +- 适用 TiDB 版本：所有版本 +- Kubernetes 支持：[备份与恢复](/dev/tidb-in-kubernetes/maintain/backup-and-restore.md) + +#### 全量导入工具 TiDB Lightning + +[TiDB Lightning](/v2.1/reference/tools/tidb-lightning/overview.md) 是将全量数据快速导入到一个新的 TiDB 集群的工具。 + +注意用 TiDB Lightning 导入数据到 TiDB 的时候，有两种模式： + +- 默认模式：`tikv-importer` 为后端，这种模式下导入数据过程中集群无法提供正常的服务，用于导入大量的数据（TB 级别）。 +- 第二种模式：`TiDB` 为后端（相当于 Loader 的功能），相对默认模式导入速度较慢，但是可以在线导入。 + +以下是 TiDB Lightning 的一些基本信息： + +- Lightning 的输入 + - Mydumper 输出文件 + - CSV 格式文件 +- 适用 TiDB 版本：v2.1 及以上 +- Kubernetes 支持：[使用 TiDB Lightning 快速恢复 Kubernetes 上的 TiDB 集群数据](/dev/tidb-in-kubernetes/maintain/lightning.md) + +#### 备份和恢复工具 BR + +[BR](/dev/how-to/maintain/backup-and-restore/br/) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 + +以下是 BR 的一些基本信息： + +- [备份输出和恢复输入的文件类型](/dev/how-to/maintain/backup-and-restore/br/#备份文件类型)：SST + `backupmeta` 文件 +- 适用 TiDB 版本：v3.1 及 v4.0 +- Kubernetes 支持：已支持，文档撰写中 + +#### 增量导入工具 Syncer (停止维护，不推荐使用) + +[Syncer](/v2.1/reference/tools/syncer.md) 是将 MySQL/MariaDB 增量 binlog 数据实时复制导入到 TiDB 的工具。目前推荐使用 [TiDB Data Migration](#增量导入工具-tidb-data-migration) 替换该工具。 + +以下是 Syncer 的一些基本信息： + +- Syncer 的输入：MySQL/MariaDB 的 binlog +- Syncer 的输出：以 SQL 形式写入 TiDB +- 适用 TiDB 版本：所有版本 +- Kubernetes 支持：不支持 + +#### 增量导入工具 TiDB Data Migration + +[TiDB Data Migration (DM)](/v2.1/reference/tools/data-migration/overview.md) 是将 MySQL/MariaDB 数据迁移到 TiDB 的工具，支持全量数据和增量数据的同步。 + +以下是 DM 的一些基本信息： + +- DM 的输入：MySQL/MariaDB 的全量数据以及 binlog +- DM 的输出：以 SQL 形式写入 TiDB +- 适用 TiDB 版本：所有版本 +- Kubernetes 支持：开发中 + +### 数据导出类 + +#### 全量导出工具 Mydumper + +[Mydumper](/v2.1/reference/tools/mydumper.md) 用于对 MySQL/TiDB 进行全量逻辑备份。 + +以下是 Mydumper 的一些基本信息： + +- Mydumper 的输入：MySQL/TiDB 集群 +- Mydumper 的输出：SQL 文件 +- 适用 TiDB 版本：所有版本 +- Kubernetes 支持：[备份与恢复](/dev/tidb-in-kubernetes/maintain/backup-and-restore.md) + +#### 增量导出工具 TiDB Binlog + +[TiDB Binlog](/v2.1/reference/tidb-binlog/overview.md) 是收集 TiDB 的 binlog，并提供准实时同步和备份的工具。 + +以下是 TiDB Binlog 的一些基本信息： + +- TiDB Binlog 的输入：TiDB 集群 +- TiDB Binlog 的输出：MySQL、TiDB、Kafka 或者增量备份文件 +- 适用 TiDB 版本：v2.1 及以上 +- Kubernetes 支持：[TiDB Binlog 运维文档](/dev/tidb-in-kubernetes/maintain/tidb-binlog.md)，[Kubernetes 上的 TiDB Binlog Drainer 配置](/dev/tidb-in-kubernetes/reference/configuration/tidb-drainer.md) + +## 工具演进路线 + +### TiDB 备份与恢复 + +Mydumper、Loader -> BR： + +Mydumper 和 Loader 都是在逻辑层面进行备份和恢复，效率较低；BR 使用 TiDB 的特性进行备份和恢复，适合数据量比较大的场景，备份效率大大提升。 + +### TiDB 全量恢复 + +Loader -> TiDB Lightning： + +Loader 使用 SQL 的方式进行全量数据恢复，效率较低。TiDB Lightning 将数据直接导入 TiKV，大大提升了全量数据恢复的效率，适合将大量数据（TB 级别以上数据）快速导入到一个全新的 TiDB 集群中；且 TiDB Lightning 集成了 Loader 的逻辑导入数据功能，参见 [TiDB Lightning TiDB-backend 文档](/dev/reference/tools/tidb-lightning/tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)，支持在线导入数据。 + +### MySQL 数据迁移 + +- Mydumper、Loader、Syncer -> DM： + + 使用 Mydumper、Loader、Syncer 将 MySQL 数据迁移到 TiDB，迁移过程比较繁琐。DM 提供了一体化的数据迁移方案，提高了易用性，而且 DM 还支持分库分表的合并。 + +- Loader -> TiDB Lightning： + + TiDB Lightning 集成了 Loader 的逻辑导入数据功能，参见 [TiDB Lightning TiDB-backend 文档](/dev/reference/tools/tidb-lightning/tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)，由 TiDB Lightning 统一提供全量数据恢复功能。 + +## 数据迁移解决方案 + +针对 TiDB 的 2.1，3.0 以及 3.1 版本，下面给出典型业务场景下的数据迁移方案。 + +### TiDB 2.1 和 3.0 全链路数据迁移方案 + +#### MySQL 数据迁移到 TiDB + +如果 MySQL 数据量在 TB 级别以上，推荐迁移步骤如下： + +1. 使用 Mydumper 导出 MySQL 全量数据 +2. 使用 TiDB Lightning 将 MySQL 全量备份数据导入 TiDB 集群 +3. 使用 DM 同步 MySQL 增量数据到 TiDB + +如果 MySQL 数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB（迁移的过程包括全量导入和增量的同步）。 + +#### TiDB 集群数据的同步 + +使用 TiDB Binlog 将 TiDB 数据同步到下游 TiDB/MySQL。 + +#### TiDB 集群数据的全量备份及恢复 + +推荐步骤： + +1. 使用 Mydumper 进行全量数据的备份 +2. 使用 TiDB Lightning 将全量数据恢复到 TiDB/MySQL + +### TiDB 3.1 全链路数据迁移方案 + +#### MySQL 数据迁移到 TiDB + +如果 MySQL 数据量在 TB 级别以上，推荐迁移步骤如下： + +1. 使用 Mydumper 导出 MySQL 全量数据 +2. 使用 TiDB Lightning 将 MySQL 全量备份数据导入 TiDB 集群 +3. 使用 DM 同步 MySQL 增量数据到 TiDB + +如果 MySQL 数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB（迁移的过程包括全量导入和增量的同步）。 + +#### TiDB 集群数据的同步 + +使用 TiDB-Binlog 将 TiDB 数据同步到下游 TiDB/MySQL。 + +#### TiDB 集群数据的全量备份及恢复 + +- 恢复到 TiDB + + - 使用 BR 进行全量数据的备份 + - 使用 BR 进行全量数据的恢复 + +- 恢复到 MySQL + + - 使用 Mydumper 进行全量数据的备份 + - 使用 TiDB Lightning 进行全量数据的恢复 From db4b0a7d85239b1204db23d789818cafd083305a Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 12 Feb 2020 11:01:30 +0800 Subject: [PATCH 16/21] update v3.0 --- v3.0/reference/tools/use-guide.md | 182 ++++++++++++++++++++++++++++++ 1 file changed, 182 insertions(+) create mode 100644 v3.0/reference/tools/use-guide.md diff --git a/v3.0/reference/tools/use-guide.md b/v3.0/reference/tools/use-guide.md new file mode 100644 index 000000000000..332480dbe648 --- /dev/null +++ b/v3.0/reference/tools/use-guide.md @@ -0,0 +1,182 @@ +--- +title: TiDB 生态工具使用指南 +category: reference +--- + +# TiDB 生态工具使用指南 + +目前 TiDB 生态工具较多，有些工具之间有功能重叠，也有些属于版本迭代关系。本文档将对各个工具进行介绍，说明各个工具之间的关系，并且说明各个版本、场景下应该使用哪些工具。 + +## TiDB 生态工具概览 + +TiDB 生态工具可以分为几种： + +- 数据导入类，包括全量导入工具、备份和恢复工具、增量导入工具等 +- 数据导出类，包括全量导出工具、增量导出工具等 + +下面将分别介绍这两类工具。 + +### 数据导入类 + +#### 全量导入工具 Loader（停止维护，不推荐使用） + +[Loader](/v3.0/reference/tools/loader.md) 是一款轻量级的全量数据导入工具，数据以 SQL 的形式导入到 TiDB 中。目前这个工具正在逐步被 [TiDB Lightning](#全量导入工具-tidb-lightning) 替换掉，参见 [TiDB Lightning TiDB-backend 文档](/v3.0/reference/tools/tidb-lightning/tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)。 + +以下是 Loader 的一些基本信息： + +- Loader 的输入：Mydumper 输出的文件 +- Loader 的输出：以 SQL 形式写入 TiDB +- 适用 TiDB 版本：所有版本 +- Kubernetes 支持：[备份与恢复](/v3.0/tidb-in-kubernetes/maintain/backup-and-restore.md) + +#### 全量导入工具 TiDB Lightning + +[TiDB Lightning](/v3.0/reference/tools/tidb-lightning/overview.md) 是将全量数据快速导入到一个新的 TiDB 集群的工具。 + +注意用 TiDB Lightning 导入数据到 TiDB 的时候，有两种模式： + +- 默认模式：`tikv-importer` 为后端，这种模式下导入数据过程中集群无法提供正常的服务，用于导入大量的数据（TB 级别）。 +- 第二种模式：`TiDB` 为后端（相当于 Loader 的功能），相对默认模式导入速度较慢，但是可以在线导入。 + +以下是 TiDB Lightning 的一些基本信息： + +- Lightning 的输入 + - Mydumper 输出文件 + - CSV 格式文件 +- 适用 TiDB 版本：v2.1 及以上 +- Kubernetes 支持：[使用 TiDB Lightning 快速恢复 Kubernetes 上的 TiDB 集群数据](/v3.0/tidb-in-kubernetes/maintain/lightning.md) + +#### 备份和恢复工具 BR + +[BR](/dev/how-to/maintain/backup-and-restore/br.md) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 + +以下是 BR 的一些基本信息： + +- [备份输出和恢复输入的文件类型](/dev/how-to/maintain/backup-and-restore/br.md#备份文件类型)：SST + `backupmeta` 文件 +- 适用 TiDB 版本：v3.1 及 v4.0 +- Kubernetes 支持：已支持，文档撰写中 + +#### 增量导入工具 Syncer (停止维护，不推荐使用) + +[Syncer](/v3.0/reference/tools/syncer.md) 是将 MySQL/MariaDB 增量 binlog 数据实时复制导入到 TiDB 的工具。目前推荐使用 [TiDB Data Migration](#增量导入工具-tidb-data-migration) 替换该工具。 + +以下是 Syncer 的一些基本信息： + +- Syncer 的输入：MySQL/MariaDB 的 binlog +- Syncer 的输出：以 SQL 形式写入 TiDB +- 适用 TiDB 版本：所有版本 +- Kubernetes 支持：不支持 + +#### 增量导入工具 TiDB Data Migration + +[TiDB Data Migration (DM)](/v3.0/reference/tools/data-migration/overview.md) 是将 MySQL/MariaDB 数据迁移到 TiDB 的工具，支持全量数据和增量数据的同步。 + +以下是 DM 的一些基本信息： + +- DM 的输入：MySQL/MariaDB 的全量数据以及 binlog +- DM 的输出：以 SQL 形式写入 TiDB +- 适用 TiDB 版本：所有版本 +- Kubernetes 支持：开发中 + +### 数据导出类 + +#### 全量导出工具 Mydumper + +[Mydumper](/v3.0/reference/tools/mydumper.md) 用于对 MySQL/TiDB 进行全量逻辑备份。 + +以下是 Mydumper 的一些基本信息： + +- Mydumper 的输入：MySQL/TiDB 集群 +- Mydumper 的输出：SQL 文件 +- 适用 TiDB 版本：所有版本 +- Kubernetes 支持：[备份与恢复](/v3.0/tidb-in-kubernetes/maintain/backup-and-restore.md) + +#### 增量导出工具 TiDB Binlog + +[TiDB Binlog](/v3.0/reference/tidb-binlog/overview.md) 是收集 TiDB 的 binlog，并提供准实时同步和备份的工具。 + +以下是 TiDB Binlog 的一些基本信息： + +- TiDB Binlog 的输入：TiDB 集群 +- TiDB Binlog 的输出：MySQL、TiDB、Kafka 或者增量备份文件 +- 适用 TiDB 版本：v2.1 及以上 +- Kubernetes 支持：[TiDB Binlog 运维文档](/v3.0/tidb-in-kubernetes/maintain/tidb-binlog.md)，[Kubernetes 上的 TiDB Binlog Drainer 配置](/v3.0/tidb-in-kubernetes/reference/configuration/tidb-drainer.md) + +## 工具演进路线 + +### TiDB 备份与恢复 + +Mydumper、Loader -> BR： + +Mydumper 和 Loader 都是在逻辑层面进行备份和恢复，效率较低；BR 使用 TiDB 的特性进行备份和恢复，适合数据量比较大的场景，备份效率大大提升。 + +### TiDB 全量恢复 + +Loader -> TiDB Lightning： + +Loader 使用 SQL 的方式进行全量数据恢复，效率较低。TiDB Lightning 将数据直接导入 TiKV，大大提升了全量数据恢复的效率，适合将大量数据（TB 级别以上数据）快速导入到一个全新的 TiDB 集群中；且 TiDB Lightning 集成了 Loader 的逻辑导入数据功能，参见 [TiDB Lightning TiDB-backend 文档](/v3.0/reference/tools/tidb-lightning/tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)，支持在线导入数据。 + +### MySQL 数据迁移 + +- Mydumper、Loader、Syncer -> DM： + + 使用 Mydumper、Loader、Syncer 将 MySQL 数据迁移到 TiDB，迁移过程比较繁琐。DM 提供了一体化的数据迁移方案，提高了易用性，而且 DM 还支持分库分表的合并。 + +- Loader -> TiDB Lightning： + + TiDB Lightning 集成了 Loader 的逻辑导入数据功能，参见 [TiDB Lightning TiDB-backend 文档](/v3.0/reference/tools/tidb-lightning/tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)，由 TiDB Lightning 统一提供全量数据恢复功能。 + +## 数据迁移解决方案 + +针对 TiDB 的 2.1，3.0 以及 3.1 版本，下面给出典型业务场景下的数据迁移方案。 + +### TiDB 2.1 和 3.0 全链路数据迁移方案 + +#### MySQL 数据迁移到 TiDB + +如果 MySQL 数据量在 TB 级别以上，推荐迁移步骤如下： + +1. 使用 Mydumper 导出 MySQL 全量数据 +2. 使用 TiDB Lightning 将 MySQL 全量备份数据导入 TiDB 集群 +3. 使用 DM 同步 MySQL 增量数据到 TiDB + +如果 MySQL 数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB（迁移的过程包括全量导入和增量的同步）。 + +#### TiDB 集群数据的同步 + +使用 TiDB Binlog 将 TiDB 数据同步到下游 TiDB/MySQL。 + +#### TiDB 集群数据的全量备份及恢复 + +推荐步骤： + +1. 使用 Mydumper 进行全量数据的备份 +2. 使用 TiDB Lightning 将全量数据恢复到 TiDB/MySQL + +### TiDB 3.1 全链路数据迁移方案 + +#### MySQL 数据迁移到 TiDB + +如果 MySQL 数据量在 TB 级别以上，推荐迁移步骤如下： + +1. 使用 Mydumper 导出 MySQL 全量数据 +2. 使用 TiDB Lightning 将 MySQL 全量备份数据导入 TiDB 集群 +3. 使用 DM 同步 MySQL 增量数据到 TiDB + +如果 MySQL 数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB（迁移的过程包括全量导入和增量的同步）。 + +#### TiDB 集群数据的同步 + +使用 TiDB-Binlog 将 TiDB 数据同步到下游 TiDB/MySQL。 + +#### TiDB 集群数据的全量备份及恢复 + +- 恢复到 TiDB + + - 使用 BR 进行全量数据的备份 + - 使用 BR 进行全量数据的恢复 + +- 恢复到 MySQL + + - 使用 Mydumper 进行全量数据的备份 + - 使用 TiDB Lightning 进行全量数据的恢复 From df810a32c113ca57a9e0f29797c0caa1204d9130 Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 12 Feb 2020 11:09:08 +0800 Subject: [PATCH 17/21] update v3.1 --- v3.1/reference/tools/use-guide.md | 182 ++++++++++++++++++++++++++++++ 1 file changed, 182 insertions(+) create mode 100644 v3.1/reference/tools/use-guide.md diff --git a/v3.1/reference/tools/use-guide.md b/v3.1/reference/tools/use-guide.md new file mode 100644 index 000000000000..4bba587e4f45 --- /dev/null +++ b/v3.1/reference/tools/use-guide.md @@ -0,0 +1,182 @@ +--- +title: TiDB 生态工具使用指南 +category: reference +--- + +# TiDB 生态工具使用指南 + +目前 TiDB 生态工具较多，有些工具之间有功能重叠，也有些属于版本迭代关系。本文档将对各个工具进行介绍，说明各个工具之间的关系，并且说明各个版本、场景下应该使用哪些工具。 + +## TiDB 生态工具概览 + +TiDB 生态工具可以分为几种： + +- 数据导入类，包括全量导入工具、备份和恢复工具、增量导入工具等 +- 数据导出类，包括全量导出工具、增量导出工具等 + +下面将分别介绍这两类工具。 + +### 数据导入类 + +#### 全量导入工具 Loader（停止维护，不推荐使用） + +[Loader](/v3.1/reference/tools/loader.md) 是一款轻量级的全量数据导入工具，数据以 SQL 的形式导入到 TiDB 中。目前这个工具正在逐步被 [TiDB Lightning](#全量导入工具-tidb-lightning) 替换掉，参见 [TiDB Lightning TiDB-backend 文档](/v3.1/reference/tools/tidb-lightning/tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)。 + +以下是 Loader 的一些基本信息： + +- Loader 的输入：Mydumper 输出的文件 +- Loader 的输出：以 SQL 形式写入 TiDB +- 适用 TiDB 版本：所有版本 +- Kubernetes 支持：[备份与恢复](/v3.1/tidb-in-kubernetes/maintain/backup-and-restore.md) + +#### 全量导入工具 TiDB Lightning + +[TiDB Lightning](/v3.1/reference/tools/tidb-lightning/overview.md) 是将全量数据快速导入到一个新的 TiDB 集群的工具。 + +注意用 TiDB Lightning 导入数据到 TiDB 的时候，有两种模式： + +- 默认模式：`tikv-importer` 为后端，这种模式下导入数据过程中集群无法提供正常的服务，用于导入大量的数据（TB 级别）。 +- 第二种模式：`TiDB` 为后端（相当于 Loader 的功能），相对默认模式导入速度较慢，但是可以在线导入。 + +以下是 TiDB Lightning 的一些基本信息： + +- Lightning 的输入 + - Mydumper 输出文件 + - CSV 格式文件 +- 适用 TiDB 版本：v2.1 及以上 +- Kubernetes 支持：[使用 TiDB Lightning 快速恢复 Kubernetes 上的 TiDB 集群数据](/v3.1/tidb-in-kubernetes/maintain/lightning.md) + +#### 备份和恢复工具 BR + +[BR](/v3.1/how-to/maintain/backup-and-restore/br.md) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 + +以下是 BR 的一些基本信息： + +- [备份输出和恢复输入的文件类型](/v3.1/how-to/maintain/backup-and-restore/br.md#备份文件类型)：SST + `backupmeta` 文件 +- 适用 TiDB 版本：v3.1 及 v4.0 +- Kubernetes 支持：已支持，文档撰写中 + +#### 增量导入工具 Syncer (停止维护，不推荐使用) + +[Syncer](/v3.1/reference/tools/syncer.md) 是将 MySQL/MariaDB 增量 binlog 数据实时复制导入到 TiDB 的工具。目前推荐使用 [TiDB Data Migration](#增量导入工具-tidb-data-migration) 替换该工具。 + +以下是 Syncer 的一些基本信息： + +- Syncer 的输入：MySQL/MariaDB 的 binlog +- Syncer 的输出：以 SQL 形式写入 TiDB +- 适用 TiDB 版本：所有版本 +- Kubernetes 支持：不支持 + +#### 增量导入工具 TiDB Data Migration + +[TiDB Data Migration (DM)](/v3.1/reference/tools/data-migration/overview.md) 是将 MySQL/MariaDB 数据迁移到 TiDB 的工具，支持全量数据和增量数据的同步。 + +以下是 DM 的一些基本信息： + +- DM 的输入：MySQL/MariaDB 的全量数据以及 binlog +- DM 的输出：以 SQL 形式写入 TiDB +- 适用 TiDB 版本：所有版本 +- Kubernetes 支持：开发中 + +### 数据导出类 + +#### 全量导出工具 Mydumper + +[Mydumper](/v3.1/reference/tools/mydumper.md) 用于对 MySQL/TiDB 进行全量逻辑备份。 + +以下是 Mydumper 的一些基本信息： + +- Mydumper 的输入：MySQL/TiDB 集群 +- Mydumper 的输出：SQL 文件 +- 适用 TiDB 版本：所有版本 +- Kubernetes 支持：[备份与恢复](/v3.1/tidb-in-kubernetes/maintain/backup-and-restore.md) + +#### 增量导出工具 TiDB Binlog + +[TiDB Binlog](/v3.1/reference/tidb-binlog/overview.md) 是收集 TiDB 的 binlog，并提供准实时同步和备份的工具。 + +以下是 TiDB Binlog 的一些基本信息： + +- TiDB Binlog 的输入：TiDB 集群 +- TiDB Binlog 的输出：MySQL、TiDB、Kafka 或者增量备份文件 +- 适用 TiDB 版本：v2.1 及以上 +- Kubernetes 支持：[TiDB Binlog 运维文档](/v3.1/tidb-in-kubernetes/maintain/tidb-binlog.md)，[Kubernetes 上的 TiDB Binlog Drainer 配置](/v3.1/tidb-in-kubernetes/reference/configuration/tidb-drainer.md) + +## 工具演进路线 + +### TiDB 备份与恢复 + +Mydumper、Loader -> BR： + +Mydumper 和 Loader 都是在逻辑层面进行备份和恢复，效率较低；BR 使用 TiDB 的特性进行备份和恢复，适合数据量比较大的场景，备份效率大大提升。 + +### TiDB 全量恢复 + +Loader -> TiDB Lightning： + +Loader 使用 SQL 的方式进行全量数据恢复，效率较低。TiDB Lightning 将数据直接导入 TiKV，大大提升了全量数据恢复的效率，适合将大量数据（TB 级别以上数据）快速导入到一个全新的 TiDB 集群中；且 TiDB Lightning 集成了 Loader 的逻辑导入数据功能，参见 [TiDB Lightning TiDB-backend 文档](/v3.1/reference/tools/tidb-lightning/tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)，支持在线导入数据。 + +### MySQL 数据迁移 + +- Mydumper、Loader、Syncer -> DM： + + 使用 Mydumper、Loader、Syncer 将 MySQL 数据迁移到 TiDB，迁移过程比较繁琐。DM 提供了一体化的数据迁移方案，提高了易用性，而且 DM 还支持分库分表的合并。 + +- Loader -> TiDB Lightning： + + TiDB Lightning 集成了 Loader 的逻辑导入数据功能，参见 [TiDB Lightning TiDB-backend 文档](/v3.1/reference/tools/tidb-lightning/tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)，由 TiDB Lightning 统一提供全量数据恢复功能。 + +## 数据迁移解决方案 + +针对 TiDB 的 2.1，3.0 以及 3.1 版本，下面给出典型业务场景下的数据迁移方案。 + +### TiDB 2.1 和 3.0 全链路数据迁移方案 + +#### MySQL 数据迁移到 TiDB + +如果 MySQL 数据量在 TB 级别以上，推荐迁移步骤如下： + +1. 使用 Mydumper 导出 MySQL 全量数据 +2. 使用 TiDB Lightning 将 MySQL 全量备份数据导入 TiDB 集群 +3. 使用 DM 同步 MySQL 增量数据到 TiDB + +如果 MySQL 数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB（迁移的过程包括全量导入和增量的同步）。 + +#### TiDB 集群数据的同步 + +使用 TiDB Binlog 将 TiDB 数据同步到下游 TiDB/MySQL。 + +#### TiDB 集群数据的全量备份及恢复 + +推荐步骤： + +1. 使用 Mydumper 进行全量数据的备份 +2. 使用 TiDB Lightning 将全量数据恢复到 TiDB/MySQL + +### TiDB 3.1 全链路数据迁移方案 + +#### MySQL 数据迁移到 TiDB + +如果 MySQL 数据量在 TB 级别以上，推荐迁移步骤如下： + +1. 使用 Mydumper 导出 MySQL 全量数据 +2. 使用 TiDB Lightning 将 MySQL 全量备份数据导入 TiDB 集群 +3. 使用 DM 同步 MySQL 增量数据到 TiDB + +如果 MySQL 数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB（迁移的过程包括全量导入和增量的同步）。 + +#### TiDB 集群数据的同步 + +使用 TiDB-Binlog 将 TiDB 数据同步到下游 TiDB/MySQL。 + +#### TiDB 集群数据的全量备份及恢复 + +- 恢复到 TiDB + + - 使用 BR 进行全量数据的备份 + - 使用 BR 进行全量数据的恢复 + +- 恢复到 MySQL + + - 使用 Mydumper 进行全量数据的备份 + - 使用 TiDB Lightning 进行全量数据的恢复 From 4b47447f25185b81c4f119ac88ed077940972712 Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 12 Feb 2020 11:13:28 +0800 Subject: [PATCH 18/21] update toc and minor fix link --- dev/reference/tools/use-guide.md | 4 ++-- v2.1/TOC.md | 1 + v2.1/reference/tools/use-guide.md | 4 ++-- v3.0/TOC.md | 1 + v3.1/TOC.md | 1 + 5 files changed, 7 insertions(+), 4 deletions(-) diff --git a/dev/reference/tools/use-guide.md b/dev/reference/tools/use-guide.md index a57509586d6f..98580bafd67a 100644 --- a/dev/reference/tools/use-guide.md +++ b/dev/reference/tools/use-guide.md @@ -48,11 +48,11 @@ TiDB 生态工具可以分为几种： #### 备份和恢复工具 BR -[BR](/v3.1/how-to/maintain/backup-and-restore/br/) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 +[BR](/v3.1/how-to/maintain/backup-and-restore/br.md) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 以下是 BR 的一些基本信息： -- [备份输出和恢复输入的文件类型](/v3.1/how-to/maintain/backup-and-restore/br/#备份文件类型)：SST + `backupmeta` 文件 +- [备份输出和恢复输入的文件类型](/v3.1/how-to/maintain/backup-and-restore/br.md#备份文件类型)：SST + `backupmeta` 文件 - 适用 TiDB 版本：v3.1 及 v4.0 - Kubernetes 支持：已支持，文档撰写中 diff --git a/v2.1/TOC.md b/v2.1/TOC.md index 194fad31ec83..6070add00144 100644 --- a/v2.1/TOC.md +++ b/v2.1/TOC.md @@ -260,6 +260,7 @@ - [常见错误修复](/v2.1/reference/tidb-binlog/troubleshoot/error-handling.md) - [FAQ](/v2.1/reference/tidb-binlog/faq.md) + 周边工具 + - [工具使用指南](/v2.1/reference/tools/use-guide.md) - [Mydumper](/v2.1/reference/tools/mydumper.md) - [Loader](/v2.1/reference/tools/loader.md) - [Syncer](/v2.1/reference/tools/syncer.md) diff --git a/v2.1/reference/tools/use-guide.md b/v2.1/reference/tools/use-guide.md index 35e85e141b4f..51a28cb4883e 100644 --- a/v2.1/reference/tools/use-guide.md +++ b/v2.1/reference/tools/use-guide.md @@ -48,11 +48,11 @@ TiDB 生态工具可以分为几种： #### 备份和恢复工具 BR -[BR](/dev/how-to/maintain/backup-and-restore/br/) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 +[BR](/dev/how-to/maintain/backup-and-restore/br.md) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 以下是 BR 的一些基本信息： -- [备份输出和恢复输入的文件类型](/dev/how-to/maintain/backup-and-restore/br/#备份文件类型)：SST + `backupmeta` 文件 +- [备份输出和恢复输入的文件类型](/dev/how-to/maintain/backup-and-restore/br.md#备份文件类型)：SST + `backupmeta` 文件 - 适用 TiDB 版本：v3.1 及 v4.0 - Kubernetes 支持：已支持，文档撰写中 diff --git a/v3.0/TOC.md b/v3.0/TOC.md index 5ce36627f84c..1d9dca094b4d 100644 --- a/v3.0/TOC.md +++ b/v3.0/TOC.md @@ -286,6 +286,7 @@ - [常见错误修复](/v3.0/reference/tidb-binlog/troubleshoot/error-handling.md) - [FAQ](/v3.0/reference/tidb-binlog/faq.md) + 周边工具 + - [工具使用指南](/v3.0/reference/tools/use-guide.md) - [Mydumper](/v3.0/reference/tools/mydumper.md) - [Loader](/v3.0/reference/tools/loader.md) - [Syncer](/v3.0/reference/tools/syncer.md) diff --git a/v3.1/TOC.md b/v3.1/TOC.md index 73fc6f8cccd6..1aad3426f74b 100644 --- a/v3.1/TOC.md +++ b/v3.1/TOC.md @@ -290,6 +290,7 @@ - [常见错误修复](/v3.1/reference/tidb-binlog/troubleshoot/error-handling.md) - [FAQ](/v3.1/reference/tidb-binlog/faq.md) + 周边工具 + - [工具使用指南](/v3.1/reference/tools/use-guide.md) - [Mydumper](/v3.1/reference/tools/mydumper.md) - [Loader](/v3.1/reference/tools/loader.md) - [Syncer](/v3.1/reference/tools/syncer.md) From b68a4dbd421f2d93fd0353ae366e761b9988a430 Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 12 Feb 2020 11:22:30 +0800 Subject: [PATCH 19/21] fix link --- dev/reference/tools/use-guide.md | 4 ++-- v2.1/reference/tools/use-guide.md | 4 ++-- v3.0/reference/tools/use-guide.md | 4 ++-- v3.1/reference/tools/use-guide.md | 4 ++-- 4 files changed, 8 insertions(+), 8 deletions(-) diff --git a/dev/reference/tools/use-guide.md b/dev/reference/tools/use-guide.md index 98580bafd67a..001acb369a7b 100644 --- a/dev/reference/tools/use-guide.md +++ b/dev/reference/tools/use-guide.md @@ -48,11 +48,11 @@ TiDB 生态工具可以分为几种： #### 备份和恢复工具 BR -[BR](/v3.1/how-to/maintain/backup-and-restore/br.md) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 +[BR](https://pingcap.com/docs-cn/v3.1/how-to/maintain/backup-and-restore/br/) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 以下是 BR 的一些基本信息： -- [备份输出和恢复输入的文件类型](/v3.1/how-to/maintain/backup-and-restore/br.md#备份文件类型)：SST + `backupmeta` 文件 +- [备份输出和恢复输入的文件类型](https://pingcap.com/docs-cn/v3.1/how-to/maintain/backup-and-restore/br/#备份文件类型)：SST + `backupmeta` 文件 - 适用 TiDB 版本：v3.1 及 v4.0 - Kubernetes 支持：已支持，文档撰写中 diff --git a/v2.1/reference/tools/use-guide.md b/v2.1/reference/tools/use-guide.md index 51a28cb4883e..b30dd5c5e579 100644 --- a/v2.1/reference/tools/use-guide.md +++ b/v2.1/reference/tools/use-guide.md @@ -48,11 +48,11 @@ TiDB 生态工具可以分为几种： #### 备份和恢复工具 BR -[BR](/dev/how-to/maintain/backup-and-restore/br.md) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 +[BR](https://pingcap.com/docs-cn/dev/how-to/maintain/backup-and-restore/br/) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 以下是 BR 的一些基本信息： -- [备份输出和恢复输入的文件类型](/dev/how-to/maintain/backup-and-restore/br.md#备份文件类型)：SST + `backupmeta` 文件 +- [备份输出和恢复输入的文件类型](https://pingcap.com/docs-cn/dev/how-to/maintain/backup-and-restore/br/#备份文件类型)：SST + `backupmeta` 文件 - 适用 TiDB 版本：v3.1 及 v4.0 - Kubernetes 支持：已支持，文档撰写中 diff --git a/v3.0/reference/tools/use-guide.md b/v3.0/reference/tools/use-guide.md index 332480dbe648..25ee38f5aed2 100644 --- a/v3.0/reference/tools/use-guide.md +++ b/v3.0/reference/tools/use-guide.md @@ -48,11 +48,11 @@ TiDB 生态工具可以分为几种： #### 备份和恢复工具 BR -[BR](/dev/how-to/maintain/backup-and-restore/br.md) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 +[BR](https://pingcap.com/docs-cn/dev/how-to/maintain/backup-and-restore/br/) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 以下是 BR 的一些基本信息： -- [备份输出和恢复输入的文件类型](/dev/how-to/maintain/backup-and-restore/br.md#备份文件类型)：SST + `backupmeta` 文件 +- [备份输出和恢复输入的文件类型](https://pingcap.com/docs-cn/dev/how-to/maintain/backup-and-restore/br/#备份文件类型)：SST + `backupmeta` 文件 - 适用 TiDB 版本：v3.1 及 v4.0 - Kubernetes 支持：已支持，文档撰写中 diff --git a/v3.1/reference/tools/use-guide.md b/v3.1/reference/tools/use-guide.md index 4bba587e4f45..2f5674d916b1 100644 --- a/v3.1/reference/tools/use-guide.md +++ b/v3.1/reference/tools/use-guide.md @@ -48,11 +48,11 @@ TiDB 生态工具可以分为几种： #### 备份和恢复工具 BR -[BR](/v3.1/how-to/maintain/backup-and-restore/br.md) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 +[BR](https://pingcap.com/docs-cn/v3.1/how-to/maintain/backup-and-restore/br/) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 以下是 BR 的一些基本信息： -- [备份输出和恢复输入的文件类型](/v3.1/how-to/maintain/backup-and-restore/br.md#备份文件类型)：SST + `backupmeta` 文件 +- [备份输出和恢复输入的文件类型](https://pingcap.com/docs-cn/v3.1/how-to/maintain/backup-and-restore/br/#备份文件类型)：SST + `backupmeta` 文件 - 适用 TiDB 版本：v3.1 及 v4.0 - Kubernetes 支持：已支持，文档撰写中 From 401164080208709afb55efd9dd017d34eb9072ff Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 12 Feb 2020 11:34:34 +0800 Subject: [PATCH 20/21] fix link --- v2.1/reference/tools/use-guide.md | 14 +++++++------- 1 file changed, 7 insertions(+), 7 deletions(-) diff --git a/v2.1/reference/tools/use-guide.md b/v2.1/reference/tools/use-guide.md index b30dd5c5e579..b1295ff59046 100644 --- a/v2.1/reference/tools/use-guide.md +++ b/v2.1/reference/tools/use-guide.md @@ -20,14 +20,14 @@ TiDB 生态工具可以分为几种： #### 全量导入工具 Loader（停止维护，不推荐使用） -[Loader](/v2.1/reference/tools/loader.md) 是一款轻量级的全量数据导入工具，数据以 SQL 的形式导入到 TiDB 中。目前这个工具正在逐步被 [TiDB Lightning](#全量导入工具-tidb-lightning) 替换掉，参见 [TiDB Lightning TiDB-backend 文档](/dev/reference/tools/tidb-lightning/tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)。 +[Loader](/v2.1/reference/tools/loader.md) 是一款轻量级的全量数据导入工具，数据以 SQL 的形式导入到 TiDB 中。目前这个工具正在逐步被 [TiDB Lightning](#全量导入工具-tidb-lightning) 替换掉，参见 [TiDB Lightning TiDB-backend 文档](https://pingcap.com/docs-cn/dev/reference/tools/tidb-lightning/tidb-backend/#从-loader-迁移到-tidb-lightning-tidb-backend)。 以下是 Loader 的一些基本信息： - Loader 的输入：Mydumper 输出的文件 - Loader 的输出：以 SQL 形式写入 TiDB - 适用 TiDB 版本：所有版本 -- Kubernetes 支持：[备份与恢复](/dev/tidb-in-kubernetes/maintain/backup-and-restore.md) +- Kubernetes 支持：[备份与恢复](https://pingcap.com/docs-cn/dev/tidb-in-kubernetes/maintain/backup-and-restore/) #### 全量导入工具 TiDB Lightning @@ -44,7 +44,7 @@ TiDB 生态工具可以分为几种： - Mydumper 输出文件 - CSV 格式文件 - 适用 TiDB 版本：v2.1 及以上 -- Kubernetes 支持：[使用 TiDB Lightning 快速恢复 Kubernetes 上的 TiDB 集群数据](/dev/tidb-in-kubernetes/maintain/lightning.md) +- Kubernetes 支持：[使用 TiDB Lightning 快速恢复 Kubernetes 上的 TiDB 集群数据](https://pingcap.com/docs-cn/dev/tidb-in-kubernetes/maintain/lightning/) #### 备份和恢复工具 BR @@ -89,7 +89,7 @@ TiDB 生态工具可以分为几种： - Mydumper 的输入：MySQL/TiDB 集群 - Mydumper 的输出：SQL 文件 - 适用 TiDB 版本：所有版本 -- Kubernetes 支持：[备份与恢复](/dev/tidb-in-kubernetes/maintain/backup-and-restore.md) +- Kubernetes 支持：[备份与恢复](https://pingcap.com/docs-cn/dev/tidb-in-kubernetes/maintain/backup-and-restore/) #### 增量导出工具 TiDB Binlog @@ -100,7 +100,7 @@ TiDB 生态工具可以分为几种： - TiDB Binlog 的输入：TiDB 集群 - TiDB Binlog 的输出：MySQL、TiDB、Kafka 或者增量备份文件 - 适用 TiDB 版本：v2.1 及以上 -- Kubernetes 支持：[TiDB Binlog 运维文档](/dev/tidb-in-kubernetes/maintain/tidb-binlog.md)，[Kubernetes 上的 TiDB Binlog Drainer 配置](/dev/tidb-in-kubernetes/reference/configuration/tidb-drainer.md) +- Kubernetes 支持：[TiDB Binlog 运维文档](https://pingcap.com/docs-cn/dev/tidb-in-kubernetes/maintain/tidb-binlog)，[Kubernetes 上的 TiDB Binlog Drainer 配置](https://pingcap.com/docs-cn/dev/tidb-in-kubernetes/reference/configuration/tidb-drainer) ## 工具演进路线 @@ -114,7 +114,7 @@ Mydumper 和 Loader 都是在逻辑层面进行备份和恢复，效率较低； Loader -> TiDB Lightning： -Loader 使用 SQL 的方式进行全量数据恢复，效率较低。TiDB Lightning 将数据直接导入 TiKV，大大提升了全量数据恢复的效率，适合将大量数据（TB 级别以上数据）快速导入到一个全新的 TiDB 集群中；且 TiDB Lightning 集成了 Loader 的逻辑导入数据功能，参见 [TiDB Lightning TiDB-backend 文档](/dev/reference/tools/tidb-lightning/tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)，支持在线导入数据。 +Loader 使用 SQL 的方式进行全量数据恢复，效率较低。TiDB Lightning 将数据直接导入 TiKV，大大提升了全量数据恢复的效率，适合将大量数据（TB 级别以上数据）快速导入到一个全新的 TiDB 集群中；且 TiDB Lightning 集成了 Loader 的逻辑导入数据功能，参见 [TiDB Lightning TiDB-backend 文档](https://pingcap.com/docs-cn/dev/reference/tools/tidb-lightning/tidb-backend/#从-loader-迁移到-tidb-lightning-tidb-backend)，支持在线导入数据。 ### MySQL 数据迁移 @@ -124,7 +124,7 @@ Loader 使用 SQL 的方式进行全量数据恢复，效率较低。TiDB Lightn - Loader -> TiDB Lightning： - TiDB Lightning 集成了 Loader 的逻辑导入数据功能，参见 [TiDB Lightning TiDB-backend 文档](/dev/reference/tools/tidb-lightning/tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)，由 TiDB Lightning 统一提供全量数据恢复功能。 + TiDB Lightning 集成了 Loader 的逻辑导入数据功能，参见 [TiDB Lightning TiDB-backend 文档](https://pingcap.com/docs-cn/dev/reference/tools/tidb-lightning/tidb-backend/#从-loader-迁移到-tidb-lightning-tidb-backend)，由 TiDB Lightning 统一提供全量数据恢复功能。 ## 数据迁移解决方案 From fc9519e7f547799089941cfcfcf2b1e73e06a8b3 Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 12 Feb 2020 12:07:38 +0800 Subject: [PATCH 21/21] Apply suggestions from code review Co-Authored-By: Keke Yi <40977455+yikeke@users.noreply.github.com> --- dev/reference/tools/use-guide.md | 4 ++-- v3.1/reference/tools/use-guide.md | 4 ++-- 2 files changed, 4 insertions(+), 4 deletions(-) diff --git a/dev/reference/tools/use-guide.md b/dev/reference/tools/use-guide.md index 001acb369a7b..746a2af751dc 100644 --- a/dev/reference/tools/use-guide.md +++ b/dev/reference/tools/use-guide.md @@ -48,11 +48,11 @@ TiDB 生态工具可以分为几种： #### 备份和恢复工具 BR -[BR](https://pingcap.com/docs-cn/v3.1/how-to/maintain/backup-and-restore/br/) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 +[BR](/dev/how-to/maintain/backup-and-restore/br.md) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 以下是 BR 的一些基本信息： -- [备份输出和恢复输入的文件类型](https://pingcap.com/docs-cn/v3.1/how-to/maintain/backup-and-restore/br/#备份文件类型)：SST + `backupmeta` 文件 +- [备份输出和恢复输入的文件类型](/dev/how-to/maintain/backup-and-restore/br.md#备份文件类型)：SST + `backupmeta` 文件 - 适用 TiDB 版本：v3.1 及 v4.0 - Kubernetes 支持：已支持，文档撰写中 diff --git a/v3.1/reference/tools/use-guide.md b/v3.1/reference/tools/use-guide.md index 2f5674d916b1..4bba587e4f45 100644 --- a/v3.1/reference/tools/use-guide.md +++ b/v3.1/reference/tools/use-guide.md @@ -48,11 +48,11 @@ TiDB 生态工具可以分为几种： #### 备份和恢复工具 BR -[BR](https://pingcap.com/docs-cn/v3.1/how-to/maintain/backup-and-restore/br/) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 +[BR](/v3.1/how-to/maintain/backup-and-restore/br.md) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 以下是 BR 的一些基本信息： -- [备份输出和恢复输入的文件类型](https://pingcap.com/docs-cn/v3.1/how-to/maintain/backup-and-restore/br/#备份文件类型)：SST + `backupmeta` 文件 +- [备份输出和恢复输入的文件类型](/v3.1/how-to/maintain/backup-and-restore/br.md#备份文件类型)：SST + `backupmeta` 文件 - 适用 TiDB 版本：v3.1 及 v4.0 - Kubernetes 支持：已支持，文档撰写中