*: add mydumper #923

CaitinChen · 2018-10-12T05:42:01Z

via pingcap/docs#644
@lilin90 @kennytm PTAL. Thanks!

kennytm · 2018-10-12T11:40:05Z

FAQ.md

@@ -656,7 +656,7 @@ TiDB 设计的目标就是针对 MySQL 单台容量限制而被迫做的分库

 #### 3.6.1 TiDB 主要备份方式？

-目前 TiDB 主要依赖 mydumper 逻辑导出进行备份，具体可以参考 [https://github.com/maxbube/mydumper](https://github.com/maxbube/mydumper)，虽然 TiDB 也支持使用 MySQL 官方的 mysqldump 工具来进行数据的备份恢复工作，但相比于 mydumper/loader，性能会慢很多，大量数据的备份恢复会花费很多时间，这里我们并不推荐。
+目前，推荐的备份方式是使用 [PingCAP fork of mydumper](tools/mydumper.md)。尽管 TiDB 也支持使用 MySQL 官方工具 `mysqldump` 进行数据备份、恢复，但其性能低于 [`mydumper`](tools/mydumper.md)/[`loader`](tools/loader.md)，并且该工具备份、恢复大量数量时，要耗费更多时间。


"PingCAP fork of mydumper" can also be translated to Chinese 「PingCAP 的 mydumper 分支」。

kennytm · 2018-10-12T11:42:56Z

FAQ.md


-具体可以参考 [https://github.com/maxbube/mydumper](https://github.com/maxbube/mydumper)。
+参见 [mydumper Instructions](tools/mydumper.md)。


"Instructions" → "使用文档"

kennytm · 2018-10-12T11:43:06Z

FAQ.md


+参见 [Loader Instructions](tools/loader.md)。


"Instructions" → "使用文档"

kennytm · 2018-10-12T11:46:29Z

op-guide/backup-restore.md


-> **注意**：虽然 TiDB 也支持使用 MySQL 官方的 `mysqldump` 工具来进行数据的备份恢复工作，但相比于 `mydumper` / `loader`，性能会慢很多，大量数据的备份恢复会花费很多时间，这里我们并不推荐。
+> **注意**：必须使用 Enterprise Tools package 的 `mydumper`，不要使用你的操作系统的 package manager 提供的 `mydumper`。`mydumper` 的上游版本并不能正确对 TiDB 进行处理 ([#155](https://github.com/maxbube/mydumper/pull/155))。由于使用 `mydumper` 进行数据备份和恢复都要耗费许多时间，这里也并不推荐。


"package" → 包
"package manager" → (软件)包管理工具

"Enterprise Tools" seems to be named as "企业版工具集" here (from what I've read from the Syncer docs).

由于使用 mydumper 进行数据备份和恢复都要耗费许多时间，这里也并不推荐。

"mydumper" should be mysqldump 🙃

tools/mydumper.md

kennytm · 2018-10-12T11:52:10Z

tools/mydumper.md

+
+ `INSERT` 语句中包含隐藏的 `_tidb_rowid` 列
+
+ 允许 `tidb_snapshot` 为 [configurable](../op-guide/history-read.md#how-tidb-reads-data-from-history-versions) （即备份之前的数据）


configurable = "可设置的", so I'd translate it as:

+ [允许设置](......) `tidb_snapshot` 的值 (即是可备份不同时间点的数据)

BTW the anchor #how-tidb-reads-data-from-history-versions probably needs to be updated to match the Chinese title.

kennytm · 2018-10-12T11:52:46Z

tools/mydumper.md

+```
+  -z, --tidb-snapshot: Set the tidb_snapshot to be used for the backup.
+                       Default: NOW()-INTERVAL 1 SECOND.
+                       Accepts either a TSO or valid datetime.  For example: -z "2016-10-08 16:45:26"


This also needs to be translated as well I believe.

kennytm · 2018-10-12T11:55:19Z

tools/mydumper.md

+
+PingCAP 的 mydumper 源码 [位于 GitHub](https://github.com/pingcap/mydumper)。
+
+### 是否计划未来让 PingCAP 的 mydumper 对上游的 mydumper 生效？


I think it would be more natural to write this like

未来是否计划让 PingCAP 对 mydumper 的改动合并到上游？

CaitinChen · 2018-10-16T09:35:44Z

@kennytm Thanks a lot for your sharp eyes! PTAL again.
@lilin90 PTAL

lilin90 · 2018-10-17T07:53:37Z

op-guide/backup-restore.md


-> **注意**：虽然 TiDB 也支持使用 MySQL 官方的 `mysqldump` 工具来进行数据的备份恢复工作，但相比于 `mydumper` / `loader`，性能会慢很多，大量数据的备份恢复会花费很多时间，这里我们并不推荐。
+> **注意**：必须使用企业版工具集包 的 `mydumper`，不要使用你的操作系统的包管理工具提供的 `mydumper`。`mydumper` 的上游版本并不能正确对 TiDB 进行处理 ([#155](https://github.com/maxbube/mydumper/pull/155))。由于使用 `mysqldump` 进行数据备份和恢复都要耗费许多时间，这里也并不推荐。


Delete the extra space after "工具集包".

It seems that "并不能对 TiDB 进行正确处理" sounds better.

lilin90 · 2018-10-17T07:57:17Z

tools/mydumper.md

+
+### 新添参数
+
+```


Add bash for the code block.

lilin90 · 2018-10-17T07:57:30Z

tools/mydumper.md

+
+命令行参数：
+
+```


lilin90 · 2018-10-17T08:09:01Z

tools/mydumper.md

+
+### 未来是否计划让 PingCAP 对 mydumper 的改动合并到上游？
+
+是的，PingCAP 团队计划让此 mydumper 对上游的 mydumper 生效。参见 [PR #155](https://github.com/maxbube/mydumper/pull/155).


让此 mydumper 对上游的 mydumper 生效 -> 将对 mydumper 的改动合并到上游

lilin90 · 2018-10-17T08:09:53Z

tools/mydumper.md

+## 相比于普通的 mydumper，此工具有哪些改进之处?
+
+ 使用 `tidb_snapshot` 而非 `FLUSH TABLES WITH READ LOCK` 提供备份一致性 
+


For such a list without sublist or detailed explanation, the blank line between each item is unnecessary. You can just remove it.

CaitinChen · 2018-10-18T07:38:18Z

@lilin90 Thanks. PTAL again.

lilin90

LGTM

CaitinChen · 2018-10-22T03:55:34Z

@lilin90 Thanks.
@kennytm PTAL again.

kennytm

Rest LGTM.

kennytm · 2018-10-25T15:23:16Z

tools/mydumper.md

+
+```bash
+  -z, --tidb-snapshot: 设置 tidb_snapshot 用于备份
+                       默认值：NOW()-INTERVAL 1 SECOND


The default value has been recently changed to the output of SHOW MASTER STATUS 🙂

I've created pingcap/docs#693 to handle the defaults change.

*: add mydumper

bb0caa5

kennytm self-assigned this Oct 12, 2018

kennytm reviewed Oct 12, 2018

View reviewed changes

kennytm removed their assignment Oct 12, 2018

CaitinChen added 4 commits October 16, 2018 15:25

address comments

0d6c003

update wording

1b0f263

Address comments

27bbb53

Address a comment

4b831f9

lilin90 reviewed Oct 17, 2018

View reviewed changes

CaitinChen added 3 commits October 18, 2018 15:35

Update wording

126c131

Update wording

5f58fca

Remove blank lines

700d8f8

Merge branch 'master' into add-mydumper

256e517

lilin90 approved these changes Oct 19, 2018

View reviewed changes

tools: update period

9a5f44c

Merge branch 'master' into add-mydumper

dba1241

kennytm approved these changes Oct 25, 2018

View reviewed changes

lilin90 merged commit 00387c4 into pingcap:master Oct 29, 2018

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

*: add mydumper #923

*: add mydumper #923

CaitinChen commented Oct 12, 2018

kennytm Oct 12, 2018

kennytm Oct 12, 2018

kennytm Oct 12, 2018

kennytm Oct 12, 2018

kennytm Oct 12, 2018

kennytm Oct 12, 2018

kennytm Oct 12, 2018

CaitinChen commented Oct 16, 2018 •

edited

Loading

lilin90 Oct 17, 2018

lilin90 Oct 17, 2018

lilin90 Oct 17, 2018

lilin90 Oct 17, 2018

lilin90 Oct 17, 2018

CaitinChen commented Oct 18, 2018

lilin90 left a comment

CaitinChen commented Oct 22, 2018

kennytm left a comment

kennytm Oct 25, 2018

morgo Oct 28, 2018


		具体可以参考 [https://github.com/maxbube/mydumper](https://github.com/maxbube/mydumper)。
		参见 [mydumper Instructions](tools/mydumper.md)。


		> 注意：虽然 TiDB 也支持使用 MySQL 官方的 `mysqldump` 工具来进行数据的备份恢复工作，但相比于 `mydumper` / `loader`，性能会慢很多，大量数据的备份恢复会花费很多时间，这里我们并不推荐。
		> 注意：必须使用 Enterprise Tools package 的 `mydumper`，不要使用你的操作系统的 package manager 提供的 `mydumper`。`mydumper` 的上游版本并不能正确对 TiDB 进行处理 ([#155](https://github.com/maxbube/mydumper/pull/155))。由于使用 `mydumper` 进行数据备份和恢复都要耗费许多时间，这里也并不推荐。


		+ `INSERT` 语句中包含隐藏的 `_tidb_rowid` 列

		+ 允许 `tidb_snapshot` 为 [configurable](../op-guide/history-read.md#how-tidb-reads-data-from-history-versions) （即备份之前的数据）


		PingCAP 的 mydumper 源码 [位于 GitHub](https://github.com/pingcap/mydumper)。

		### 是否计划未来让 PingCAP 的 mydumper 对上游的 mydumper 生效？


		> 注意：虽然 TiDB 也支持使用 MySQL 官方的 `mysqldump` 工具来进行数据的备份恢复工作，但相比于 `mydumper` / `loader`，性能会慢很多，大量数据的备份恢复会花费很多时间，这里我们并不推荐。
		> 注意：必须使用企业版工具集包的 `mydumper`，不要使用你的操作系统的包管理工具提供的 `mydumper`。`mydumper` 的上游版本并不能正确对 TiDB 进行处理 ([#155](https://github.com/maxbube/mydumper/pull/155))。由于使用 `mysqldump` 进行数据备份和恢复都要耗费许多时间，这里也并不推荐。


		### 未来是否计划让 PingCAP 对 mydumper 的改动合并到上游？

		是的，PingCAP 团队计划让此 mydumper 对上游的 mydumper 生效。参见 [PR #155](https://github.com/maxbube/mydumper/pull/155).

		## 相比于普通的 mydumper，此工具有哪些改进之处?

		+ 使用 `tidb_snapshot` 而非 `FLUSH TABLES WITH READ LOCK` 提供备份一致性


		命令行参数：

		```

*: add mydumper #923

*: add mydumper #923

Conversation

CaitinChen commented Oct 12, 2018

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

CaitinChen commented Oct 16, 2018 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

CaitinChen commented Oct 18, 2018

lilin90 left a comment

Choose a reason for hiding this comment

CaitinChen commented Oct 22, 2018

kennytm left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

CaitinChen commented Oct 16, 2018 •

edited

Loading