Skip to content

Commit

Permalink
cherry pick #4626 to release-4.0 (#4780)
Browse files Browse the repository at this point in the history
Signed-off-by: ti-srebot <ti-srebot@pingcap.com>

Co-authored-by: Chunzhu Li <lichunzhu@stu.xjtu.edu.cn>
  • Loading branch information
ti-srebot and lichunzhu authored Nov 2, 2020
1 parent 4a5f814 commit 7d75f9a
Showing 1 changed file with 32 additions and 1 deletion.
33 changes: 32 additions & 1 deletion dumpling-overview.md
Original file line number Diff line number Diff line change
Expand Up @@ -14,7 +14,8 @@ aliases: ['/docs-cn/stable/dumpling-overview/','/docs-cn/v4.0/dumpling-overview/

1. 支持导出多种数据形式,包括 SQL/CSV
2. 支持全新的 [table-filter](https://github.com/pingcap/tidb-tools/blob/master/pkg/table-filter/README.md),筛选数据更加方便
3. 针对 TiDB 进行了更多优化:
3. 支持导出到 Amazon S3 云盘
4. 针对 TiDB 进行了更多优化:
- 支持配置 TiDB 单条 SQL 内存限制
- 针对 TiDB v4.0.0 以上版本支持自动调整 TiDB GC 时间
- 使用 TiDB 的隐藏列 `_tidb_rowid` 优化了单表内数据的并发导出性能
Expand Down Expand Up @@ -80,6 +81,36 @@ dumpling \
>
> 2. 这里需要在要导出的所有表上执行 `select * from <table-name> where id < 100` 语句。如果部分表没有指定的字段,那么导出会失败。
### 导出到 Amazon S3 云盘

Dumpling 在 v4.0.8 版本及更新版本中支持导出到云盘。如果需要将数据备份到 Amazon 的 S3 后端存储,那么需要在 `-o` 参数中指定 S3 的存储路径。

可以参照 [AWS 官方文档 - 如何创建 S3 存储桶](https://docs.aws.amazon.com/zh_cn/AmazonS3/latest/user-guide/create-bucket.html)在指定的 `Region` 区域中创建一个 S3 桶 `Bucket`。如果有需要,还可以参照 [AWS 官方文档 - 创建文件夹](https://docs.aws.amazon.com/zh_cn/AmazonS3/latest/user-guide/create-folder.html) 在 Bucket 中创建一个文件夹 `Folder`

将有权限访问该 S3 后端存储的账号的 `SecretKey``AccessKey` 作为环境变量传入 Dumpling 节点。

{{< copyable "shell-regular" >}}

```shell
export AWS_ACCESS_KEY_ID=${AccessKey}
export AWS_SECRET_ACCESS_KEY=${SecretKey}
```

Dumpling 同时还支持从 `~/.aws/credentials` 读取凭证文件。更多 Dumpling 存储配置可以参考与之一致的 [BR 存储](/br/backup-and-restore-storages.md)

在进行 Dumpling 备份时,显式指定参数 `--s3.region`,即表示 S3 存储所在的区域。

{{< copyable "shell-regular" >}}

```shell
./dumpling \
-u root \
-P 4000 \
-h 127.0.0.1 \
-o "s3://${Bucket}/${Folder}" \
--s3.region "${region}"
```

### 筛选导出的数据

#### 使用 `--where` 选项筛选数据
Expand Down

0 comments on commit 7d75f9a

Please sign in to comment.