From 867053c98a3a8fe86fa31d14c5ea61d81b00181e Mon Sep 17 00:00:00 2001 From: Neil Shen Date: Mon, 3 Apr 2023 14:39:25 +0800 Subject: [PATCH 1/7] ticdc: update scale out config Signed-off-by: Neil Shen --- ticdc/ticdc-changefeed-config.md | 5 ++++- ticdc/ticdc-sink-to-kafka.md | 3 +++ 2 files changed, 7 insertions(+), 1 deletion(-) diff --git a/ticdc/ticdc-changefeed-config.md b/ticdc/ticdc-changefeed-config.md index f53d63738448..bd31eaea4118 100644 --- a/ticdc/ticdc-changefeed-config.md +++ b/ticdc/ticdc-changefeed-config.md @@ -94,8 +94,11 @@ ignore-insert-value-expr = "price > 1000 and origin = 'no where'" # 忽略包含 # 注意：该功能只在 Kafka changefeed 上生效，暂不支持 MySQL changefeed。 # 默认为 "false"。设置为 "true" 以打开该功能。 enable-table-across-nodes = false -# 打开该功能后，该功能只对 Region 个数大于 `region-threshold` 值的表生效。 +# 打开该功能后，该功能会对 Region 个数大于 `region-threshold` 值的表生效。 region-threshold = 100000 +# 打开该功能后，该功能会对每分钟修改行数大于 `write-key-threshold` 值的表生效。 +# 注意：该参数默认值为 0，代表该功能默认不会按修改行数来划分表。 +write-key-threshold = 0 [sink] # 对于 MQ 类的 Sink，可以通过 dispatchers 配置 event 分发器 diff --git a/ticdc/ticdc-sink-to-kafka.md b/ticdc/ticdc-sink-to-kafka.md index a2676ed5e654..765965ad4b94 100644 --- a/ticdc/ticdc-sink-to-kafka.md +++ b/ticdc/ticdc-sink-to-kafka.md @@ -254,6 +254,9 @@ partition 分发器用 partition = "xxx" 来指定，支持 default、ts、index enable-table-across-nodes = true # 打开该功能后，该功能只对 Region 个数大于 `region-threshold` 值的表生效。 region-threshold = 100000 +# 打开该功能后，该功能会对每分钟修改行数大于 `write-key-threshold` 值的表生效。 +# 注意：该参数默认值为 0，代表该功能默认不会按修改行数来划分表。 +write-key-threshold = 0 ``` 一个表包含的 Region 个数可用如下 SQL 查询： From bbe162b20574514dc3cf0eec4907697c68a244d0 Mon Sep 17 00:00:00 2001 From: Neil Shen Date: Mon, 3 Apr 2023 14:44:12 +0800 Subject: [PATCH 2/7] update description Signed-off-by: Neil Shen --- ticdc/ticdc-sink-to-kafka.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ticdc/ticdc-sink-to-kafka.md b/ticdc/ticdc-sink-to-kafka.md index 765965ad4b94..e9094f955773 100644 --- a/ticdc/ticdc-sink-to-kafka.md +++ b/ticdc/ticdc-sink-to-kafka.md @@ -237,7 +237,7 @@ partition 分发器用 partition = "xxx" 来指定，支持 default、ts、index ## 横向扩展大单表的负载到多个 TiCDC 节点 -该功能通过将大单表按 Region 个数切分成多个数据范围，将这些数据范围分布到多个 TiCDC 节点上，使得多个 TiCDC 节点可以同时同步大单表。该功能可以解决以下两个问题： +该功能通过将大单表按数据量和每分钟修改行数切分成多个数据范围，使得数据范围之间的数据量和每分钟修改行数基本相同。该功能将这些数据范围分布到多个 TiCDC 节点上，使得多个 TiCDC 节点可以同时同步大单表。该功能可以解决以下两个问题： - 单个 TiCDC 节点不能及时同步大单表。 - TiCDC 节点之间资源（CPU、内存等）消耗不均匀。 From b5eaa2e36f2351bb293e8bd9e810823d47322a9b Mon Sep 17 00:00:00 2001 From: Neil Shen Date: Tue, 18 Apr 2023 17:44:20 +0800 Subject: [PATCH 3/7] Update ticdc-sink-to-kafka.md --- ticdc/ticdc-sink-to-kafka.md | 9 +++++++-- 1 file changed, 7 insertions(+), 2 deletions(-) diff --git a/ticdc/ticdc-sink-to-kafka.md b/ticdc/ticdc-sink-to-kafka.md index e9094f955773..be9290fb93e1 100644 --- a/ticdc/ticdc-sink-to-kafka.md +++ b/ticdc/ticdc-sink-to-kafka.md @@ -250,12 +250,17 @@ partition 分发器用 partition = "xxx" 来指定，支持 default、ts、index ```toml [scheduler] -# 设置为 "true" 以打开该功能。 +# 默认值为 "false"，设置为 "true" 以打开该功能。 enable-table-across-nodes = true # 打开该功能后，该功能只对 Region 个数大于 `region-threshold` 值的表生效。 region-threshold = 100000 # 打开该功能后，该功能会对每分钟修改行数大于 `write-key-threshold` 值的表生效。 -# 注意：该参数默认值为 0，代表该功能默认不会按修改行数来划分表。 +# 注意： +# * 该参数默认值为 0，代表该功能默认不会按修改行数来划分表。 +# * 用户可以根据集群负载来配置该参数，如 30000，代表该功能将分裂每分钟更新行数超过 30000 行的表。 +# * 当 `region-threshold` 和 `write-key-threshold` 同时配置时， +# 该功能将优先检查修改行数是否大于 `write-key-threshold`， +# 如果不超过，则再检查 Region 个数是否大于 `region-threshold`。 write-key-threshold = 0 ``` From e5b360841781f6a5415c537a98dcce50b88a8778 Mon Sep 17 00:00:00 2001 From: Neil Shen Date: Tue, 18 Apr 2023 17:50:31 +0800 Subject: [PATCH 4/7] Update ticdc/ticdc-sink-to-kafka.md --- ticdc/ticdc-sink-to-kafka.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ticdc/ticdc-sink-to-kafka.md b/ticdc/ticdc-sink-to-kafka.md index be9290fb93e1..e4343b95a7c8 100644 --- a/ticdc/ticdc-sink-to-kafka.md +++ b/ticdc/ticdc-sink-to-kafka.md @@ -261,7 +261,7 @@ region-threshold = 100000 # * 当 `region-threshold` 和 `write-key-threshold` 同时配置时， # 该功能将优先检查修改行数是否大于 `write-key-threshold`， # 如果不超过，则再检查 Region 个数是否大于 `region-threshold`。 -write-key-threshold = 0 +write-key-threshold = 30000 ``` 一个表包含的 Region 个数可用如下 SQL 查询： From 85d0a3c10e8c20e509496ac75cb0e93713ba4fb0 Mon Sep 17 00:00:00 2001 From: Neil Shen Date: Tue, 18 Apr 2023 17:51:07 +0800 Subject: [PATCH 5/7] Update ticdc/ticdc-changefeed-config.md --- ticdc/ticdc-changefeed-config.md | 7 ++++++- 1 file changed, 6 insertions(+), 1 deletion(-) diff --git a/ticdc/ticdc-changefeed-config.md b/ticdc/ticdc-changefeed-config.md index bd31eaea4118..640db367277f 100644 --- a/ticdc/ticdc-changefeed-config.md +++ b/ticdc/ticdc-changefeed-config.md @@ -97,7 +97,12 @@ enable-table-across-nodes = false # 打开该功能后，该功能会对 Region 个数大于 `region-threshold` 值的表生效。 region-threshold = 100000 # 打开该功能后，该功能会对每分钟修改行数大于 `write-key-threshold` 值的表生效。 -# 注意：该参数默认值为 0，代表该功能默认不会按修改行数来划分表。 +# 注意： +# * 该参数默认值为 0，代表该功能默认不会按修改行数来划分表。 +# * 用户可以根据集群负载来配置该参数，如 30000，代表该功能将分裂每分钟更新行数超过 30000 行的表。 +# * 当 `region-threshold` 和 `write-key-threshold` 同时配置时， +# 该功能将优先检查修改行数是否大于 `write-key-threshold`， +# 如果不超过，则再检查 Region 个数是否大于 `region-threshold`。 write-key-threshold = 0 [sink] From 05c46f48f7a3eca2d63afe6063aac890fef80763 Mon Sep 17 00:00:00 2001 From: Neil Shen Date: Tue, 9 May 2023 17:49:05 +0800 Subject: [PATCH 6/7] Apply suggestions from code review Co-authored-by: Grace Cai --- ticdc/ticdc-changefeed-config.md | 6 +++--- ticdc/ticdc-sink-to-kafka.md | 8 ++++---- 2 files changed, 7 insertions(+), 7 deletions(-) diff --git a/ticdc/ticdc-changefeed-config.md b/ticdc/ticdc-changefeed-config.md index 640db367277f..61eaa9aec1ab 100644 --- a/ticdc/ticdc-changefeed-config.md +++ b/ticdc/ticdc-changefeed-config.md @@ -98,10 +98,10 @@ enable-table-across-nodes = false region-threshold = 100000 # 打开该功能后，该功能会对每分钟修改行数大于 `write-key-threshold` 值的表生效。 # 注意： -# * 该参数默认值为 0，代表该功能默认不会按修改行数来划分表。 -# * 用户可以根据集群负载来配置该参数，如 30000，代表该功能将分裂每分钟更新行数超过 30000 行的表。 +# * 该参数默认值为 0，代表该功能默认不会按表的修改行数来切分表的同步范围。 +# * 你可以根据集群负载来配置该参数，如 30000，代表当表每分钟的更新行数超过 30000 时，该功能将会切分表的同步范围。 # * 当 `region-threshold` 和 `write-key-threshold` 同时配置时， -# 该功能将优先检查修改行数是否大于 `write-key-threshold`， +# TiCDC 将优先检查修改行数是否大于 `write-key-threshold`， # 如果不超过，则再检查 Region 个数是否大于 `region-threshold`。 write-key-threshold = 0 diff --git a/ticdc/ticdc-sink-to-kafka.md b/ticdc/ticdc-sink-to-kafka.md index e4343b95a7c8..02a00c195896 100644 --- a/ticdc/ticdc-sink-to-kafka.md +++ b/ticdc/ticdc-sink-to-kafka.md @@ -237,7 +237,7 @@ partition 分发器用 partition = "xxx" 来指定，支持 default、ts、index ## 横向扩展大单表的负载到多个 TiCDC 节点 -该功能通过将大单表按数据量和每分钟修改行数切分成多个数据范围，使得数据范围之间的数据量和每分钟修改行数基本相同。该功能将这些数据范围分布到多个 TiCDC 节点上，使得多个 TiCDC 节点可以同时同步大单表。该功能可以解决以下两个问题： +该功能可以按照大单表的数据量和每分钟的修改行数将表的同步范围切分为多个，并使各个范围之间所同步的数据量和修改行数基本相同。该功能将这些范围分布到多个 TiCDC 节点进行同步，使得多个 TiCDC 节点可以同时同步大单表。该功能可以解决以下两个问题： - 单个 TiCDC 节点不能及时同步大单表。 - TiCDC 节点之间资源（CPU、内存等）消耗不均匀。 @@ -256,10 +256,10 @@ enable-table-across-nodes = true region-threshold = 100000 # 打开该功能后，该功能会对每分钟修改行数大于 `write-key-threshold` 值的表生效。 # 注意： -# * 该参数默认值为 0，代表该功能默认不会按修改行数来划分表。 -# * 用户可以根据集群负载来配置该参数，如 30000，代表该功能将分裂每分钟更新行数超过 30000 行的表。 +# * 该参数默认值为 0，代表该功能默认不会按表的修改行数来切分表的同步范围。 +# * 你可以根据集群负载来配置该参数，如 30000，代表当表每分钟的更新行数超过 30000 时，该功能将会切分表的同步范围。 # * 当 `region-threshold` 和 `write-key-threshold` 同时配置时， -# 该功能将优先检查修改行数是否大于 `write-key-threshold`， +# TiCDC 将优先检查修改行数是否大于 `write-key-threshold`， # 如果不超过，则再检查 Region 个数是否大于 `region-threshold`。 write-key-threshold = 30000 ``` From 4abe768735cb4048351a09cfed54a6b2eae3185f Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Thu, 11 May 2023 13:27:44 +0800 Subject: [PATCH 7/7] wording updates --- ticdc/ticdc-changefeed-config.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ticdc/ticdc-changefeed-config.md b/ticdc/ticdc-changefeed-config.md index 61eaa9aec1ab..45c4c4c050e9 100644 --- a/ticdc/ticdc-changefeed-config.md +++ b/ticdc/ticdc-changefeed-config.md @@ -98,7 +98,7 @@ enable-table-across-nodes = false region-threshold = 100000 # 打开该功能后，该功能会对每分钟修改行数大于 `write-key-threshold` 值的表生效。 # 注意： -# * 该参数默认值为 0，代表该功能默认不会按表的修改行数来切分表的同步范围。 +# * `write-key-threshold` 参数默认值为 0，代表该功能默认不会按表的修改行数来切分表的同步范围。 # * 你可以根据集群负载来配置该参数，如 30000，代表当表每分钟的更新行数超过 30000 时，该功能将会切分表的同步范围。 # * 当 `region-threshold` 和 `write-key-threshold` 同时配置时， # TiCDC 将优先检查修改行数是否大于 `write-key-threshold`，