Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

cdc: remove maxwell protocol, add simple protocol #18030

Merged
merged 8 commits into from
Jul 29, 2024
Merged
Show file tree
Hide file tree
Changes from 1 commit
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 1 addition & 1 deletion ticdc/ticdc-open-api-v2.md
Original file line number Diff line number Diff line change
Expand Up @@ -308,7 +308,7 @@ curl -X GET http://127.0.0.1:8300/api/v2/health
| `date_separator` | `STRING` 类型,文件路径的日期分隔类型。可选类型有 `none`、`year`、`month` 和 `day`。默认值为 `none`,即不使用日期分隔。(非必选) |
| `dispatchers` | 事件分发配置数组。(非必选) |
| `encoder_concurrency` | `INT` 类型。MQ sink 中编码器的线程数。默认值为 `16`。(非必选) |
| `protocol` | `STRING` 类型,对于 MQ 类的 Sink,可以指定消息的协议格式。目前支持以下协议:`canal-json`、`open-protocol`、`avro` 和 `maxwell`。 |
| `protocol` | `STRING` 类型,对于 MQ 类的 Sink,可以指定消息的协议格式。目前支持以下协议:`canal-json`、`open-protocol`、`avro` 和 `simple`。 |
| `schema_registry` | `STRING` 类型,schema registry 地址。(非必选) |
| `terminator` | `STRING` 类型,换行符,用来分隔两个数据变更事件。默认值为空,表示使用 `"\r\n"` 作为换行符。(非必选) |
| `transaction_atomicity` | `STRING` 类型,事务一致性等级。(非必选) |
Expand Down
2 changes: 1 addition & 1 deletion ticdc/ticdc-open-api.md
Original file line number Diff line number Diff line change
Expand Up @@ -157,7 +157,7 @@ curl -X GET http://127.0.0.1:8300/api/v1/health

`matcher`:匹配语法和过滤器规则语法相同。

`protocol`:对于 MQ 类的 Sink,可以指定消息的协议格式。目前支持 `canal-json`、`open-protocol`、`avro` 和 `maxwell` 五种协议
`protocol`:对于 MQ 类的 Sink,可以指定消息的协议格式。目前支持 `canal-json`、`open-protocol`、`avro` 和 `simple` 四种协议

### 使用样例

Expand Down
2 changes: 1 addition & 1 deletion ticdc/ticdc-sink-to-kafka.md
Original file line number Diff line number Diff line change
Expand Up @@ -80,7 +80,7 @@ URI 中可配置的的参数如下:
| `replication-factor` | Kafka 消息保存副本数(可选,默认值 `1`),需要大于等于 Kafka 中 [`min.insync.replicas`](https://kafka.apache.org/33/documentation.html#brokerconfigs_min.insync.replicas) 的值。 |
| `required-acks` | 在 `Produce` 请求中使用的配置项,用于告知 broker 需要收到多少副本确认后才进行响应。可选值有:`0`(`NoResponse`:不发送任何响应,只有 TCP ACK),`1`(`WaitForLocal`:仅等待本地提交成功后再响应)和 `-1`(`WaitForAll`:等待所有同步副本提交后再响应。最小同步副本数量可通过 broker 的 [`min.insync.replicas`](https://kafka.apache.org/33/documentation.html#brokerconfigs_min.insync.replicas) 配置项进行配置)。(可选,默认值为 `-1`)。 |
| `compression` | 设置发送消息时使用的压缩算法(可选值为 `none`、`lz4`、`gzip`、`snappy` 和 `zstd`,默认值为 `none`)。注意 Snappy 压缩文件必须遵循[官方 Snappy 格式](https://github.com/google/snappy)。不支持其他非官方压缩格式。|
| `protocol` | 输出到 Kafka 的消息协议,可选值有 `canal-json`、`open-protocol`、`avro`、`maxwell`。 |
| `protocol` | 输出到 Kafka 的消息协议,可选值有 `canal-json`、`open-protocol`、`avro`、`simple`。 |
| `auto-create-topic` | 当传入的 `topic-name` 在 Kafka 集群不存在时,TiCDC 是否要自动创建该 topic(可选,默认值 `true`)。 |
| `enable-tidb-extension` | 可选,默认值是 `false`。当输出协议为 `canal-json` 时,如果该值为 `true`,TiCDC 会发送 [WATERMARK 事件](/ticdc/ticdc-canal-json.md#watermark-event),并在 Kafka 消息中添加 TiDB 扩展字段。从 6.1.0 开始,该参数也可以和输出协议 `avro` 一起使用。如果该值为 `true`,TiCDC 会在 Kafka 消息中添加[三个 TiDB 扩展字段](/ticdc/ticdc-avro-protocol.md#tidb-扩展字段)。|
| `max-batch-size` | 从 v4.0.9 开始引入。当消息协议支持把多条变更记录输出至一条 Kafka 消息时,该参数用于指定这一条 Kafka 消息中变更记录的最多数量。目前,仅当 Kafka 消息的 `protocol` 为 `open-protocol` 时有效(可选,默认值 `16`)。|
Expand Down