Gravity 是一款数据复制组件,提供全量、增量数据同步,以及向消息队列发布数据更新。
DRC 的设计目标是:
- 支持多种数据源和目标的,可灵活定制的数据复制组件
- 支持基于 Kubernetes 的 PaaS 平台,简化运维任务
- 大数据总线:发送 MySQL Binlog,Mongo Oplog 的数据变更到 kafka 供下游消费
- 单向数据同步:MySQL --> MySQL 的全量、增量同步
- 双向数据同步:MySQL <--> MySQL 的双向增量同步,同步过程中可以防止循环复制
- 分库分表到合库的同步:MySQL 分库分表 --> 合库的同步,可以指定源表和目标表的对应关系
- 在线数据变换:同步过程中,可支持对进行数据变换
- 数据源
是否支持 | |
---|---|
MySQL Binlog | ✅ |
MySQL 全量 | ✅ |
Mongo Oplog | ✅ |
TiDB Binlog | 开发中 |
PostgreSQL WAL | 开发中 |
- 数据输出
是否支持 | |
---|---|
Kafka | ✅ |
MySQL/TiDB | ✅ |
Mongo DB | 开发中 |
- 数据变换
是否支持 | |
---|---|
数据过滤 | ✅ |
重命令列 | ✅ |
删除列 | ✅ |