Interstellar

项目成员

@crazycs520

@xuanwo

@rebelice

项目介绍

该项目为 TiDB 设计了一个新功能，某表会自动将历史数据分区，并移入更便宜的对象存储（S3）中去。同时对外的SQL查询接口不变，依然可以同时查询到 SSD 磁盘，也能查询到对象存储中的数据。

用户故事

当用户对一个表写入大量时间数据（比如交易日志，订单信息）时，对于旧的历史数据，客户查询的频次会比新数据低很多，常见的只是对历史数据偶然的 TP 访问和低频次的分析访问。这时候把历史数据和新数据一样放在 SSD 磁盘上，就显得特别昂贵。该功能能够降低用户成本，扩充 TiDB 生态。

同时，对比使用时序数据库方案上能够利用上 TiDB 高写入带宽、快速 TP 查询、支持 HTAP 场景等优点。

项目设计

当有新数据写入时，按照某一种规则自动将新旧分区。
可以指定某个规则，让旧的分区自动移入 S3，且变成只读。
可以向普通表一样读取任意分区的数据
当 TiKV， TiFlash 的存储容量快要满了的时候，可以手动指定某一个分区存储到S3

项目实现

DDL 语句格式
- Create table
- Alter partition
- Table meta 定义
- Auto create partition
S3 存储
数据迁移
- meta 信息更新
- 数据删除与迁移
存储格式
查询支持 partition on s3