20230715周会纪要

[chejinge]

Intro

Table Description 只描述本周一些进展，同时本周一些进展务必放进 issue or pr 的 评论里，这样也方便进行历史回溯。

1 单机

Item	Priority	Issue/Pr	Owner	Description
数据同步	P0	rsync 去除，添加新的主从同步机制	少一	0715当前开发进度80%，预计下周开发完，开始测试。
		pika 实例硬盘容量满，清除数据后，pika仍然保持错误的状态	yang shi xi	基本框架怎么搞都已经写好了，现在在搞怎么用eventlistener触发db resume
		3.3.3版pika哨兵模式下，一个节点挂掉后，无法重启该节点	lyc	已完成
性能调优	P1	ttl 和 version 溢出	wxr	显荣设计下方案，protobuf设计改造下
		pika 执行 compact 命令，会导致 redis-cli 请求无响应
		提供碎片化率统计功能	yaoyinnan	确认rocksdb暴露的指标是否可以
		【问题确认】3.3.6会出现 hmget 命令耗时很长的问题，确认下最新的代码能否复现该问题
RocksDB	P2	动态配置sst文件大小	wangchuande	功能已完善，后面添加单测
	P1	Pika on S3	宁常远	决定尝试使用rocksdb cloud先实现持续上传功能。计划下周专门搞这个事情
Pika 兼容 Redis	P2	redis API: role		李浩修改锁粒度
		Pipeline 功能改进	Tedli（李振）	需要在确认复现
		blpop brpop 命令支持	chenjunhua	mac上编译不了，应该是引用了epoll.h这个库，继续改一下，适配mac
		pika支持MULTI和EXEC事务	lihao	0715代码review加解决意见
		zset range delete performence sucks	wxr	暂时搁置跟进list和zset元素个数限制
		hashtable field
		support lastsave
		支持 ACL	陈俊华	俊华和qx推进中
		redis常见module支持（开源大赛题目）
		rpop 提示参数不对	刘绍	代码已经合并
		支持redis stream	周开颜 于雨跟进方案
		完善 config 返回的参数	李丙志跟进
		Pika 主从同步时校验 master 的 run_id 信息		代码已合并
		monitor 命令异常退出	yangshixi	0715暂时还没搞，继续跟进
		keys pattern命令输出结果不符合预期		问题已经解决
		zset和list数据结构支持限制key的元素个数
其他	P2	支持在 centos 上跑 CI	俊华	可能要暂时搁置，看看有没有别人能领，如果没有的话俊华过段时间接着搞

2 集群

Item	Priority	Issue/Pr	Owner	Description
codis 维护	P0	在 codis 下支持 hash 而非 range	maxin，yuecai
		codis 下支持 etcd		这个功能 codis 已经支持了
		在 codis 架构下，proxy 解析一次 redis 协议，pika 再解析一次，属于重复工作
		pika3.3.6 单机主从架构多 db 如何做数据迁移到 codis+pika 分片版本
		使用 65280 slots 替换默认的 1024 slots		已支持 slot 配置化，可以关了

3 可观测性

Item	Priority	Issue/Pr	Owner	Description
Info		完善info日志输出	车金鸽	Pika 线上运行的时候，打印的日志太少了，不太好排查问题。比如主从同步
Metrics		一些的可观测性建议		Pika 常见的 Metrics 指标
		增加 RocksDB Metrics API		根据 chuande 的建议，提供一个 API，以供开发者获取指定 RocksDB 指标
		增加 RocksDB Column Family Metrics（CFStats）	baitao
		提供碎片化率统计功能
	P0	pika-exporter 集成内部的 exporter	显荣	持续跟进中

4 工具集

Item	Priority	Issue/Pr	Owner	Description
基于 ldb 命令，做一个工具，分析 sst 文件	P3		ruilin	基于 ldb 命令，做一个工具，分析 sst 文件
	P3	pika 数据一致性校验工具
		把数据转换成 sst，然后导入 Pika
		codis 点对点数据迁移	baitao
		完善 big key 分析功能		bigkey+topkey

5 云原生

Item	Priority	Issue/Pr	Owner	Description
主从 operator			maxin	* 0516 没有稳定的 docker 镜像，先搞一个 helm，helm 是标准，后续再继续推进 * 0603 有些 e2e 可以基于 operator 去做，比较方便 * 0617 maxin 建议关注 kubeblock，比较成熟 * 0701 helm 等待有稳定镜像才比较好，maxin 先打一下临时镜像 * 0701 基于 kubeblock 实现下集群，需要codis集群的资料 * 0708 Codis 集群已经能拉起来
	P1	docker镜像	maxin 、yinnan	1 用户：the image in https://hub.docker.com/ is too old。 2 0527 等待下一个 Release 上传稳定版本的镜像

6 质量建设

Item	Priority	Issue/Pr	Owner	Description
单测	P0	unit basic 问题汇总
集成测试	P1		yuecai ruilin	* 0520 yuecai 提单独仓库做 https://github.com/pikiwidb/pika/pull/1 * 0603 需要增加 e2e 测试框架，ruilin 跟进
		clang-tidy		李浩
		tests/unit/auth.tcl单元测试空密码测试与错误密码测试冲突		黄麒浩
		解决编译时的warning		已经解决

7 社区

7.1 OSPP 开源之夏

• 活动相关

  • 链接：https://summer-ospp.ac.cn/org/orgdetail/7e52ef27-ff02-457d-9bc3-cdb9c8b69cef?lang=zh

  • 4.29~6.4 学生注册，导师沟通项目，提交项目申请

  • 6.5~6.25 项目申请审核

  • 6.26 中选公示

  • 6.26~6.30 项目开发预热

  • 7.1~9.30 项目开发

  • 10.1~10.31 结项审核-PR/MR 合并与导师审核

  • 11.1~11.8 结项审核-组委会成果审核

  • 11.9 结项公示

  • 11月 优秀学生评选

Item	Issue/Pr	Priority	Owner	Description
开源之夏	Pika 实现 Raft 集群		陆安璞	当前在写状态机和解耦，继续推进
	Pika 支持 Lua 脚本并引入 LuaJIT 解释器		智森	目前跑通了执行脚本的过程， 还有细节需要添加
	Pika 支持 Redis 事务		李浩	代码review+完善中

7.2 GitLink 开源夏令营

• 活动相关
  • 链接：https://www.gitlink.org.cn/glcc/apply/projects
  • 6.21 学生提交 Proposal
  • 7.1 公布入选学生
  • 7.1~8.11 研发第一阶段
  • 8.20 中期考核
  • 8.21~9.28 研发第二阶段
  • 10.11 结项考核
  • 10.22 颁奖

Item	Priority	Issue/Pr	Owner	Description
		Pika 支持 Redis 常见 module
		Pika 在 AWS S3 上存储数据	宁常远&王少一
		Pika 实现乐观锁功能	麒浩

需要 review 的 PR

• clang-tidy: https://github.com/OpenAtomFoundation/pika/pull/1730/files
• Fix the clang-tidy checks (little by little)：【WIP】Fix the clang-tidy checks (little by little) #1656
• Redis 事务：Feature/txn #1585
• feat: support blpop/brpop :feat: supported 'ptype' command #1586

7.3 members

Name	GithubID	Task	PR	Description
于雨	AlexStocks	#1175		pika数据一致性校验工具
李浩	ForestLH	#1303	#1515	在 cmake 中加入编译时候的静态分析告警
车金鸽	chejinge	#1333
车金鸽&刘月财	chejinge luky116	#1336 #1230 #1288	#1388	添加pika-exporter，调研清楚Pika需要哪些观测指标
车金鸽	chejinge	#1070		支持 SYNC/PSYNC/PSYNC2
车金鸽	chejinge	#1161		支持 lastsave
lqx	lqxhub	#1284		支持 ACL
赵昊	ptbxzrt	#1220		redis常见module支持
lqx	lqxhub	#1221		admin能力支持，单机，基本的建表模型，观测/管理/配置修改
吴显荣	Mixficsol	#1119		zset的范围删除的性能不好
李浩	ForestLH	#935		支持pipline
陈俊华	chenjunhua	#114		支持 brpop, blpop
王若添	sacloudy	#1438		Pika On S3
hongfan	georgehao	#1227		redis smart client的兼容
顾辰枫	ChanphongGu	#1228	#1250	rsync 进程去除， 全量同步功能设计
张诗语	Joeyzsy	#1393		重构数据同步迁移系统，剥离rsync
陈柏韬	chenbt-hz	#1302		codis 点对点数据迁移
kangjinci	4kangjc	#1437		Pika 支持 Windows 平台
周开颜				研一，华东师大-软工，CS 做内存数据库

人员列表

Name	GithubID	Desc
李浩	ForestLH	华科
lqx	lqxhub	上海游戏公司
赵昊	ptbxzrt
吴显荣	Mixficsol	学生
陈俊华	chenjunhua	重邮
王若添	sacloudy
顾辰枫	ChanphongGu	福大
张诗语	Joeyzsy	北邮
baitao	chenbt-hz	hzgt
冯智森	A2ureStone	深哈工大
康锦赐	4kangjc
赖沐曦	iiiuwioajdks
chuande		zksg
陆安璞	Brokenice0415	南京大学
宁常远	longfar-ncy	南京航空航天大学
王立强
孙建钊	sjz-hub	北京邮电大学
黄麒浩		广州大学，研一
陈品烨		华南理工，研一，熟悉C++，win开发
高鑫磊（渔郎）		开放原子峰会了解到pika