20240726 weekly

[AlexStocks]

1 Pika core(master & slave)

• Pika 主从复制一些经验教训 #2408 Pika 主从复制一些经验教训

Item	Priority	Issue/Pr	Owner	Description
incr逻辑会导致一个无法过期的key		#2760	内部工作	已经提交
会出现格式错乱的 key		#2823	qianxiang
版本4.0.0 PipeLine 对一个Hash Key 进行 hincrBy 操作时，会导致pika直接崩溃！		#2827	Wuqilong
[WIP] feat: use buffered fwrite to write binlog instead of Mmap	P1	#2778	cjh
fix: PkPatternMatchDel inconsistent between rediscache and db	P1	#2777	zhuhaiyang	wsy和cjg review 辛苦加点测试case
feat:Statistics ticker count	P1	#2769	baixin
feature: redis hash field timeout	P1	#2709	lidongxu
The p99 of the hgetall command is ten times or even higher than that of hget	P2	#2691	wsy
feat:change thread sheduling method in ThreadPool class	P1	#2648	wuqilong	优化效果不明显，暂停相关工作 7.26 用性能更高的机器继续测试
redis cache 版本升级到 Redis 7.2.3	P1	https://github.com/pikiwidb/rediscache/pull/7	baixin
降低Pika Compact碎片化监控频率，提升compact性能		降低Pika Compact碎片化监控频率，提升compact性能	wuqilong	houxinsheng 还在 coding，https://github.com/MalikHou/pika/pull/2，后续工作交给 吴起龙
支持 tls	P2	#2380 #2378	kolin	Review 月财，还需要改进
codis dashboard call 3 times when got pika pool info, such as keep-alive & memory etc	P1	#2354	kolin	Yuecai
add cuckoo filter for redis cache	P2	#2261	PR pikiwidb/rediscache#6
pika 添加命中率指标	P0	#2423		chenbt: 提交了1个PR https://github.com/OpenAtomFoundation/pika/pull/2579， yuecai&jinge 推进 review，待 merge 后继续实现其他监控参数
pika 支持 redis restore 指令	P2	pika 支持 redis restore 指令		暂停
support unix domain socket for pika	P2	#2450	kolin
Ability to change hash to xxh3, xxhash, aead or murmur etc	P2	#2442	kolin
Support pub/sub in pika when replicated	P2	#2440	kolin
A problem occurs during go integration testing	P1	#2492
pika 主从同步过程需要使用 term 判断是否需要全量同步	P1	#2365	cjh	有待chenjunhua 继续推进
进程退出时存在资源释放流程不正确	P1	#2286	cjh&xcz推进
Large keys are not stored in cache	P1	#2557
Separate the fast and slow commands in the second phase, dynamically adjust the fast and slow command settings according to the access time, and dynamically adjust the number of coroutines and pika threads		#2566	wuqilong

• 1 存算分离 https://mp.weixin.qq.com/s/dV3A1_OFDXkMpDr-Vs71DQ

2 cluster

Item	Priority	Issue/Pr	Owner	Description
big key 熔断，借鉴 xcache		https://github.com/OpenAtomFoundation/pika/issues/1691，https://github.com/OpenAtomFoundation/pika/issues/2228	xuhaoliang, cjg 指导	#2783 先搁置
在 codis 中添加 auto spliting	P1	#2564	bearwang	cjg 给 xiaoxiong 发送资料

• 1 大 key 检测；
• 2 auto split：小帅了解下相关功能，分析 floyd 的缺陷
• 3 codis 熔断 Add: big key & top key #1691 大 key 熔断
• 4 codis 限流

3 可观测性

Item	Priority	Issue/Pr	Owner	Description
染色日志

4 工具集

Item	Priority	Issue/Pr	Owner	Description
		Pika 集群数据同步迁移工具	李浩	Bifrost 面向生产环境的 MySQL,MariaDB,kafka 同步到 Redis,MongoDB,ClickHouse,StarRocks,Doris,Kafka 等服务的异构中间件

5 云原生

Item	Priority	Issue/Pr	Owner	Description
	马鑫外部推进，集群注册成功，rebalance 还没做，和珊珊交流做一做看 ，车金鸽、吴显荣内部推进	pika-operator on kubeblocks 现状总结及后续任务、思路	马鑫 haoliang	Kubeblocks 0.8 已经发布：官方支持 component 多副本，在这个版本支持 pika 缩容

todo:

• 1 原地扩容磁盘可能有问题，chengyu 跟进
• 2 总的 任务 pika-operator on kubeblocks 现状总结及后续任务、思路 #1906

6 high quality(CI/CD) and high usability

Item	Priority	Issue/Pr	Owner	Description
		WIKI 配置信息能否补充大部分场景下的最优配置
tcl 单测跑不过	P0	#2046

7 Pika doc

• 问题：中文文档少，英文文档没有；
• 网站建设：wiki or https://alexstocks.github.io/html/pika.html 最新文档 搬到了 website https://github.com/pikiwidb/website，整理好；
• readme 建设：松石+文一 帮忙改下
• 用 GPT 看能否把网站翻译为英文；
• WIKI 配置信息能否补充大部分场景下的最优配置 #2008

Item	Priority	Issue/Pr	Owner	Description
		build a pika website	ningjie	0726. pika cloud 文档迁移完成，这周提交到仓库

8 summer code

Item	Priority	Issue/Pr	Owner	Description
pika binlog 重构		https://summer-ospp.ac.cn/org/prodetail/247e50197?list=org&navpage=org	chenjunhua	1 Pika 不 check binlog 是否落盘成功 2 master 与 slave 之间同步 binlog，可以确保有序，无法证明有没有丢某个 item 3 RocksDB WAL 是开着的
Pika-Operator		https://summer-ospp.ac.cn/org/prodetail/247e50199?list=org&navpage=org	xuhaoliang	1 近期把 kubeblcoks 升级到 0.9.0； 2 添加缩容； 3 长期工作是把工作流从 Kubeblocks 迁移到 codis【向 Kubeblocks 下达启动组件的命令】，Kubeblocks 只做资源管理【Kubeblocks 只启动相关组件即可】；
Pika Vector		https://summer-ospp.ac.cn/org/prodetail/247e50200?list=org&navpage=org	guoweijian&zhuhaiyong	1 编译遇到问题：提交 issue，在 issue 里面讨论 2 0726 熟悉存储的思路，正在开发中
Pika Transfer Proxy		https://summer-ospp.ac.cn/org/prodetail/247e50201?list=org&navpage=org	lihao	1 这个工作比 dump&restore 更有价值；2 librdkafka
PikiwiDB Redis Cache		https://summer-ospp.ac.cn/org/prodetail/247e50203?list=org&navpage=org	沈梦菊
PikiwiDB Cluster		https://summer-ospp.ac.cn/org/prodetail/247e50205?list=org&navpage=org		jraft
Codis Proxy(C++)		https://summer-ospp.ac.cn/org/prodetail/247e50206?list=org&navpage=org	黄恺一
Improve Pika		https://summer-ospp.ac.cn/org/prodetail/247e50207?list=org&navpage=org		https://github.com/MalikHou/pika/pull/2； https://github.com/OpenAtomFoundation/pika/issues/2566；RTC；使用 RocksDB mget 优化 Pika 的 mget 和 hmget