简体中文 | English
Sedna是在KubeEdge SIG AI中孵化的一个边云协同AI项目。得益于KubeEdge提供的边云协同能力,Sedna可以实现跨边云的协同训练和协同推理能力,如联合推理、增量学习、联邦学习、终身学习等。Sedna支持目前广泛使用的AI框架,如TensorFlow/Pytorch/PaddlePaddle/MindSpore等,现有AI类应用可以无缝迁移到Sedna, 快速实现边云协同的训练和推理,可在降低成本、提升模型性能、保护数据隐私等方面获得提升。
Sedna具有如下特性:
- 提供边云协同AI基础框架
- 提供基础的边云协同数据集管理、模型管理,方便开发者快速开发边云协同AI应用
- 提供边云协同训练和推理框架
- 联合推理: 针对边缘资源需求大,或边侧资源受限条件下,基于边云协同的能力,将推理任务卸载到云端,提升系统整体的推理性能
- 增量训练: 针对小样本和边缘数据异构的问题,模型可以在云端或边缘进行跨时间自适应优化
- 联邦学习: 针对数据大,原始数据不出边缘,隐私要求高等场景,模型在边缘训练,参数云上聚合,可有效解决数据孤岛的问题
- 终身学习:针对小样本和边缘数据异构的问题
- 通过云端知识库提供记忆功能,让边缘积累的样本知识能在持续更新同时被持久化,从而处理灾难性遗忘问题;
- 结合增量训练和多任务训练,同时实现跨时间与跨情景的知识迁移,从而更好地处理未知任务。
- more
- 兼容性
- 兼容主流AI框架TensorFlow、Pytorch、PaddlePaddle、MindSpore等
- 针对云边协同训练和推理,预置难例判别、参数聚合算法,同时提供可扩展接口,方便第三方算法快速集成
Sedna的边云协同基于KubeEdge提供的如下能力实现
- 跨边云应用统一编排
- Router: 管理面云边高可靠消息通道
- EdgeMesh: 数据面跨边云微服务发现和流量治理
Sedna由以下组件构建:
- 统一边云协同AI任务管理
- 跨边云协同管理与协同
- 中心配置管理
- 边云协同AI任务的本地流程控制
- 本地通用管理: 模型, 数据集,状态同步等
- 执行训练或推理任务, 基于现有AI框架开发的训练/推理程序
- 不同特性对应不同的worker组, worker可部署在边上或云上, 并进行协同
- 面向AI开发者和应用开发者, 暴露边云协同AI功能给应用
Sedna 在 readthedoc.io 托管相关文档。 您可以根据这些文档更好地了解Sedna。
Sedna的安装文档请参考这里。
样例1:大小模型协同推理
样例2:边云协同增量学习
样例3:边云协同联邦学习
样例4:边云协同联邦学习: 基于YoLov5的目标识别.
样例5:边云协同终身学习
例会时间:
- 太平洋时间:北京时间 周四 10:00-11:00 (每周一次,从2020年11月12日开始)。 (查询本地时间)
会议资源:
如果您有任何疑问,请以下方式与我们联系:
如果您有兴趣成为一个贡献者,也想参与到Sedna的代码开发中, 请查看CONTRIBUTING获取更多关于如何提交Patch和贡献的流程。
Sedna基于Apache 2.0许可证,查看LICENSE获取更多信息。