PaddleMIX是基于飞桨的多模态大模型开发套件，聚合图像、文本、视频等多种模态，覆盖视觉语言预训练，文生图，文生视频等丰富的多模态任务。提供开箱即用的开发体验，同时满足开发者灵活定制需求，探索通用人工智能。
📚《飞桨多模态大模型开发套件PaddleMIX 2.0 震撼发布》，图文音视频场景全覆盖，多模态高效助力产业创新。超大规模训练支持，覆盖图文预训练、文生图、跨模态视觉任务，覆盖金融、教育、电商、医疗等产业场景。8月8日（周四）20：00 带你直播了解多模态大模型最新架构，深度解析PaddleMIX高性能模型库，手把手演示LLaVA模型训推全流程。报名链接
2024.09.11 更新
- 新增Qwen2-VL、InternVL2、SD3等模型
2024.07.25 发布PaddleMIX v2.0
- 多模态理解：新增LLaVA系列，Qwen-VL等；新增Auto模块统一SFT训练流程；新增mixtoken训练策略，SFT吞吐量提升5.6倍。
- 多模态生成：发布PPDiffusers 0.24.1版本，支持视频生成能力，文生图模型新增LCM。新增飞桨版peft，accelerate后端。提供基于飞桨开发的ComfyUI插件。
- 多模态数据处理工具箱DataCopilot：支持自定义数据结构，数据转换，离线格式检查；支持基本的统计信息，数据可视化功能。
2023.10.7 发布 PaddleMIX v1.0
- 新增图文预训练模型分布式训练能力，BLIP-2支持千亿规模训练
- 新增跨模态应用流水线AppFlow，一键支持自动标注，图像编辑，音生图等11种跨模态应用
- PPDiffusers发布 0.19.3 版本，新增SDXL及相关任务
- 丰富的多模态功能: 覆盖图文预训练，文生图，跨模态视觉任务，实现图像编辑、图像描述、数据标注等多样功能
- 简洁的开发体验: 模型统一开发接口，高效实现自定义模型开发和功能实现
- 高效的训推流程: 全量模型打通训练推理一站式开发流程，BLIP-2，Stable Diffusion等重点模型训推性能业界领先
- 超大规模训练支持: 可训练千亿规模图文预训练模型，百亿规模文生图底座模型
- 视频Demo展示（video Demo）
PaddleMix.mp4
- 环境依赖
pip install -r requirements.txt
关于PaddlePaddle安装的详细教程请查看Installation。
注：ppdiffusers部分模型需要依赖 CUDA 11.2 及以上版本，如果本地机器不符合要求，建议前往 AI Studio 进行模型训练、推理任务。
如果希望使用bf16训练推理，请使用支持bf16的GPU，如A100。
- 手动安装
git clone https://github.com/PaddlePaddle/PaddleMIX
cd PaddleMIX
pip install -e .
#ppdiffusers 安装
cd ppdiffusers
pip install -e .
- ComfyUI创作工作流
- 艺术风格二维码模型
- Mix叠图
| 多模态理解 | 多模态生成 |
|
|
更多模型能力，可参考模型能力矩阵
- 微信扫描二维码并填写问卷，即可加入交流群与众多社区开发者以及官方团队深度交流。
本项目的发布受Apache 2.0 license许可认证。