Skip to content

Releases: tencentmusic/cube-studio

v2025.01.01

22 Mar 02:03
Compare
Choose a tag to compare
  1. 任务模板与任务流优化
    优化Llama Factory任务模板,修复任务流固化问题,支持任务流固化能力。
    升级任务模板中Kubernetes版本,优化分布式训练任务模板。
    修复任务开始时间和结束时间的问题,控制任务流任务节点显示长度。
    添加MindFormer任务模板,优化MindFormer镜像,支持昇腾大模型示例Pipeline。
    优化YOLOv8任务模板,升级YOLOv8镜像版本,修复YOLOv7示例问题。

  2. 推理服务与模型管理
    优化推理服务初始化,修复推理服务Online模型优先显示问题。
    支持VLLM分布式推理,增加MindIE大模型推理服务。
    修复模型发布的报错,模型管理支持直接跳转。
    优化MindIE推理服务,修复模型导入模板环境变量错误。
    支持昇腾的共享占用模式,优化昇腾初始化示例。

  3. AIHub应用与Notebook优化
    优化AIHub应用,支持自定义代码目录,修复AIHub应用部署问题。
    支持AIHub自定义添加,优化目标跟踪AIHub应用。
    优化Notebook内部服务推理服务端口取值,支持查看挂起消息。
    添加昇腾Notebook,支持华为910,优化MindIE镜像。
    修复Notebook SSH远程自动Python问题,增加SSH链接Jupyter时Matplotlib本地显示。

  4. 前端与用户界面优化
    优化前端表格显示,修复部分显示问题,修正中英文翻译。
    优化用户权限界面,去除冗余Gamma角色权限,控制项目分组编辑添加权限。
    修复详情页面缩进问题,优化弹窗提示,支持数据可视化弹窗功能。
    优化首页项目描述,修复首页消息报警问题。
    支持自定义初始化时的镜像仓库地址和Git地址,优化初始化时的Git地址信息。

  5. 安全与权限管理
    修复XSS安全问题,去除密码的显示,密码修正为密文存储。
    支持LDAP单点登录,升级流量代理认证。
    添加安全登录,完善安全扫描,修复安全扫描限制问题。
    优化用户权限界面,去除过多无用Gamma角色权限。
    支持Grafana设置非匿名登录,修复Cookie 401认证问题。

  6. 资源管理与GPU/NPU优化
    优化资源限制,修复GPU最大额度限制问题。
    优化本地调试时端口号,修复本地开发时调试环境IP问题。
    修复Rancher拉取镜像只有一个进程的问题,清理孤立Pod的报错。
    优化NPU MindIE推理,支持NPU的监控,优化MindIE镜像。
    支持昇腾的VSCode,添加Ascend Jupyter和VSCode。

  7. 镜像与部署优化
    更新Ollama镜像,下载更快,修复Ollama配置信息报错。
    升级20250201版本镜像,更新基础镜像,支持ARM64镜像。
    修复ARM64版本的VSCode问题,支持ARM64部署。
    优化CUDA镜像,更换为Devel版本,修复Containerd运行时问题。
    支持多集群内外双网卡,优化RKE2部署Containerd版本。

  8. 日志与报错修复
    优化Chat报错日志,修复部分日志打印问题。
    修复推理服务初始化报错,修复模型下载时文件不存在的重定向地址问题。
    修复项目责任人归属问题,修复模型发布的报错。
    修复部分显示Bug,修复部分日志打印问题。

  9. 新功能与工具支持
    添加DeepSeek推理服务,支持DeepSeek Chat应用。
    支持任务流固化能力,添加任务流固化功能。
    支持XGBoost、LightGBM、GBDT、KNN等多分类任务。
    添加X11示例,支持多分类以及转换输出概率列名为原值。
    支持自定义Notebook内部服务推理服务端口取值,优化本地调试时端口号。

  10. 其他优化与修复
    优化目标跟踪自动化标注应用,修复视频跟踪自动化标注问题。
    优化多目标跟踪模型,修复目标跟踪AIHub应用问题。
    修复部分Bug,优化YOLOv7内网示例。
    修复部分显示问题,优化前端表格显示。
    修复部分日志打印问题,优化部分操作权限。

v2024.11.01

04 Dec 06:45
Compare
Choose a tag to compare

添加和优化Jupyter、VSCode支持,包括SSH服务能力和本地显示Matplotlib。
升级基础镜像,支持华为910、ARM64、NVCC版本GPU镜像和devel版本CUDA镜像,更新英伟达基础镜像。
优化GPT地址配置兼容性,代码中镜像域名不写死,避免内网拉取不到镜像的问题。
增加和优化ARM64镜像,增加gamma角色权限,优化用户权限界面和操作权限。
修正部署问题,密码修正为密文存储,优化初始化过程,修正挂载和代理IP问题。
优化和完善文档,包括中英文翻译和帮助文档位置更新。
支持JSON类型输入,pipeline编排任务参数支持提示信息(tip)。
数据集模块优化,包括跳转到Notebook上传和模板升级。
修复前端显示问题,包括详情页面缩进、表格显示、部分搜索列表不显示中文等问题。
增加LDAP单点登录和安全登录,完善安全扫描。
视频跟踪自动化标注,优化多目标跟踪模型,增加YOLO跟踪AIHub应用和示例。
在线VSCode增加SSH服务能力,IDE SSH远程自动Python。
更新和优化镜像源、仓库账号和拉取秘钥,设置镜像拉取策略环境变量。
新增和优化多分类模型支持,包括LightGBM、KNN、GBDT、决策树、XGBoost、Adaboost和LR的多分类及离线推理结果概率列名转换。
AIHub部署支持配置项目组,增加独立应用构建镜像和任务模板。
优化和删除冗余代码,去除非必要文件,减少日志打印。
升级流量代理认证和计量计费账单功能,优化账单ID生成策略。
修正自动化标注模型地址和部分体验问题,更新pandas版本。
支持语种识别模型和语音分类模型,AIHub在线开发。
推理服务和Notebook支持GPU显存单独设置,升级VGPU监控。
优雅化代码,升级Istio部署,修改Grafana默认主题。
修正项目成员代码位置、镜像名、Torch-Server模型发布文件名和模型名不支持的问题。
服务发布需要先清理,升级推理服务镜像,更新TFServing的推理服务。
完善YOLOv8任务模板和示例,支持构建成AIHub应用。
Pipeline复制不保留实例信息,修正超参搜索算法可取值的问题。
更换ChatGPT Token,数据写入前增加JSON校验,更新脚本。
Notebook不显示Node Selector,完善标注导入任务模板。
内部服务支持定义首页路径,添加标注数据导入任务模板。
修复部署显示问题,修正算子打开目录时的部分Bug,Pipeline算子支持镜像调试。
示例Pipeline不允许修改,处理图标网站域名访问受限的问题。
修正数据智能中的提示信息和记忆上次会话内容,修正激活包和初始化工作目录。
增加激活码,支持菜单权限控制,更新Label Studio镜像版本。
聊天会话私有会话增加提示词构建,移动ChatWeb构建后的目录地址。
标注系统自动化标注接口添加服务内部名称,新版本标注系统对接Bug修复。
删除一些不能识别的图片,只保留一个目标识别自动化接口,优化部分代码。

v2024.09.01

24 Sep 01:11
Compare
Choose a tag to compare

支持与功能增强

支持最新版本的containerd
任务模板参数支持 workdir子类型和image子类型
增加12.6的cuda
增加激活码
支持菜单权限控制
更新label studio镜像版本
聊天会话,私有会话增加提示词构建
添加aihub独立应用构建镜像
标注系统自动化标注接口 添加上服务内部名称
新版本标注系统 对接bug修复
删除一些不能识别的图片
只保留一个目标识别自动化接口
打开notebook,支持替换个人目录
更新workdir子类型
rancher 镜像从国内拉取
增加aihub环境镜像
增加视频帧标注示例
升级yolov8的示例
notebook 不显示node selector
内部服务,支持定义首页路径
pipeline算子支持镜像调试
示例pipeline 不允许修改
yolov8支持构建成aihub应用
增加gpu镜像版本
pipeline复制不保留实例信息

文档完善

完善文档
增加中英文翻译
增加12.6的aihub文档

界面与用户体验

更换favicon的位置
界面多级索引的时候返回上一层目录时指定范围url
单机多进程超参数搜索添加项目组注释
模型管理默认按名称分类
前端静态文件都打包到前端镜像中
添加前端文字描述
修复echart内容可视化
删除在线调试时清理启动的pod
移动chatweb 构建后的目录地址
处理图标网站域名访问受限的问题
修正数据智能中的tips的问题,和记忆上次会话内容
修正初始化示例中的wget前rm
优化整体资源的显示
完善标注导入任务模板
修复部署显示问题
修正算子打开目录时的部分bug
修正超参搜索算法可取值的问题

代码优化与修复

去掉冗余环节
优化部分代码
修改label studio的镜像
临时更换账号密码
升级label studio版本对应的接口
更新镜像源
优化yolov8任务模板
添加aihub任务模板
更换chatgpt token
数据写入前,增加json校验
更新脚本
修正激活包
修改初始化 workdir

其他

添加误删除代码
替换仓库地址

v2024.08.01

21 Aug 07:47
Compare
Choose a tag to compare

支持list界面历史版本和增改界面级联参数类型
支持级联参数类型,以及notebook示例
增大内网穿透端口
升级grafana版本
优化图标显示
更换github地址
增加github ci
去除模型结构网络定义功能
编排界面支持通用编排能力
增加标注训练全流程示例
更新报错显示
更新label studio的镜像
添加模型定义功能,编排模型结构
通用pipeline支持场景配置
更新label studio 部署和yolov8测试示例
修改整体资源页面占用资源但未running pod的显示
Aihub 增加Apple 续写模型DCLM-7B
初始化标注平台到public 项目组
添加项目组信息查询接口
添加aihub部署的时候 自动覆盖代码。实现aihub的更新
添加结果保存步长限制
添加操作行为记录
修改docker 安装方法
yolov8目标识别结果保存
添加音频处理模板
任务模板参数 choice可配置key value
添加数据处理流程任务模板
标注平台更改logo
全自动流程电瓶车识别
增加yolov8的微调示例
更新最新需要的镜像列表
自动化标注支持多后端模型
升级sd weiui为中文,目标识别检测
完善不使用docker时的部署方法
修正初始化模板
完善文档
任务模板强制必须添加启动命令
修正部分aihub应用镜像
修正运行中任务流示例的耗时显示
修正内存资源没有单位显示时的计算
yolov7支持gpu训练,和推理
清理冗余代码
修正整体资源界面删除时aihub清理
修改默认rancher版本和k8s版本
全量增加模板的启动命令
vgpu升级到k8s 1.25
修复任务可视化显示
优化推理服务配置显示
更新gpt的url

v2024.06.03

29 Jun 15:52
Compare
Choose a tag to compare

修复部分bug

v2024.06.01

24 Jun 05:59
Compare
Choose a tag to compare

mlops平台相关:

修正内部服务ip范围
更新教程视频
支持pipeline任务优先级
nni超参搜索支持单机多进程和多机多进程两种形式
修正notebook ssh链接配置
notebook配置内外网时,模式使用url代理,而不是端口代理
数据集sdk去除load功能
watch组件只是supervisord管理进程
修复在celery worker中数据库连接失败的报错问题
修复微调添加出错后,平台数据库受影响的问题
添加用户登录时拷贝示例数据到个人目录
添加pipeline导出
支持k3s部署cube-studio
支持helm部署cube-studio
支持kubesphere部署cube-studio
优化边缘集群模式部署
添加最小化单机部署
添加pod计量计费区分不同集群
删除pipeline时,清理绑定的workflow
分布式任务支持gpu共享占用模式
修复管理员批量删除在线pod的功能
去除前端输出重复校验的问题
增加cuda 12.1的notebook,pipeline镜像
计量计费增加机器信息
升级hadoop客户端任务模板,支持hdfs,hadoop,spark,hive任务执行
升级大数据版本jupyter,支持hdfs,hadoop,spark,hive任务执行
添加datax-import任务模板,不使用json作为输入
升级ml推理镜像,支持输入输出信息显示
rstudio添加激活按钮
支持推理服务定时伸缩容
更改第四范式vgpu化能力
sqllab支持hive,presto,clickhouse sql对接
datax支持拉取clickhouse数据
推理服务支持jwt统一认证
支持label studio标注平台免登录
内部服务支持window应用
模型管理支持模型下载
数据集管理支持数据集预览
用户界面去除删除按钮

aihub模型市场相关:

增加aihub基础镜像版本
aihub支持对接hugging face
去除aihub原有前端界面,改为gradio
删除失效的aihub应用

gpt大模型相关:

aihub添加百川2,llama3,gemma,glm4等各类型的gpt大模型
完善deepspeed任务模板和示例
增加baichuan2,llama2,chatglm2,chatglm3,chatglm4,qwen2微调任务模板
支持大模型vllm推理和openai流式接口
添加llama-factory任务模板
智能聊天,支持结果可视化
修正私有知识库接收消息不全的问题
添加chatglm3,chatglm4,qwen2 微调全链路
aihub支持stable-cascade,sd3,sd video以及sd的其他模型
智能体支持aihub接口格式
智能体支持chatglm4和qwen2

v2024.03.01

28 Feb 12:21
Compare
Choose a tag to compare

1、更新torch server、tfserving、triton server推理服务镜像版本
2、k8s dashboard web界面去除不可控区域,避免安全问题
3、升级任务模板
4、增加智能聊天功能
5、增加任务优先级
6、增加计量计费
7、增加算力额度控制
8、支持添加端口黑名单
9、修正数据集备份功能
10、添加notebook镜像保存
11、yolov3更新为yolov7,推理web使用gradio
12、其他的文档修正和代码bug修正

v2023.12.01

18 Dec 02:57
Compare
Choose a tag to compare

完善文档
完善初始化示例
完善测试脚本
更换新版本整体资源界面
支持暂停和恢复任务流
任务流支持任务推荐
分布式训练支持gpu和rdma,拉取秘钥等信息传递
全面修改国内网络源的使用
新增ib卡的监控
修复gpu显存占用率和gpu利用率bug
标准化ml server配置格式和接口格式
支持统一镜像服务下多仓库秘钥配置
新增各类型特征处理模板
新增时间序列算法模板
aihub修改统一前缀/aihub/$name/和/aihub/$name/api
前后端支持国际化
支持数据集一键探索功能
删除冗余前端代码
支持ipvs 的k8s网络模型
支持分布式训练时单机调试分布式worker镜像
支持ssh隧道联动notebook sshd
添加内网离线环境部署打包的修正方法
全面升级python基础包
支持centos8和ubuntu22.04部署
支持sqllab,菜单,可配置化
添加datax,sqllab,维表对接postgres的示例
增加数据库结构说明
增加登录验证,强密码,远程用户,登录频率限制,密码密文传输等
支持gpt4对话
整体资源页面,支持管理员批量删除
增加修改和删除,清理等操作的历史记录
修正智能聊天在特殊返回值下内容显示不全的问题
修正后端错别字,中英文和非必要的冗余代码
添加任务流导入模板
删除任务时,删除相同run-id的service
修正任务超时的配置
去除frameworkcontroller组件,nni组件不再依赖
添加跳过功能
workflow pod人性化展示以及中文显示
修正整体资源界面,vgpu调度显示

v2023.08.01

19 Oct 06:00
Compare
Choose a tag to compare

1、全面替换基础组件的版本,基础组件基本支持arm64算力系统
2、修改初始化配置,兼容更多k8s部署工具。
3、替换基础部署k8s版本为1.21
4、升级优化各类型job模板
5、添加nfs的基础部署,添加harbor的基础部署,去除kube-batch
6、修正部分错别字和代码风格优化

v2023.04.01

11 Apr 10:07
Compare
Choose a tag to compare

基础架构

  • 支持到1.18~1.25 k8s版本
  • 支持最小化部署
  • 增加alluxio+minio分布式缓存
  • 增加efki日志系统
  • 增加harbor私有仓库部署
  • 去除kubeflow-pipeline依赖,添加argo独立部署
  • 添加gpu机器配置和内网域名解析配置

平台:

  • 基础环境更新为python3.9
  • celery更新为5.1.2版本
  • 添加数据集导入模板,模型导入模板,模型注册模板
  • 增加sqllab功能
  • 推理服务单台滚动发布
  • 添加资源汇总页面
  • 支持用户密码修改
  • 增加可选notebook基础镜像
  • 添加认证信息多平台授权
  • 添加数据集版本,权限管理,上传下载

其他:

  • 支持任务结果可视化
  • 支持数据集预览,模型指标预览
  • 支持血缘链路,字段、表、任务、看板关联
  • 支持sdk数据集上传下载,大数据量媒体文件数据处理。
  • 支持sdk 发起训练部署和推理
  • 支持gpu虚拟化
  • 支持分布式任务模板
  • 支持传统机器学习算法模板
  • 支持推广搜算法模板
  • 支持模型压缩,格式转换模板
  • 支持大模型模板
  • 支持400+aihub模型应用
  • 支持aihub转notebook开发,pipeline微调,web手机端和pc端推理体验
  • 支持国产芯片部署
  • 支持边缘集群模式
  • 支持标注平台与特征平台,以及特征处理sdk
  • 支持大模型微调,私有知识库,人机对话数字人