本文档是 LibCity 实验管理系统的使用说明,本次以交通状态预测实验的流程为例进行说明。
首先打开系统首页,输入账号密码,点击登录即可进入系统;如果没有账号,可以点击右下角的“没有账号?点击注册”链接,进入注册页面,填写相关信息完成注册。登录界面如下图所示:
想要完成一次实验,需要先准备实验所需的数据集,那么,我们如何获取数据集?在平台首页,可以找到已经提供好的数据集文件,我们可以点击进入下载相应数据集;
点击左侧菜单栏,数据集管理,进入数据集管理页面;在数据集管理页面,点击右上角的“查看数据格式说明”按钮,可以查看到数据集中每个原子文件的作用及相关信息说明。
在数据集管理页面,点击右上角的”文件上传“按钮,弹出文件上传对话框;
文件上传表单有两项内容:
- 是否公开:如何选择公开,则此数据集所有用户都可以查看、下载和使用;如果选择私有,那么此数据集只有自己可以看到,相应的,操作权限也只有自己可操作;
- 选取文件:可以将想要上传的数据集拖拽到虚线方格内,或者点击虚线方格选择文件上传;
在表单填写完毕后,点击提交,数据集文件将会上传至服务器。
数据集上传完毕后,系统会自动检验数据集是否可以可视化;
可视化会出现三种情况:
- 检验通过:用户可以选择地图底图进行 GIS 可视化;
- 检验通过:但是数据集文件中没有坐标数据,无法进行 GIS 可视化,那么可视化时会把数据集的数据以统计图像的形式展示出来;
- 检验不通过:会显示响应的错误信息,可以点击“查看错误信息”按钮,查看数据集不能可视化的原因。
正常情况下,数据集检验完毕后,用户可以点击选择可视化底图,进行数据集可视化。
数据可视化处理完毕后,点击展示按钮,可以查看数据集:
点击左侧菜单栏的新建实验,进入新建实验页面;
新建实验页面分为三部分:
- 任务基本参数的填写:实验名称、实验描述和是否公开;
- 任务必填参数的填写:是所属任务、实验所用模型和数据集;
- 任务非必填参数的填写:是关于实验的参数配置及自定义配置文件的上传;
需要注意的是:任务必填参数填写,实验所属任务、模型和数据集之间有严格的对应关系,可以点击蓝色连接查看对应关系:
实验创建完毕后,会自动进入实验列表页面,点击执行按钮;
可以选择实验执行的策略:
- 定点执行:选择执行时间(可精确到秒)后,点击在选定时间执行,实验就会在预约的时间执行,后续也可以修改预约时间;
- 立即执行:点击“不选时间,立即执行”按钮,实验就会立即执行;
实验执行后,点击查看运行日志按钮,可以查看实验的执行日志信息,并且也可以把当前的日志内容下载下来:
实验执行完毕后,会有弹框提示;并且可以进行查看实验评价指标、可视化展示实验结果和下载训练模型操作。
点击查看评价指标按钮,会自动提示本次评价指标的评估模式,除了基本的评价指标查看之外,也可以下载此次实验评价指标的 csv 文件。
实验结果展示页面,右上角可以选择展示预测结果、实际结果和预测结果和实际结果的差值三幅热力图;如下图就是展示的预测值和实际值的差值热力图,差值越大颜色越深;左下角的三个时间轴是数据随时间的变化,从上到下依次对应右上角的 difference、prediction 和 truth,右上角选中一个热力图,左下角对应时间轴点击播放,可以可视化查看数据随时间的热力图变化。
点击“下载训练模型”按钮,即可下载本次实验的训练模型文件
多模型指标对比是我们在完成多个实验之后,可以对比多个实验的模型评价指标;
步骤:勾选想要对比的实验前的多选框,然后点击右上角的”模型对比“按钮,即可进行多模型指标对比。
模型对比效果图如下:
- 右上角的工具栏提供了恢复初始状态、查看原始数据视图、切换折线图、切换柱状图和下载图片功能;
- 右侧可以勾选想要对比的时间步。