Skip to content

帮助中心 ‐ 运营端

zephyr edited this page Jun 11, 2024 · 17 revisions

1. 访问平台

1.1 登录注册

输入用户名+密码,进行登录或注册。

007c8e1daac86e140d2a717a8c6b5af

2.1 标注任务

2.1.1 创建任务

Step1.填写基本信息

  1. 填写任务名称、任务描述
  2. 配置标注规则:配置一道题需要被回答几轮(说明:同一题如要求多次标注,同一个人最多抽到一次)
35a6967a5f3f8fd62bca08f28aa6aaa

Step2.配置标注工具

标注配置

  1. 可从3个维度去配置题目,每个维度可配置的题型如下:
维度 可配置的题型 配置后的示意图
针对整段内容/对话 选择题、文本题(输入框)
选择题/文本题配置说明:
每道题均可配置显示条件,符合条件后此题方出现。
说明:题目需填写完整后,方可配置“条件设置”
选择题可配置项如下:
a. 多选/单选
b. 必填/选填
c. 显示条件
文本题(输入框)可配置项如下:
a. 必填/选填
b. 显示条件
c. 预览是否默认展开
d. 是否支持上传附件(上传格式支持如下:图片-png/jpg/jpeg/gif、视频-mp4/mov、音频-mp3;单个文件大小不超过50M)
e. 最大字数限制
f. 默认提示文案
image
针对对话里的每条回复 选择题、文本题(输入框)、排序(支持配置同一序号是否可重复选择) image
针对对话里的每个提问 选择题、文本题(输入框) image
  1. 上传JSON配置:自定义维度支持上传JSON,可参考任务配置格式 ,任务完成配置后亦支持在任务详情页下载此任务的配置JSON
1 2
e1a1a6a2da001cec203d22ede855c44 5754bc378118a67dff0c30e33bc5245

题目插件配置

说明:插件形式,支持启停,默认为关闭状态

维度 可配置的插件 配置后标注页面的示意图
针对对话中的提问(message-type:send) 内容对比(支持通过快捷键Alt+3对内容对比的弹框进行展开收起)cc09badbf268b7315ac7d15056d7411  ca32b0dd16d86e93b70c28cf78a217d

布局配置

说明:可针对对话(messages)进行布局配置,影响标注页面标注员看到的排版布局。 默认1栏,可选择配置为2栏、3栏或4栏 说明:多栏的排布逻辑 - 每条提问或回复一栏,按上传的顺序横向排布,超出配置栏数后换行 示例如下

1栏 2栏
image image
3栏 4栏
image image

2.1.2 派发任务

1. 预览配置

上传数据后可进行任务的预览,如配置的工具或上传的数据不符合要求请在任务开始前进行修改。说明:任务开始后已配置的标注工具不支持修改

2. 导出配置

支持下载此任务的配置JSON

3. 数据上传

支持上传.jsonl文件,单个文件15M以内。上传后如未开始任务,支持清空数据,一旦开始任务,数据只可新增不可删除。请在上传数据后进行预览配置,查看上传的数据是否符合要求。Jsonl格式要求见数据上传格式 ,支持上传预标注。 说明:如上传的数据中含预标注,系统会进行自动载入,标注员可查看预标注结果并进行修改

4. 任务派发

  • 答题倒计时:每道题在用户手头的最长停留时长,超时未提交将自动回收
  • 标注团队:指定哪个团队标注,只有指定团队方可看到此任务,支持同时指派多个团队

5. 开始任务

一旦开始任务,被指派的标注团队即可看到此标注任务,否则不可见; 说明:任务信息中的工具配置,任务开始后不可修改;任务派发中的“答题倒计时”,任务开始后不可修改;以上模块如需修改,请在任务开始前进行更新

1 2
c5198198bf96fa626237ca427c380a0 535d9aaa3b18e32d4ad9dbc6a5b484a

2.1.3 查看进度

1. 数据上传

任务结束前均支持不断上传新数据

2. 总题数

指上传的题数*要求标注的轮次数

3. 已完成题数

标注完成题数 - 未达标题数

4. 标注进度

待标注的题数、标注中的题数、标注完成的题数、未达标的题数(指运营手动打回的题数)

5. 标注明细

  1. 可查看实际参与标注的用户其答题数情况、未达标题数情况、未达标率 - 未达标题数说明:指运营手动打回的题数
  2. 按钮“查看”:查看这人所有的答题结果
  3. 按钮“打回重做”:可指定标注员,打回此标注员所标注的题目,打回范围:除了已判定“未达标”的剩余题目

6. 下载

支持下载标注结果+标注记录(查看每道题具体谁标注的,什么时间标注的等信息)

7. 查看题目

2种查看模式,分为单题展示模式+源题组合展示模式(适用于一题多次回答,多个答案组合查看);进入查看模式后,可查看全部题目,亦可指定题目范围批量查看或仅查看标为有问题的题目

8. 统计分析

  1. 数据分布:支持选择题的统计分析,查看每个选项的选择占比; 说明:文本题、排序题不支持; 未达标(运营打回重做)的题目不在统计范围内。
  2. 数据筛选:1.单题标注结果筛选:筛选出答题结果选择某个选项的题目列表;2.源题多结果对比:如存在一题多次回答的情况,支持筛选出多个答案均一致或存在不一致的题目 说明:未达标(运营打回重做)的题目不在统计范围内。
1 2
1234754efad48f3f6f8e344fb36dd09 61491ca503c64dcbe94c3543520bfdd

3. 用户管理

此模块仅对运营可见

3.1 标注团队

说明:对标注团队的管理,可新增标注团队,新增后可进行任务的指派(任务指派给哪个团队,哪个团队方可看到任务);系统内置“默认团队”,新注册用户默认加入“默认团队”,加入其他团队后自动退出“默认团队”。

标注团队管理

1. 新增团队

支持新增标注团队

2. 团队成员管理

  1. 查看成员:支持查看所有团队成员
  2. 移除成员:移除后此用户将无法再看到指派给此团队的任务,此用户将自动加入“默认团队”
1 2
c7f7b4f882bb584eb11f42bb9755a68 7580043acdde35a300a6db8ed5a1845

3.2 运营人员

说明:对后台运营成员的管理,添加后此用户方有权限访问后台

运营人员管理

  • 查看成员:支持查看所有运营成员
  • 移除成员:移除后此用户将无法再登录后台
  • 添加成员:输入用户名(前提:此用户必须注册过LabelLLM)即可添加。
1 2
76fb44ae3d59703b042f93e2a86dd6d 85ebf3427b89fbea813ac7608f59d33