-
Notifications
You must be signed in to change notification settings - Fork 45
帮助中心 ‐ 运营端
输入用户名+密码,进行登录或注册。
- 填写任务名称、任务描述
- 配置标注规则:配置一道题需要被回答几轮(说明:同一题如要求多次标注,同一个人最多抽到一次)
- 可从3个维度去配置题目,每个维度可配置的题型如下:
维度 | 可配置的题型 | 配置后的示意图 |
---|---|---|
针对整段内容/对话 | 选择题、文本题(输入框) 选择题/文本题配置说明: 每道题均可配置显示条件,符合条件后此题方出现。 说明:题目需填写完整后,方可配置“条件设置” 选择题可配置项如下: a. 多选/单选 b. 必填/选填 c. 显示条件 文本题(输入框)可配置项如下: a. 必填/选填 b. 显示条件 c. 预览是否默认展开 d. 是否支持上传附件(上传格式支持如下:图片-png/jpg/jpeg/gif、视频-mp4/mov、音频-mp3;单个文件大小不超过50M) e. 最大字数限制 f. 默认提示文案 |
|
针对对话里的每条回复 | 选择题、文本题(输入框)、排序(支持配置同一序号是否可重复选择) | |
针对对话里的每个提问 | 选择题、文本题(输入框) |
- 上传JSON配置:自定义维度支持上传JSON,可参考任务配置格式 ,任务完成配置后亦支持在任务详情页下载此任务的配置JSON
1 | 2 |
---|---|
说明:插件形式,支持启停,默认为关闭状态
维度 | 可配置的插件 | 配置后标注页面的示意图 |
---|---|---|
针对对话中的提问(message-type:send) | 内容对比(支持通过快捷键Alt+3对内容对比的弹框进行展开收起) |
说明:可针对对话(messages)进行布局配置,影响标注页面标注员看到的排版布局。 默认1栏,可选择配置为2栏、3栏或4栏 说明:多栏的排布逻辑 - 每条提问或回复一栏,按上传的顺序横向排布,超出配置栏数后换行 示例如下
1栏 | 2栏 |
---|---|
3栏 | 4栏 |
上传数据后可进行任务的预览,如配置的工具或上传的数据不符合要求请在任务开始前进行修改。说明:任务开始后已配置的标注工具不支持修改
支持下载此任务的配置JSON
支持上传.jsonl文件,单个文件15M以内。上传后如未开始任务,支持清空数据,一旦开始任务,数据只可新增不可删除。请在上传数据后进行预览配置,查看上传的数据是否符合要求。Jsonl格式要求见数据上传格式 ,支持上传预标注。 说明:如上传的数据中含预标注,系统会进行自动载入,标注员可查看预标注结果并进行修改
- 答题倒计时:每道题在用户手头的最长停留时长,超时未提交将自动回收
- 标注团队:指定哪个团队标注,只有指定团队方可看到此任务,支持同时指派多个团队
一旦开始任务,被指派的标注团队即可看到此标注任务,否则不可见; 说明:任务信息中的工具配置,任务开始后不可修改;任务派发中的“答题倒计时”,任务开始后不可修改;以上模块如需修改,请在任务开始前进行更新
1 | 2 |
---|---|
任务结束前均支持不断上传新数据
指上传的题数*要求标注的轮次数
标注完成题数 - 未达标题数
待标注的题数、标注中的题数、标注完成的题数、未达标的题数(指运营手动打回的题数)
- 可查看实际参与标注的用户其答题数情况、未达标题数情况、未达标率 - 未达标题数说明:指运营手动打回的题数
- 按钮“查看”:查看这人所有的答题结果
- 按钮“打回重做”:可指定标注员,打回此标注员所标注的题目,打回范围:除了已判定“未达标”的剩余题目
支持下载标注结果+标注记录(查看每道题具体谁标注的,什么时间标注的等信息)
2种查看模式,分为单题展示模式+源题组合展示模式(适用于一题多次回答,多个答案组合查看);进入查看模式后,可查看全部题目,亦可指定题目范围批量查看或仅查看标为有问题的题目
- 数据分布:支持选择题的统计分析,查看每个选项的选择占比; 说明:文本题、排序题不支持; 未达标(运营打回重做)的题目不在统计范围内。
- 数据筛选:1.单题标注结果筛选:筛选出答题结果选择某个选项的题目列表;2.源题多结果对比:如存在一题多次回答的情况,支持筛选出多个答案均一致或存在不一致的题目 说明:未达标(运营打回重做)的题目不在统计范围内。
1 | 2 |
---|---|
此模块仅对运营可见
说明:对标注团队的管理,可新增标注团队,新增后可进行任务的指派(任务指派给哪个团队,哪个团队方可看到任务);系统内置“默认团队”,新注册用户默认加入“默认团队”,加入其他团队后自动退出“默认团队”。
支持新增标注团队
- 查看成员:支持查看所有团队成员
- 移除成员:移除后此用户将无法再看到指派给此团队的任务,此用户将自动加入“默认团队”
1 | 2 |
---|---|
说明:对后台运营成员的管理,添加后此用户方有权限访问后台
- 查看成员:支持查看所有运营成员
- 移除成员:移除后此用户将无法再登录后台
- 添加成员:输入用户名(前提:此用户必须注册过LabelLLM)即可添加。
1 | 2 |
---|---|