指南
使用标注工具标注数据
手动、副驾和自动驾驶标注、审核轮次,以及导出。
标注工具为数据集的各行添加标签。你可以自己标注每一行,也可以让 AI 模型标注,而你来复核它的结果。最终你会得到一个可以在运行中使用的已标注数据集。
开始会话
通过以下任一方式打开标注工具:
- 从仪表盘打开标注工具。
- 在 数据集 中选中一个数据集,然后点击 标注此数据集。
- 在数据集编辑器中点击 使用 AI 标注。
选择数据
设置流程会询问要标注的数据:
- 从你的库中选择 使用你上传过的数据集。要上传新文件,请先使用数据集。
- 生成合成数据集 会为你创建数据行。此选项需要助手。
选择任务类型
| 任务类型 | 你为每一行提供什么 |
|---|---|
| 是 / 否问题 | 是或否的回答。 |
| 从类别中选择 | 从你定义的列表中选择一个或多个类别。至少添加两个类别。 |
| 书面回答 | 自由文本回答。 |
选择模式
设置流程会问“你想如何标注?”。共有三种模式:
| 模式 | 会发生什么 |
|---|---|
| 手动 | 你自己标注每一行。不涉及 AI。 |
| 副驾(Co-pilot) | 经过简短访谈后,AI 先标注第一批数据。你在复核轮次中保留或更正每个标签。 |
| 自动驾驶(Autopilot) | 经过简短访谈后,AI 标注所有行,并标记出它不确定的行。 |
设置流程会把其中一种模式标记为 推荐。
设置流程中还有 标注模型 选项。默认模型适合大多数数据集。
数据集访谈
副驾和自动驾驶模式都从 数据集访谈 开始。AI 会询问关于你的数据和标签的问题。你可以点击 跳过访谈。
访谈会生成一份 标注指南。指南包含 AI 遵循的规则。使用 添加规则 来加入你自己的规则。
最后,AI 会显示 这就是计划。然后你开始工作:
- 在副驾模式中,点击 标注前 {rows} 行供我复核。
- 在自动驾驶模式中,点击 标注全部 {rows} 行。
副驾复核轮次
在副驾模式中,AI 首先标注一个校准批次。批次大小取决于任务类型:
| 任务类型 | 第一批 |
|---|---|
| 是 / 否问题 | 24 行 |
| 从类别中选择 | 每个类别 6 行,至少 30 行,最多 60 行 |
| 书面回答 | 30 行 |
如果数据集的行数更少,AI 会标注全部行。
复核每个标签
对于每一行,侧栏会显示 AI 给出的标签:
- 阅读该行和标签。
- 要保留标签,请点击 确认(Enter) 或按 Enter。
- 要更改标签,请更正它。侧栏会显示“已更正——AI 会从中学习”。
- 完成后,点击 完成本轮。
侧栏会显示目标:“当我们的一致率达到 {gate}% 时,剩下的我会自己标注。”
一致率门槛
每轮结束后,Skynet 会衡量你与 AI 的一致程度。对于是 / 否任务和类别任务,门槛是 92%。对于书面回答,门槛是 85%。
本轮摘要会显示“你与 AI 的一致率为 {agreement}%”。然后你可以选择:
- 再来一轮复核 会给你另一批数据来复核。
- 标注剩余的 {rows} 行 让 AI 标注其余部分。
自动驾驶与自动标注
当 AI 标注剩余的行时,工作在服务器上运行。你可以放心离开页面,稍后再回来。
- 继续标注 继续已停止的作业。
- 取消——保留已标注的内容 停止作业,并保留已有的标签。
复核不确定的行
AI 会为每个自动标签给出一个置信度。当置信度低于 0.75 时,Skynet 会标记该行。作业完成后,点击 复核 {count} 行 AI 不确定的内容 来检查它们。
手动模式
在手动模式下,你自己标注每一行。下面的键盘快捷键可以帮助你快速工作。
键盘快捷键
| 按键 | 操作 |
|---|---|
| Ctrl+H 或 Cmd+H | 显示快捷键。 |
| Y / N | 在是 / 否行上回答是或否。 |
| 1 到 9 | 在类别行上选择或清除该类别。 |
| U | 跳到下一个未标注的行。 |
| Home | 跳到第一行。 |
| E | 导出为 CSV。 |
结果
结果显示每个标签的来源:
| 计数 | 含义 |
|---|---|
| 人工标注 | 你编写的标签。 |
| 你确认的 AI 标签 | 你在复核中保留的 AI 标签。 |
| 自动标注 | 未经复核的 AI 标签。 |
| 费用 | 本次会话中 AI 工作的费用。 |
来源 列为每一行显示相同的值:你、AI 已确认 或 AI。
保存与导出
保存到库
点击 保存到库 或 移至数据集,将已标注的数据保存为数据集。之后你可以在运行中使用它。
导出文件
点击 导出标签 并选择一种格式:
- CSV
- JSON
- Excel(
.xlsx) - Parquet
- Feather
如果有些行没有标签,Skynet 会要求你确认导出。
导出会添加一个标签列。列名取决于任务类型:
| 任务类型 | 列 |
|---|---|
| 是 / 否问题 | binary_label |
| 从类别中选择 | selected_categories |
| 书面回答 | extracted_text |
label_source 列记录每个标签的来源。
会话
每个标注作业都是一个会话。会话的状态为以下之一:进行中、复核中、自动标注中 或 完成。点击 开始新会话 以使用新设置重新开始。
你可以通过会话的分享对话框把它分享给其他人。关于分享规则,请参阅分享。