跳到内容
Skynet文档
页面

指南

使用标注工具标注数据

手动、副驾和自动驾驶标注、审核轮次,以及导出。

标注工具为数据集的各行添加标签。你可以自己标注每一行,也可以让 AI 模型标注,而你来复核它的结果。最终你会得到一个可以在运行中使用的已标注数据集。

开始会话

通过以下任一方式打开标注工具:

  • 从仪表盘打开标注工具。
  • 在 数据集 中选中一个数据集,然后点击 标注此数据集。
  • 在数据集编辑器中点击 使用 AI 标注。

选择数据

设置流程会询问要标注的数据:

  • 从你的库中选择 使用你上传过的数据集。要上传新文件,请先使用数据集。
  • 生成合成数据集 会为你创建数据行。此选项需要助手。

选择任务类型

任务类型你为每一行提供什么
是 / 否问题是或否的回答。
从类别中选择从你定义的列表中选择一个或多个类别。至少添加两个类别。
书面回答自由文本回答。

选择模式

设置流程会问“你想如何标注?”。共有三种模式:

模式会发生什么
手动你自己标注每一行。不涉及 AI。
副驾(Co-pilot)经过简短访谈后,AI 先标注第一批数据。你在复核轮次中保留或更正每个标签。
自动驾驶(Autopilot)经过简短访谈后,AI 标注所有行,并标记出它不确定的行。

设置流程会把其中一种模式标记为 推荐。

设置流程中还有 标注模型 选项。默认模型适合大多数数据集。

数据集访谈

副驾和自动驾驶模式都从 数据集访谈 开始。AI 会询问关于你的数据和标签的问题。你可以点击 跳过访谈。

访谈会生成一份 标注指南。指南包含 AI 遵循的规则。使用 添加规则 来加入你自己的规则。

最后,AI 会显示 这就是计划。然后你开始工作:

  • 在副驾模式中,点击 标注前 {rows} 行供我复核。
  • 在自动驾驶模式中,点击 标注全部 {rows} 行。

副驾复核轮次

在副驾模式中,AI 首先标注一个校准批次。批次大小取决于任务类型:

任务类型第一批
是 / 否问题24 行
从类别中选择每个类别 6 行,至少 30 行,最多 60 行
书面回答30 行

如果数据集的行数更少,AI 会标注全部行。

复核每个标签

对于每一行,侧栏会显示 AI 给出的标签:

  1. 阅读该行和标签。
  2. 要保留标签,请点击 确认(Enter) 或按 Enter。
  3. 要更改标签,请更正它。侧栏会显示“已更正——AI 会从中学习”。
  4. 完成后,点击 完成本轮。

侧栏会显示目标:“当我们的一致率达到 {gate}% 时,剩下的我会自己标注。”

一致率门槛

每轮结束后,Skynet 会衡量你与 AI 的一致程度。对于是 / 否任务和类别任务,门槛是 92%。对于书面回答,门槛是 85%。

本轮摘要会显示“你与 AI 的一致率为 {agreement}%”。然后你可以选择:

  • 再来一轮复核 会给你另一批数据来复核。
  • 标注剩余的 {rows} 行 让 AI 标注其余部分。

自动驾驶与自动标注

当 AI 标注剩余的行时,工作在服务器上运行。你可以放心离开页面,稍后再回来。

  • 继续标注 继续已停止的作业。
  • 取消——保留已标注的内容 停止作业,并保留已有的标签。

复核不确定的行

AI 会为每个自动标签给出一个置信度。当置信度低于 0.75 时,Skynet 会标记该行。作业完成后,点击 复核 {count} 行 AI 不确定的内容 来检查它们。

手动模式

在手动模式下,你自己标注每一行。下面的键盘快捷键可以帮助你快速工作。

键盘快捷键

按键操作
Ctrl+H 或 Cmd+H显示快捷键。
Y / N在是 / 否行上回答是或否。
1 到 9在类别行上选择或清除该类别。
U跳到下一个未标注的行。
Home跳到第一行。
E导出为 CSV。

结果

结果显示每个标签的来源:

计数含义
人工标注你编写的标签。
你确认的 AI 标签你在复核中保留的 AI 标签。
自动标注未经复核的 AI 标签。
费用本次会话中 AI 工作的费用。

来源 列为每一行显示相同的值:你、AI 已确认 或 AI。

保存与导出

保存到库

点击 保存到库 或 移至数据集,将已标注的数据保存为数据集。之后你可以在运行中使用它。

导出文件

点击 导出标签 并选择一种格式:

  • CSV
  • JSON
  • Excel(.xlsx)
  • Parquet
  • Feather

如果有些行没有标签,Skynet 会要求你确认导出。

导出会添加一个标签列。列名取决于任务类型:

任务类型列
是 / 否问题binary_label
从类别中选择selected_categories
书面回答extracted_text

label_source 列记录每个标签的来源。

会话

每个标注作业都是一个会话。会话的状态为以下之一:进行中、复核中、自动标注中 或 完成。点击 开始新会话 以使用新设置重新开始。

你可以通过会话的分享对话框把它分享给其他人。关于分享规则,请参阅分享。

后续步骤