指南
用標註工具標註數據
手動、Co-pilot 同 Autopilot 標註、審核輪次,同埋匯出。
標註工具會為數據集嘅資料列加標籤。你可以自己標註每一列,或者畀 AI 模型標註,你再審查佢嘅成果。結果係一個已標註嘅數據集,你可以喺運行入面用。
開始工作階段
用以下其中一個方法打開標註工具:
- 喺主控台打開標註工具。
- 喺 數據集,揀選一個數據集,再撳 為此數據集加上標籤。
- 喺數據集編輯器,撳 使用 AI 標記。
揀資料
設定會問你要標註邊啲資料:
- 從你嘅資料庫中選取 會用你上載咗嘅數據集。想上載新檔案,先用 數據集。
- 生成合成數據集 會幫你建立資料列。呢個選項需要助手。
揀任務類型
| 任務類型 | 你為每一列提供乜嘢 |
|---|---|
| 是非題 | 一個係或者唔係嘅答案。 |
| 從類別中選擇 | 由你定義嘅清單揀一個或者多個類別。最少加兩個類別。 |
| 文字答案 | 一個自由文字答案。 |
揀模式
設定會問「你想點樣進行標註?」。有三個模式:
| 模式 | 會發生乜事 |
|---|---|
| 手動 | 你自己標註每一列。完全唔用 AI。 |
| Co-pilot | 經過一個簡短訪談之後,AI 會標註第一批。你喺審核輪次保留或者更正每個標籤。 |
| Autopilot | 經過一個簡短訪談之後,AI 會標註所有資料列,並標記佢唔確定嘅資料列。 |
設定會將其中一個模式標示為 建議。
設定亦有一個 標記模型 選擇。預設值適合大部分數據集。
數據集訪談
Co-pilot 同 Autopilot 會由 數據集訪談 開始。AI 會問有關你啲資料同標籤嘅問題。你可以撳 略過訪談。
訪談會建立一份 標註指引。指引裝住 AI 會跟從嘅規則。用 新增規則 加入你自己嘅規則。
最後,AI 會顯示 以下係具體計劃。然後你開始工作:
- 喺 Co-pilot,撳 標記頭 {rows} 行供我審查。
- 喺 Autopilot,撳 標記全部 {rows} 行。
Co-pilot 審核輪次
喺 Co-pilot,AI 會先標註一批校準資料。每批嘅大小取決於任務類型:
| 任務類型 | 第一批 |
|---|---|
| 是非題 | 24 列 |
| 從類別中選擇 | 每個類別 6 列,最少 30 列,最多 60 列 |
| 文字答案 | 30 列 |
如果數據集嘅資料列冇咁多,AI 會全部標註。
審查每個標籤
對每一列,側欄會顯示 AI 嘅標籤:
- 讀資料列同標籤。
- 想保留標籤,撳 確認 (Enter) 或者按 Enter。
- 想改標籤,就更正佢。側欄會顯示「已更正——AI 會從中學習」。
- 完成之後,撳 完成呢一輪。
側欄會顯示目標:「只要我哋嘅一致率達到 {gate}%,剩低嘅我會自己標記。」
一致率門檻
每一輪之後,Skynet 會量度你同 AI 一致嘅比率。是非題同類別任務嘅門檻係 92%。文字答案係 85%。
輪次摘要會顯示「你喺呢批資料中同 AI 嘅一致率為 {agreement}%」。然後你揀:
- 進行多一輪審核 會畀多一批你審查。
- 標註剩餘嘅 {rows} 行 會畀 AI 標註剩低嘅資料列。
Autopilot 同自動標註
AI 標註剩低嘅資料列時,工作會喺伺服器上面運行。你可以放心離開頁面,之後再返嚟。
- 繼續標註 會繼續一個停咗嘅工作。
- 取消 — 保留已標註內容 會停止工作,並保留已有嘅標籤。
審查唔確定嘅資料列
AI 會為每個自動標籤畀一個信心值。信心值低過 0.75 嘅時候,Skynet 會標記嗰一列。工作完成之後,撳 審查 AI 唔確定嘅 {count} 行 檢查佢哋。
手動模式
喺手動模式,你自己標註每一列。下面嘅鍵盤快捷鍵幫你做得快啲。
鍵盤快捷鍵
| 按鍵 | 操作 |
|---|---|
| Ctrl+H 或 Cmd+H | 顯示快捷鍵。 |
| Y / N | 喺是非題資料列答係或者唔係。 |
| 1 至 9 | 喺類別資料列揀選或者清除嗰個類別。 |
| U | 去下一個未標註嘅資料列。 |
| Home | 去第一列。 |
| E | 匯出成 CSV。 |
結果
結果會顯示每個標籤嘅來源:
| 計數 | 意思 |
|---|---|
| 由你標記 | 你寫嘅標籤。 |
| 你已確認嘅 AI 標籤 | 你喺審核時保留嘅 AI 標籤。 |
| 自動標註 | 冇經過審核嘅 AI 標籤。 |
| 費用 | 呢個工作階段入面 AI 工作嘅成本。 |
來源 欄會為每一列顯示同樣嘅值:你、AI 已確認 或者 AI。
儲存同匯出
儲存到資料庫
撳 儲存至資源庫 或者 移至 Datasets,將已標註嘅資料保存為數據集。之後你就可以喺 運行 入面用佢。
匯出檔案
撳 匯出標籤,再揀一個格式:
- CSV
- JSON
- Excel (
.xlsx) - Parquet
- Feather
如果有啲資料列冇標籤,Skynet 會叫你確認匯出。
匯出會加一個標籤欄。欄名取決於任務類型:
| 任務類型 | 欄位 |
|---|---|
| 是非題 | binary_label |
| 從類別中選擇 | selected_categories |
| 文字答案 | extracted_text |
label_source 欄會記錄每個標籤嘅來源。
工作階段
每個標註工作係一個工作階段。工作階段係以下其中一個狀態:進行中、審核中、自動標記緊 或者 完成。撳 開始新工作階段,用新設定重新開始。
你可以喺工作階段嘅分享對話框同其他人分享佢。分享規則請睇 分享。