Руководства
Разметка данных в разметчике
Ручная разметка, «Второй пилот» и «Автопилот», раунды проверки и экспорт.
Разметчик добавляет метки к строкам набора данных. Можно разметить каждую строку самостоятельно или поручить разметку ИИ-модели и проверять её работу. В результате получается размеченный набор данных, который можно использовать в запуске.
Начало сеанса
Открыть разметчик можно одним из способов:
- Откройте разметчик с панели управления.
- В разделе Наборы данных выберите один набор данных и нажмите Разметить этот набор данных.
- В редакторе набора данных нажмите Разметить с помощью ИИ.
Выбор данных
При настройке разметчик спрашивает, какие данные размечать:
- Выбрать из вашей библиотеки использует набор данных, который вы загрузили. Чтобы загрузить новый файл, сначала откройте Наборы данных.
- Сгенерировать синтетический датасет создаёт строки за вас. Для этого варианта нужен ассистент.
Выбор типа задачи
| Тип задачи | Что вы указываете для каждой строки |
|---|---|
| Вопрос «да / нет» | Ответ «да» или «нет». |
| Выбор из категорий | Одну или несколько категорий из списка, который вы задаёте. Добавьте хотя бы две категории. |
| Письменные ответы | Ответ в свободной форме. |
Выбор режима
При настройке разметчик спрашивает: «Как вы хотите размечать?». Есть три режима:
| Режим | Что происходит |
|---|---|
| Вручную | Вы размечаете каждую строку сами. ИИ не участвует. |
| Второй пилот (Co-pilot) | После короткого интервью ИИ размечает первую партию. В раундах проверки вы сохраняете или исправляете каждую метку. |
| Автопилот (Autopilot) | После короткого интервью ИИ размечает все строки и отмечает строки, в которых он не уверен. |
Один режим при настройке отмечен как Рекомендуется.
При настройке также можно выбрать Модель разметки. Модель по умолчанию подходит для большинства наборов данных.
Интервью о наборе данных
Режимы «Второй пилот» и «Автопилот» начинаются с этапа Интервью о наборе данных. ИИ задаёт вопросы о ваших данных и метках. Можно нажать Пропустить интервью.
По итогам интервью составляется Руководство по разметке. В руководстве собраны правила, которым следует ИИ. Чтобы добавить своё правило, используйте Добавить правило.
В конце ИИ показывает Вот план. Затем вы начинаете работу:
- В режиме «Второй пилот» нажмите Разметить первые {rows} строк для моей проверки.
- В режиме «Автопилот» нажмите Разметить все {rows} строк.
Раунды проверки в режиме «Второй пилот»
В режиме «Второй пилот» ИИ сначала размечает калибровочную партию. Размер партии зависит от типа задачи:
| Тип задачи | Первая партия |
|---|---|
| Вопрос «да / нет» | 24 строки |
| Выбор из категорий | 6 строк на каждую категорию, не меньше 30 и не больше 60 |
| Письменные ответы | 30 строк |
Если в наборе данных меньше строк, ИИ размечает их все.
Проверка каждой метки
Для каждой строки боковая панель показывает метку ИИ:
- Прочитайте строку и метку.
- Чтобы сохранить метку, нажмите Подтвердить (Enter) или клавишу Enter.
- Чтобы изменить метку, исправьте её. Панель покажет «Исправлено — ИИ учтёт это».
- Закончив, нажмите Завершить этот раунд.
Панель показывает цель: «Как только мы будем соглашаться в {gate}% случаев, я размечу остальное сам.»
Порог согласия
После каждого раунда Skynet измеряет, как часто вы соглашались с ИИ. Для задач «да / нет» и задач с категориями порог равен 92%. Для письменных ответов — 85%.
Итог раунда показывает: «Вы согласились с ИИ в {agreement}% случаев». Затем вы выбираете:
- Ещё один раунд проверки даёт вам ещё одну партию для проверки.
- Разметить оставшиеся {rows} строк поручает ИИ разметить остальное.
Автопилот и автоматическая разметка
Когда ИИ размечает оставшиеся строки, работа выполняется на сервере. Можно спокойно уйти со страницы и вернуться позже.
- Продолжить разметку продолжает остановленное задание.
- Отменить — сохранить размеченное останавливает задание и сохраняет уже готовые метки.
Проверка строк с низкой уверенностью
ИИ присваивает каждой автоматической метке уровень уверенности. Skynet отмечает строку, если уверенность ниже 0.75. После завершения задания нажмите Проверьте {count} строк, в которых ИИ не был уверен, чтобы проверить их.
Ручной режим
В ручном режиме вы размечаете каждую строку сами. Сочетания клавиш ниже помогают работать быстро.
Сочетания клавиш
| Клавиша | Действие |
|---|---|
| Ctrl+H или Cmd+H | Показать сочетания клавиш. |
| Y / N | Ответить «да» или «нет» в строке с вопросом «да / нет». |
| 1–9 | Выбрать категорию или снять выбор в строке с категориями. |
| U | Перейти к следующей неразмеченной строке. |
| Home | Перейти к первой строке. |
| E | Экспортировать в CSV. |
Результаты
Результаты показывают, откуда взялась каждая метка:
| Счётчик | Значение |
|---|---|
| Размечено вручную | Метки, которые написали вы. |
| Метки ИИ, подтвержденные вами | Метки ИИ, которые вы сохранили при проверке. |
| Размечено автоматически | Метки ИИ без проверки. |
| Стоимость | Стоимость работы ИИ в этом сеансе. |
Столбец Источник показывает те же значения для каждой строки: Вы, ИИ подтверждено или ИИ.
Сохранение и экспорт
Сохранение в библиотеку
Нажмите Сохранить в библиотеку или Переместить в «Наборы данных», чтобы сохранить размеченные данные как набор данных. После этого их можно использовать в запуске.
Экспорт в файл
Нажмите Экспортировать метки и выберите формат:
- CSV
- JSON
- Excel (
.xlsx) - Parquet
- Feather
Если у некоторых строк нет метки, Skynet попросит подтвердить экспорт.
Экспорт добавляет столбец с метками. Его имя зависит от типа задачи:
| Тип задачи | Столбец |
|---|---|
| Вопрос «да / нет» | binary_label |
| Выбор из категорий | selected_categories |
| Письменные ответы | extracted_text |
Столбец label_source записывает, откуда взялась каждая метка.
Сеансы
Каждое задание разметки — это сеанс. У сеанса один из статусов: В процессе, На проверке, Автоматическая разметка или Готово. Чтобы начать заново с новыми настройками, нажмите Начать новый сеанс.
Сеансом можно поделиться с другими людьми через его диалог общего доступа. Правила общего доступа описаны в разделе Общий доступ и публикация.
Что дальше
- Подготовьте набор данных перед разметкой.
- Начните запуск с размеченными данными.
- Спросите панель агента о ваших сеансах разметки.