Запуск через майстер

Майстер надсилання налаштовує й починає запуск. Він має чотири кроки: Завдання, Вхідні дані, Оптимізатор і Метрика й запуск. Кожен крок має один або кілька екранів. У цьому посібнику пояснено кожен екран — від завдання до перевірки контракту та старту запуску.

Крок 1: Завдання

Що ви хочете оптимізувати?

Опишіть своє завдання асистентові в чаті Інтерв'ю про завдання. Асистент заповнює для вас два поля:

• Мета (З підказками: Завдання): що оптимізований артефакт має робити добре.
• Контекст (З підказками: Додатковий контекст): контекст, обмеження та як виглядає добрий результат.

Обидва поля можна редагувати. Асистент не перезаписує ваших змін.

Що оптимізуватиметься

Виберіть Тип артефакту:

Потім вкажіть Початкову версію (З підказками: З чого починаємо). Вставте поточну версію або попросіть асистента написати чернетку.

Оптимізація репозиторію

Також можна оптимізувати код у репозиторії. Заповніть такі поля:

• Репозиторій: виберіть репозиторій або вкажіть його у форматі owner/name.
• Коміт: SHA довжиною 40 символів. Залиште поле порожнім, щоб використати останній коміт у гілці.
• Шляхи, які оптимізатор може змінювати: один файл або одна папка в кожному рядку. Крапка означає весь репозиторій.
• Команда встановлення: виконується в кожній новій копії репозиторію перед оцінюванням. Залиште поле порожнім, і Skynet сам знайде команду.

Крок 2: Вхідні дані

Дані

Додайте приклади для запуску. Ви можете:

• Завантажити файл CSV, JSON або Excel.
• Вибрати набір даних зі своєї бібліотеки.

Прочитайте Набори даних і розбиття та Підготовка набору даних.

Як читати дані

Асистент читає дані й пропонує, як їх використати. Перевірте його вибір:

• Позначте кожен стовпець як вхідний, як очікуваний вивід або як ігнорований.
• Без вихідного стовпця Skynet використовує перший рядок як один вхід.
• Задайте розбиття на навчальний, валідаційний і тестовий набори. Сума часток розбиття має дорівнювати 1.

Крок 3: Оптимізатор

На рівні «Стандартний» цей крок має один екран. Він показує оптимізатор, бюджет і, за потреби, моделі. На рівнях «З підказками» та «Експерт» крок має три екрани: Оптимізатор, Моделі і Бюджет.

Оптимізатор

Майстер показує лише ті оптимізатори, що підходять для вашого завдання та вхідних даних. Auto вибрано за замовчуванням. За бажанням виберіть інший оптимізатор. Прочитайте Рушії та Як працює оптимізація.

Моделі

• Модель завдання: модель, яку викликає ваш код запуску. Залиште поле порожнім, якщо ваш код запуску не викликає модель. Програма DSPy обов’язково потребує моделі завдання.
• Модель рефлексії: модель, яка читає оцінки й відгуки та пише наступних кандидатів. З оптимізатором на основі агента для коду це модель агента.

Бюджет

Задайте, як довго запуск може продовжувати спроби і скільки він може витратити:

• Макс. запусків оцінювача (З підказками: Макс. спроб): найбільша кількість кандидатів, яких оцінює Skynet. Деяким оптимізаторам потрібна мінімальна кількість.
• Зупинитися при оцінці (З підказками: Зупинитися раніше, коли оцінка досягне): запуск зупиняється, коли версія досягає цієї оцінки.
• Макс. ітерацій (З підказками: Макс. раундів): показується для оптимізаторів, які це підтримують.
• Ліміт витрат: максимум, який запуск може витратити. За замовчуванням це $5 або сума Потрібно для старту, якщо вона більша. Також можна вибрати Без ліміту.

Майстер не дає продовжити, якщо ліміт або ваш баланс менші за суму, потрібну для старту. Прочитайте Бюджети й оплата.

Крок 4: Метрика й запуск

Код і метрика

Напишіть два файли:

• run.py: код запуску, який виконує ваш артефакт на одному прикладі.
• metric.py: метрика, яка оцінює вивід і пише відгук.

Агент для коду може написати й змінити будь-який файл за вас. Він перевіряє свій код і виправляє те, що не працює. Можна додати до 20 додаткових файлів. Прочитайте Метрики й оцінювачі.

Якщо ваша метрика викликає llm(), задайте Модель метрики. За замовчуванням вона використовує модель рефлексії.

Перевірка контракту

Перевірка контракту (З підказками: Тестовий запуск) виконує ваш код і метрику в пісочниці на 3 прикладах. Вона перевіряє:

• сигнатуру коду запуску,
• сигнатуру метрики,
• модель метрики,
• код запуску на прикладах,
• значення, яке повертає метрика.

Виберіть Перевірити (З підказками: Протестувати). Запуск не можна почати, доки перевірка не пройде. Якщо після успішної перевірки ви змінюєте код або налаштування, запустіть перевірку знову.

Запуск за розкладом

Після успішного завершення оптимізацію можна запускати знову за розкладом. За замовчуванням цей параметр має значення Вимк..

Готово до запуску

Останній екран показує підсумок у п’яти вкладках: Загальне, Дані, Моделі, Бюджет і Винагорода. Перевірте налаштування, а потім почніть оптимізацію.

Підсумок також показує видимість запуску. Нові запуски за замовчуванням публічні. Змініть це пізніше в діалозі Доступ і конфіденційність на сторінці запуску. Прочитайте Спільний доступ і публікація.

Після старту

Відкривається сторінка запуску. Прочитайте Запуски та Читання результатів.