Посібники
Читання результатів
Вкладки сторінки запуску, оцінки та як експортувати або розгорнути найкращий варіант.
Сторінка запуску показує перебіг і результати запуску. У цьому посібнику пояснено вкладки сторінки запуску, оцінки, а також як експортувати або розгорнути найкращу версію.
Вкладки сторінки запуску
Сторінка запуску показує лише ті вкладки, які стосуються запуску. Деякі вкладки залежать від шляху, статусу та вашого рівня досвіду.
| Вкладка | Коли показується | Що містить |
|---|---|---|
| Огляд | Завжди | Перебіг, оцінки та історію оцінок |
| Використання | Успішний запуск із програмою, яку Skynet може розгорнути | Форму для виконання оптимізованої програми та код інтеграції |
| Артефакт | Запуск типу Промпт, Код або Текст із результатом | Версії вашого артефакту разом із найкращою версією |
| Дані | Завершений запуск програми DSPy | Дані, розбиті на навчальний, валідаційний і тестовий набори, та оцінку тестового набору |
| Код | Коли запуск має код для показу | Код запуску та метрику |
| Винагорода | Запуск типу Промпт, Код або Текст, метрика якого оголошує частини винагороди | Частини винагороди та їхні ваги |
| Артефакт | Запуск з оптимізованим промптом або файлами | Оптимізований результат і Експортувати результати |
| Журнали | Більшість запусків | Журнал запуску |
| Використання та вартість | Коли ви ввійшли в систему | Скільки витратив запуск |
| Запуск за розкладом | Успішний запуск типу Промпт, Код або Текст | Розклад для повторного запуску оптимізації |
| Конфігурація | Завжди | Конфігурацію запуску |
Оцінки
Skynet вибирає версії за валідаційними прикладами. Фінальну оцінку він повідомляє за тестовими прикладами. Рушії ніколи не бачать тестових прикладів. Прочитайте Набори даних і розбиття.
Вкладка Огляд показує:
- Покращення: зміну від початкової версії до найкращої.
- Динаміка оцінки: оцінку протягом запуску.
- Розбивка оцінки: кожну метрику зі стовпцями Базовий рівень, Оптимізовано і Зміна.
Поки запуск активний, огляд також показує Минуло, Залишилося і Темп.
Для запуску типу Промпт, Код або Текст огляд також показує Іменовані оцінки, коли ваша метрика повідомляє іменовані оцінки.
Для запуску програми DSPy вкладка Дані має розділ Оцінка тестового набору. Він показує базову та оптимізовану оцінку для кожного тестового прикладу.
Коли найкраща версія — це початкова версія
Іноді жоден кандидат не перевершує початкову версію. Тоді Skynet повертає початкову версію. Вкладка Артефакт повідомляє, що спрацював захист від регресії.
Якщо запуск зупинився, вичерпавши бюджет, сторінка запуску повідомляє, яку версію зберіг Skynet. Прочитайте Запуски.
Експорт найкращої версії
Запуски типу Промпт, Код і Текст
Вкладка Артефакт показує Версії вашого артефакту. Для кожної версії можна:
- Скопіювати версію.
- Завантажити версію як файл.
- Для запуску з репозиторієм — завантажити версію як zip-архів усього репозиторію.
Версію можна порівняти з іншою версією. Вкладка також показує Відгук оцінювача для версії.
Запуски програм DSPy
Вкладка Артефакт має панель Експортувати результати. Відкрийте меню Завантажити. Воно показує формати, доступні для запуску:
| Варіант | Формат |
|---|---|
| Програма DSPy | .zip, самодостатній експорт, який можна виконати |
| Оптимізована програма | .pkl |
| Промпт | .json |
| Оптимізований код | .py |
| Журнали | .csv |
Розгортання найкращої версії
Оптимізовану програму DSPy можна викликати з власного коду. Вкладка Використання має дві частини:
- Форма. Введіть вхідні поля й виберіть Запустити, щоб отримати прогноз.
- Код інтеграції на cURL, Python, JavaScript, Go і DSPy.
Програма завжди працює з тими налаштуваннями моделі, з якими її оптимізували. Потрібно передати всі вхідні поля. Зайві поля Skynet ігнорує.
Щоб викликати програму, створіть API-токен у Налаштування → API. Потім надішліть запит:
export APP_API_TOKEN=skyd_...
curl -X POST "$API_URL/serve/<optimization_id>" \
-H "Authorization: Bearer $APP_API_TOKEN" \
-H "Idempotency-Key: $(uuidgen)" \
-H "Content-Type: application/json" \
-d '{"inputs": {"question": "What is DSPy?"}}'import os
import uuid
import requests
response = requests.post(
f"{os.environ['API_URL']}/serve/<optimization_id>",
headers={
"Authorization": f"Bearer {os.environ['APP_API_TOKEN']}",
"Idempotency-Key": str(uuid.uuid4()),
},
json={"inputs": {"question": "What is DSPy?"}},
)
print(response.json()["outputs"])Замініть question на вхідні поля вашої програми. Код інтеграції на вкладці Використання підставляє справжню URL-адресу та назви полів за вас.
Відповідь містить outputs, input_fields, output_fields і model_used.
Щоб отримувати часткові результати в міру їх появи, надішліть той самий запит на /serve/<optimization_id>/stream. Відповідь — це потік server-sent events.
Прочитайте API про автентифікацію та інші ендпоінти.
Спільний доступ до результатів
Ви можете надати іншим людям доступ до запуску або опублікувати його в публічній галереї «Огляд». Прочитайте Спільний доступ і публікація.