Вступ

Skynet покращує артефакт, який у вас уже є. Ви надаєте початкову версію, набір кейсів і метрику. Skynet пропонує нові версії, запускає кожну з них на ваших кейсах, оцінює результат вашою метрикою й зберігає найкращу версію.

Що оптимізує Skynet

Skynet працює з чотирма видами артефактів:

Кожен запуск використовує той самий контракт. Ваш код запуску визначає run(artifact, input). Ваша метрика визначає score(input, output, expected=None). Метрика повертає оцінку й письмовий відгук. Оптимізатор читає відгук, щоб зробити наступну версію кращою.

Один продукт, багато рушіїв

Skynet — це Optimize Anything. Вид артефакту визначає, які рушії можуть із ним працювати:

• Артефакти «Промпт», «Код» і «Текст» використовують нативні рушії: GEPA, Best-of-N, Meta-Harness, AutoResearch, AutoSaddler і ShinkaEvolve.
• Артефакти «Програма DSPy» використовують оптимізатори DSPy: DSPy GEPA, DSPy MIPROv2 і DSPy BootstrapFewShot.

Auto обирає за вас. Для програми DSPy Auto використовує DSPy GEPA. Для інших видів артефактів Auto поєднує п’ять нативних рушіїв. Прочитайте Як працює оптимізація і Рушії.

Як працює запуск

1. Ви описуєте завдання й задаєте початкову версію.
2. Ви надаєте кейси. Skynet ділить їх на навчальну, валідаційну й тестову вибірки.
3. Ви обираєте оптимізатор, моделі й бюджет.
4. Ви пишете код запуску й метрику. Перевірка контракту запускає їх на прикладах кейсів.
5. Skynet виконує оптимізацію й показує результати.

Skynet обирає версії на валідаційних кейсах. Підсумкову оцінку він повідомляє на тестових кейсах. Рушії ніколи не бачать тестових кейсів.

З чого почати