Введение

Skynet улучшает артефакт, который у вас уже есть. Вы задаёте исходную версию, набор примеров и метрику. Skynet предлагает новые версии, запускает каждую из них на ваших примерах, оценивает результат вашей метрикой и сохраняет лучшую версию.

Что оптимизирует Skynet

Skynet работает с четырьмя видами артефактов:

Все запуски используют один и тот же контракт. Ваш код запуска определяет run(artifact, input). Ваша метрика определяет score(input, output, expected=None). Метрика возвращает оценку и текстовую обратную связь. Оптимизатор читает обратную связь, чтобы сделать следующую версию лучше.

Один продукт, много движков

Skynet — это Optimize Anything. Вид артефакта определяет, какие движки могут с ним работать:

• Артефакты Промпт, Код и Текст используют нативные движки: GEPA, Best-of-N, Meta-Harness, AutoResearch, AutoSaddler и ShinkaEvolve.
• Артефакты Программа DSPy используют оптимизаторы DSPy: DSPy GEPA, DSPy MIPROv2 и DSPy BootstrapFewShot.

Auto выбирает за вас. Для программы DSPy Auto использует DSPy GEPA. Для остальных видов артефактов Auto сочетает пять нативных движков. Прочитайте Как работает оптимизация и Движки.

Как проходит запуск

1. Вы описываете задачу и задаёте исходную версию.
2. Вы передаёте примеры. Skynet делит их на обучающую, валидационную и тестовую выборки.
3. Вы выбираете оптимизатор, модели и бюджет.
4. Вы пишете код запуска и метрику. Проверка контракта запускает их на нескольких примерах.
5. Skynet выполняет оптимизацию и показывает результаты.

Skynet выбирает версии на валидационных примерах. Итоговую оценку он сообщает на тестовых примерах. Движки никогда не видят тестовые примеры.

С чего начать