Движки

Движок — это метод поиска, который предлагает новые версии вашего артефакта. В Skynet есть шесть нативных движков для артефактов Промпт, Код и Текст, три оптимизатора DSPy для программ DSPy и Auto. На этой странице описано, что делает каждый из них, когда его выбирать и какие у него настройки.

Если вы не знаете, какие движки подходят вашему артефакту, сначала прочитайте Как работает оптимизация.

Краткое сравнение

Мастер отмечает GEPA, DSPy GEPA и Auto как оптимизаторы, которые используют текст обратной связи вашей метрики.

Auto

Auto — вариант по умолчанию. Что он запускает, зависит от типа артефакта:

• Программа DSPy: Auto запускает DSPy GEPA.
• Промпт, Код или Текст: Auto одновременно исследует пространство пятью движками: GEPA, AutoResearch, Meta-Harness, AutoSaddler и ShinkaEvolve. Каждый движок получает равную долю запусков оценщика: бюджет, делённый на 6. Затем GEPA продолжает от лучшей версии с оставшимся бюджетом.

Auto не использует Best-of-N.

Выбирайте его, когда не знаете, какой движок подходит. С него лучше всего начинать.

GEPA

«Рефлексивная эволюция с фронтом Парето из версий». Модель рефлексии читает оценку и обратную связь по каждому примеру и пишет улучшенную версию. GEPA поддерживает фронт версий, каждая из которых лучше всех на каких-то примерах.

Выбирайте его, когда ваша метрика даёт конкретную обратную связь и вам нужен сильный одиночный движок.

Best-of-N

«Независимые предложения от модели рефлексии; сохраняется лучшее». Каждое предложение не зависит от остальных. Skynet заново оценивает лучшие предложения на валидационных примерах.

Выбирайте его, когда вам нужна простая базовая линия для сравнения с другими движками.

AutoResearch

Агент-программист проводит исследовательские раунды. Он вносит правки, оценивает их и сохраняет то, что помогает, пока не закончится бюджет.

Выбирайте его, когда для хорошего изменения нужно несколько шагов исследования, например для артефакта Код.

Meta-Harness

Агент-программист на каждой итерации предлагает пакет кандидатов. Он использует полную историю кандидатов и оценок.

Выбирайте его, когда вам нужен агент, который учится на истории всех предыдущих попыток. Размер пакета задаётся параметром Кандидатов за итерацию.

AutoSaddler

Агент-программист читает обратную связь вашей метрики и вносит исправления в версию. Skynet сохраняет только те исправления, которые подтверждает новый запуск оценщика.

Выбирайте его, когда обратная связь метрики указывает на понятные локальные дефекты.

ShinkaEvolve

«Развивает множество версий на параллельных островах и узнаёт, какие модели улучшают их сильнее всего». Это эволюционный поиск по популяции кандидатов с мутациями и скрещиваниями, которые пишет модель.

Выбирайте его, когда вам нужно широкое исследование и у вас бюджет побольше.

Оптимизаторы DSPy

DSPy MIPROv2 и DSPy BootstrapFewShot требуют пар (примеров с ожидаемыми выходами).

Настройки

Бюджет

Один запуск оценщика — это один вызов вашей метрики на одном примере. Итоговая переоценка исходной версии и победителя не учитывается в Макс. запусков оценщика.

Настройки агента-программиста

Эти настройки действуют для Auto, AutoResearch, Meta-Harness и AutoSaddler.

Настройки ShinkaEvolve

Когда Auto запускает ShinkaEvolve, мастер показывает эти настройки под заголовком «Настройки ShinkaEvolve (когда его запускает Auto)».

Связанные страницы

• Как работает оптимизация
• Метрики и оценщики
• Запуски
• Бюджеты и оплата