Основні поняття
Рушії
GEPA, Best-of-N, Meta-Harness, AutoResearch, AutoSaddler, ShinkaEvolve і Auto.
Рушій — це метод пошуку, який пропонує нові версії вашого артефакту. Skynet має шість нативних рушіїв для артефактів «Промпт», «Код» і «Текст», три оптимізатори DSPy для програм DSPy, а також Auto. Ця сторінка пояснює, що робить кожен із них, коли його обирати і які в нього налаштування.
Якщо ви не знаєте, які рушії підходять для вашого артефакту, спершу прочитайте Як працює оптимізація.
Швидке порівняння
| Рушій | Види артефактів | Налаштування агента-програміста | Налаштування «Макс. ітерацій» |
|---|---|---|---|
| Auto | Усі | Так, для промпту, коду й тексту | Ні |
| GEPA | Промпт, код, текст | Ні | Ні |
| Best-of-N | Промпт, код, текст | Ні | Ні |
| AutoResearch | Промпт, код, текст | Так | Ні |
| Meta-Harness | Промпт, код, текст | Так | Так |
| AutoSaddler | Промпт, код, текст | Так | Так |
| ShinkaEvolve | Промпт, код, текст | Ні. Має власне налаштування редактора. | Так |
| DSPy GEPA | Програма DSPy | Ні | Ні |
| DSPy MIPROv2 | Програма DSPy | Ні | Ні |
| DSPy BootstrapFewShot | Програма DSPy | Ні | Ні |
Майстер позначає GEPA, DSPy GEPA і Auto як оптимізатори, що використовують текст відгуку від вашої метрики.
Auto
Auto — типовий варіант. Що саме він запускає, залежить від типу артефакту:
- Програма DSPy: Auto запускає DSPy GEPA.
- Промпт, код або текст: Auto досліджує простір одночасно п’ятьма рушіями: GEPA, AutoResearch, Meta-Harness, AutoSaddler і ShinkaEvolve. Кожен рушій отримує рівну частку запусків оцінювача: бюджет, поділений на 6. Потім GEPA продовжує від найкращої версії з рештою бюджету.
Auto не використовує Best-of-N.
Обирайте його, коли не знаєте, який рушій підходить. Це найкраща відправна точка.
GEPA
«Рефлексивна еволюція з фронтом Парето з версій». Модель рефлексії читає оцінку й відгук для кожного кейсу й пише кращу версію. GEPA зберігає фронт версій, кожна з яких найкраща на певних кейсах.
Обирайте його, коли ваша метрика дає конкретний відгук і вам потрібен сильний окремий рушій.
Best-of-N
«Незалежні пропозиції від моделі рефлексії; зберігається найкраща». Кожна пропозиція не залежить від інших. Skynet повторно оцінює найкращі пропозиції на валідаційних кейсах.
Обирайте його, коли вам потрібна проста базова лінія для порівняння з іншими рушіями.
AutoResearch
Агент-програміст проводить дослідницькі раунди. Він редагує, оцінює й зберігає те, що допомагає, доки не вичерпається бюджет.
Обирайте його, коли добра зміна потребує кількох кроків дослідження, наприклад для артефакту «Код».
Meta-Harness
Агент-програміст на кожній ітерації пропонує пакет кандидатів. Він використовує повну історію кандидатів та оцінок.
Обирайте його, коли вам потрібен агент, який навчається на історії всіх попередніх спроб. Розмір пакета задає параметр Кандидатів за ітерацію.
AutoSaddler
Агент-програміст читає відгук від вашої метрики й вносить виправлення у версію. Skynet зберігає лише ті виправлення, які підтверджує новий запуск оцінювача.
Обирайте його, коли відгук вашої метрики вказує на чіткі локальні дефекти.
ShinkaEvolve
«Розвиває багато версій на паралельних островах і з’ясовує, які моделі покращують їх найбільше». Це еволюційний пошук у популяції кандидатів із мутаціями й схрещуваннями, які пише модель.
Обирайте його, коли вам потрібне широке дослідження й у вас більший бюджет.
Оптимізатори DSPy
| Оптимізатор | Що робить |
|---|---|
| DSPy GEPA | Читає відгук метрики й розвиває інструкції кожного предиктора. |
| DSPy MIPROv2 | Пропонує інструкції й few-shot демонстрації разом і шукає їхні комбінації за допомогою байєсівської оптимізації. |
| DSPy BootstrapFewShot | Збирає розв’язані приклади, на яких програма відповідає правильно, і додає їх як few-shot демонстрації. Не використовує модель рефлексії. |
DSPy MIPROv2 і DSPy BootstrapFewShot потребують пар (кейсів з очікуваними результатами).
Налаштування
Бюджет
| Налаштування | Типове значення | Діапазон |
|---|---|---|
| Макс. запусків оцінювача | 200 | Від 1 до 100000 (Auto: щонайменше 6) |
| Зупинитися при оцінці | Вимкнено | 0 або більше |
| Макс. ітерацій | Вимкнено | Від 1 до 1000. Лише Meta-Harness, AutoSaddler і ShinkaEvolve. |
Один запуск оцінювача — це один виклик вашої метрики на одному кейсі. Фінальна повторна оцінка початкової версії й переможця не враховується в Макс. запусків оцінювача.
Налаштування агента-програміста
Ці налаштування стосуються Auto, AutoResearch, Meta-Harness і AutoSaddler.
| Налаштування | Типове значення | Діапазон |
|---|---|---|
| Агент-програміст | Codex | Pi, Codex, OpenCode, Prime Agent, Власна команда |
| Кандидатів за ітерацію | 3 | Від 1 до 8. Показується для Auto і Meta-Harness. |
| Макс. викликів інструментів на кандидата | 100 | Від 1 до 1000 |
Налаштування ShinkaEvolve
| Налаштування | Типове значення |
|---|---|
| Як пишуться нові версії | Один виклик моделі. Інший варіант — «Агент-програміст (Pi)». |
| Острови | 2 (від 1 до 8) |
| Інтервал міграції | 10 |
| Вибір батьківської версії | Зважений. Інші варіанти: Степеневий закон, Променевий пошук. |
| Diff-правки / Повні переписування / Схрещування | 60% / 30% / 10%. Сума має становити 100%. |
| Розмір архіву | 40 |
| Паралельні оцінки | 2 |
| Паралельні пропозиції | 2 |
Коли Auto запускає ShinkaEvolve, майстер показує ці налаштування як «Налаштування ShinkaEvolve (коли його запускає Auto)».