Aller au contenu
SkynetDocumentation
Pages

Concepts

Moteurs

GEPA, Best-of-N, Meta-Harness, AutoResearch, AutoSaddler, ShinkaEvolve et Auto.

Un moteur est la méthode de recherche qui propose de nouvelles versions de votre artefact. Skynet dispose de six moteurs natifs pour les artefacts Prompt, Code et Texte, de trois optimiseurs DSPy pour les programmes DSPy, et d'Auto. Cette page explique ce que fait chacun, quand le choisir et quels paramètres il propose.

Lisez d'abord Fonctionnement de l'optimisation si vous ne savez pas quels moteurs conviennent à votre artefact.

Comparaison rapide

MoteurTypes d'artefactsParamètres de l'agent de codeParamètre Itérations max
AutoTousOui, sur Prompt, Code et TexteNon
GEPAPrompt, Code, TexteNonNon
Best-of-NPrompt, Code, TexteNonNon
AutoResearchPrompt, Code, TexteOuiNon
Meta-HarnessPrompt, Code, TexteOuiOui
AutoSaddlerPrompt, Code, TexteOuiOui
ShinkaEvolvePrompt, Code, TexteNon. Il a son propre paramètre d'éditeur.Oui
DSPy GEPAProgramme DSPyNonNon
DSPy MIPROv2Programme DSPyNonNon
DSPy BootstrapFewShotProgramme DSPyNonNon

L'assistant signale GEPA, DSPy GEPA et Auto comme des optimiseurs qui utilisent le texte de retour de votre métrique.

Auto

Auto est l'option par défaut. Ce qu'il exécute dépend du type d'artefact :

  • Programme DSPy : Auto exécute DSPy GEPA.
  • Prompt, Code ou Texte : Auto explore avec cinq moteurs en même temps : GEPA, AutoResearch, Meta-Harness, AutoSaddler et ShinkaEvolve. Chaque moteur reçoit une part égale des exécutions de l'évaluateur : le budget divisé par 6. GEPA poursuit ensuite à partir de la meilleure version avec le reste du budget.

Auto n'utilise pas Best-of-N.

Choisissez-le quand vous ne savez pas quel moteur convient. C'est le meilleur point de départ.

GEPA

« Évolution réflexive avec un front de Pareto de versions. » Le modèle de réflexion lit le score et le retour de chaque cas et écrit une meilleure version. GEPA conserve un front de versions qui sont chacune les meilleures sur certains cas.

Choisissez-le quand votre métrique donne un retour précis et que vous voulez un moteur unique performant.

Best-of-N

« Propositions indépendantes du modèle de réflexion ; on garde la meilleure. » Chaque proposition est indépendante des autres. Skynet note à nouveau les meilleures propositions sur les cas de validation.

Choisissez-le quand vous voulez une référence simple à comparer avec d'autres moteurs.

AutoResearch

Un agent de code mène des cycles de recherche. Il modifie, note et conserve ce qui aide, jusqu'à épuisement du budget.

Choisissez-le quand une bonne modification demande plusieurs étapes d'investigation, par exemple sur un artefact Code.

Meta-Harness

Un agent de code propose un lot de candidats à chaque itération. Il s'appuie sur l'historique complet des candidats et de leurs scores.

Choisissez-le quand vous voulez un agent qui apprend de l'historique de toutes les tentatives précédentes. Utilisez Candidats par itération pour définir la taille du lot.

AutoSaddler

Un agent de code lit le retour de votre métrique et corrige la version. Skynet ne conserve que les correctifs qu'une nouvelle exécution de l'évaluateur confirme.

Choisissez-le quand le retour de votre métrique pointe des défauts clairs et localisés.

ShinkaEvolve

« Fait évoluer de nombreuses versions dans des îles parallèles et apprend quels modèles les améliorent le plus. » C'est une recherche évolutionnaire sur une population de candidats, avec des mutations et des croisements écrits par un modèle.

Choisissez-le quand vous voulez une exploration large et que vous disposez d'un budget plus important.

Optimiseurs DSPy

OptimiseurCe qu'il fait
DSPy GEPALit le retour de la métrique et fait évoluer les instructions de chaque prédicteur.
DSPy MIPROv2Propose ensemble des instructions et des démonstrations few-shot, et explore leurs combinaisons par optimisation bayésienne.
DSPy BootstrapFewShotCollecte des exemples résolus que le programme réussit et les ajoute comme démonstrations few-shot. Il n'utilise pas de modèle de réflexion.

DSPy MIPROv2 et DSPy BootstrapFewShot ont besoin de paires (des cas avec des sorties attendues).

Paramètres

Budget

ParamètrePar défautPlage
Exécutions du scoreur max.2001 à 100000 (Auto : au moins 6)
Arrêter au scoreDésactivé0 ou plus
Itérations max.Désactivé1 à 1000. Uniquement Meta-Harness, AutoSaddler et ShinkaEvolve.

Une exécution de l'évaluateur correspond à un appel de votre métrique sur un cas. La notation finale de la version de départ et de la version gagnante ne compte pas dans Exécutions du scoreur max.

Paramètres de l'agent de code

Ces paramètres s'appliquent à Auto, AutoResearch, Meta-Harness et AutoSaddler.

ParamètrePar défautPlage
Agent de codeCodexPi, Codex, OpenCode, Prime Agent, commande personnalisée
Candidats par itération31 à 8. Affiché pour Auto et Meta-Harness.
Appels d'outils max. par candidat1001 à 1000

Paramètres de ShinkaEvolve

ParamètrePar défaut
Mode d'écriture des nouvelles versionsUn seul appel de modèle. L'autre option est « Agent de code (Pi) ».
Îles2 (1 à 8)
Intervalle de migration10
Sélection des parentsPondérée. Autres options : loi de puissance, recherche en faisceau.
Modifications par diff / Réécritures complètes / Croisements60 % / 30 % / 10 %. La somme doit faire 100 %.
Taille de l'archive40
Évaluations parallèles2
Propositions parallèles2

Quand Auto exécute ShinkaEvolve, l'assistant affiche ces paramètres sous le titre « Paramètres de ShinkaEvolve (quand Auto l'exécute) ».

Pages associées