Introduction

Skynet améliore un artefact que vous possédez déjà. Vous lui fournissez une version de départ, un ensemble de cas et une métrique. Skynet propose de nouvelles versions, exécute chacune d'elles sur vos cas, note la sortie avec votre métrique et conserve la meilleure version.

Ce que Skynet optimise

Skynet travaille sur quatre types d'artefacts :

Chaque exécution suit le même contrat. Votre code d'exécution définit run(artifact, input). Votre métrique définit score(input, output, expected=None). La métrique renvoie un score et un retour écrit. L'optimiseur lit ce retour pour améliorer la version suivante.

Un seul produit, plusieurs moteurs

Skynet, c'est Optimize Anything. Le type d'artefact détermine les moteurs qui peuvent travailler dessus :

• Les artefacts Prompt, Code et Texte utilisent les moteurs natifs : GEPA, Best-of-N, Meta-Harness, AutoResearch, AutoSaddler et ShinkaEvolve.
• Les artefacts Programme DSPy utilisent les optimiseurs DSPy : DSPy GEPA, DSPy MIPROv2 et DSPy BootstrapFewShot.

Auto choisit pour vous. Sur un programme DSPy, Auto utilise DSPy GEPA. Sur les autres types d'artefacts, Auto combine cinq moteurs natifs. Lisez Fonctionnement de l'optimisation et Moteurs.

Déroulement d'une exécution

1. Vous décrivez la tâche et définissez la version de départ.
2. Vous fournissez les cas. Skynet les répartit en ensembles d'entraînement, de validation et de test.
3. Vous choisissez un optimiseur, les modèles et un budget.
4. Vous écrivez le code d'exécution et la métrique. Une vérification du contrat les exécute sur des cas d'exemple.
5. Skynet lance l'optimisation et affiche les résultats.

Skynet sélectionne les versions sur les cas de validation. Il indique le score final sur les cas de test. Les moteurs ne voient jamais les cas de test.

Par où commencer