Introduzione

Skynet migliora un artefatto che hai già. Gli fornisci una versione iniziale, un insieme di casi e una metrica. Skynet propone nuove versioni, esegue ciascuna sui tuoi casi, assegna un punteggio all'output con la tua metrica e conserva la versione migliore.

Che cosa ottimizza Skynet

Skynet lavora su quattro tipi di artefatto:

Ogni esecuzione usa lo stesso contratto. Il tuo codice di esecuzione definisce run(artifact, input). La tua metrica definisce score(input, output, expected=None). La metrica restituisce un punteggio e un feedback scritto. L'ottimizzatore legge il feedback per migliorare la versione successiva.

Un solo prodotto, molti motori

Skynet è Optimize Anything. Il tipo di artefatto determina quali motori possono lavorarci:

• Gli artefatti Prompt, Codice e Testo usano i motori nativi: GEPA, Best-of-N, Meta-Harness, AutoResearch, AutoSaddler e ShinkaEvolve.
• Gli artefatti Programma DSPy usano gli ottimizzatori DSPy: DSPy GEPA, DSPy MIPROv2 e DSPy BootstrapFewShot.

Auto sceglie al posto tuo. Su un programma DSPy, Auto usa DSPy GEPA. Sugli altri tipi di artefatto, Auto combina cinque motori nativi. Leggi Come funziona l'ottimizzazione e Motori.

Come funziona un'esecuzione

1. Descrivi l'attività e imposti la versione iniziale.
2. Fornisci i casi. Skynet li suddivide in set di addestramento, convalida e test.
3. Selezioni un ottimizzatore, i modelli e un budget.
4. Scrivi il codice di esecuzione e la metrica. Un controllo del contratto li esegue su alcuni casi di esempio.
5. Skynet esegue l'ottimizzazione e mostra i risultati.

Skynet seleziona le versioni sui casi di convalida. Riporta il punteggio finale sui casi di test. I motori non vedono mai i casi di test.

Da dove iniziare