Einführung

Skynet verbessert ein Artefakt, das Sie bereits haben. Sie geben eine Ausgangsversion, eine Reihe von Fällen und eine Metrik vor. Skynet schlägt neue Versionen vor, führt jede davon auf Ihren Fällen aus, bewertet die Ausgabe mit Ihrer Metrik und behält die beste Version.

Was Skynet optimiert

Skynet arbeitet mit vier Artefaktarten:

Jeder Durchlauf nutzt denselben Vertrag. Ihr Ausführungscode definiert run(artifact, input). Ihre Metrik definiert score(input, output, expected=None). Die Metrik gibt einen Score und schriftliches Feedback zurück. Der Optimierer liest das Feedback, um die nächste Version zu verbessern.

Ein Produkt, viele Engines

Skynet ist Optimize Anything. Die Artefaktart bestimmt, welche Engines daran arbeiten können:

• Prompt-, Code- und Text-Artefakte nutzen die nativen Engines: GEPA, Best-of-N, Meta-Harness, AutoResearch, AutoSaddler und ShinkaEvolve.
• DSPy-Programm-Artefakte nutzen die DSPy-Optimierer: DSPy GEPA, DSPy MIPROv2 und DSPy BootstrapFewShot.

Auto wählt für Sie aus. Bei einem DSPy-Programm nutzt Auto DSPy GEPA. Bei den anderen Artefaktarten kombiniert Auto fünf native Engines. Lesen Sie So funktioniert die Optimierung und Engines.

So läuft ein Durchlauf ab

1. Sie beschreiben die Aufgabe und legen die Ausgangsversion fest.
2. Sie geben die Fälle vor. Skynet teilt sie in Trainings-, Validierungs- und Testmenge auf.
3. Sie wählen einen Optimierer, die Modelle und ein Budget.
4. Sie schreiben den Ausführungscode und die Metrik. Eine Vertragsprüfung führt beide auf Beispielfällen aus.
5. Skynet führt die Optimierung aus und zeigt die Ergebnisse.

Skynet wählt Versionen anhand der Validierungsfälle aus. Den endgültigen Score meldet es auf den Testfällen. Die Engines sehen die Testfälle nie.

Wo Sie anfangen