Schnellstart

Diese Seite zeigt, wie Sie Ihren ersten Durchlauf in etwa zehn Minuten starten. Sie melden sich an, laden einen kleinen Datensatz hoch, füllen die vier Schritte des Assistenten aus und starten den Durchlauf. Das Beispiel verbessert einen Prompt, der Support-Nachrichten Labels zuordnet.

Bevor Sie beginnen

Sie benötigen:

• Ein Skynet-Konto.
• Eine CSV-, JSON- oder Excel-Datei (.csv, .json, .xlsx oder .xls). Jede Zeile ist ein Fall.
• Eine oder mehrere Eingabespalten, zum Beispiel message.
• Eine Spalte mit der erwarteten Ausgabe, zum Beispiel label.

1. Anmelden

Melden Sie sich bei Skynet an. Öffnen Sie dann die Einreichungsseite unter /submit.

2. Aufgabe

Der erste Schritt ist Aufgabe. Er fragt: „Was möchten Sie optimieren?“

1. Beschreiben Sie unter Ziel, was ein gutes Ergebnis ist. Verwenden Sie einfache Worte, zum Beispiel „Ordne jede Support-Nachricht billing, bug oder other zu.“
2. Optional: Fügen Sie unter Hintergrund Kontext hinzu, der dem Optimierer hilft.
3. Wählen Sie unter Artefakttyp die Option Prompt.
4. Fügen Sie unter Ausgangsversion Ihren aktuellen Prompt ein.

3. Eingaben

Der zweite Schritt ist Eingaben.

1. Wählen Sie CSV-, JSON- oder Excel-Datei hochladen oder Aus der Bibliothek wählen, um einen gespeicherten Datensatz zu verwenden.
2. Geben Sie unter So werden die Daten gelesen jeder Spalte eine Rolle:
   • Eingabe: Der Ausführungscode erhält diese Spalte.
   • Ausgabe: der erwartete Wert. Die Metrik erhält ihn.
   • Überspringen: Skynet verwendet diese Spalte nicht.
3. Behalten Sie für die Aufteilung Empfehlung verwenden bei. Für die meisten Datensätze beträgt die Aufteilung 70 % Training, 15 % Validierung und 15 % Test.

Die vollständigen Regeln stehen unter Datensätze und Aufteilungen.

4. Optimierer

Der dritte Schritt ist Optimierer („Optimierer, Modelle und Budget“).

• Belassen Sie den Optimierer auf Auto.
• Wählen Sie ein Reflexionsmodell. Der Optimierer schreibt damit neue Versionen. Dieses Modell ist erforderlich.
• Optional: Wählen Sie ein Aufgabenmodell. Ihr Ausführungscode verwendet es.
• Belassen Sie unter Budget den Wert Max. Bewertungsläufe auf dem Standardwert 200.

Unter Engines erfahren Sie, wie Sie eine bestimmte Engine wählen.

5. Metrik & Ausführung

Der letzte Schritt ist Metrik & Ausführung („Code und Metrik“). Sie schreiben zwei Dateien.

from skynet import llm


def run(artifact, input):
    return llm(artifact, input=input["message"])

def score(input, output, expected=None):
    want = expected["label"].strip().lower()
    got = str(output).strip().lower()
    if got == want:
        return 1.0, {"feedback": "Correct label."}
    return 0.0, {"feedback": f"Expected '{want}', got '{got}'."}

artifact ist die aktuelle Version Ihres Prompts. input enthält die Eingabespalten eines Falls. expected enthält die Ausgabespalte, mit ihrem Spaltennamen als Schlüssel.

Wählen Sie dann unter Vertragsprüfung die Schaltfläche Prüfen. Die Prüfung führt Ihren Code und Ihre Metrik in der Sandbox auf 3 Beispielfällen aus. Sie prüft:

6. Starten und beobachten

Der Übersichtsbildschirm zeigt „Bereit zum Start“. Seine Tabs sind Allgemein, Daten, Modelle, Budget und Belohnung. Prüfen Sie die Einrichtung und starten Sie dann die Optimierung.

Öffnen Sie den Durchlauf aus Ihrer Liste der Optimierungen, um ihn zu beobachten. Unter Ergebnisse lesen erfahren Sie, wie Sie die Scores und die Gewinnerversion verstehen.

Nächste Schritte

• Schreiben Sie eine bessere Metrik: Metriken und Scorer.
• Erfahren Sie, welche Engines zu Ihrem Artefakt passen: So funktioniert die Optimierung.
• Erfahren Sie, was ein Durchlauf kostet: Budgets und Abrechnung.