クイックスタート

このページでは、約 10 分で最初の実行を開始する方法を説明します。サインインし、小さなデータセットをアップロードし、ウィザードの 4 つのステップに入力して、実行を開始します。例として、サポートメッセージをラベルに分類するプロンプトを改善します。

始める前に

以下が必要です。

• Skynet アカウント。
• CSV、JSON、または Excel ファイル（.csv、.json、.xlsx、.xls）。各行が 1 つのケースです。
• 1 つ以上の入力列（例: message）。
• 期待される出力の列 1 つ（例: label）。

1. サインイン

Skynet にサインインします。次に、送信ページ /submit を開きます。

2. タスク

最初のステップは タスク です。「何を最適化しますか？」と尋ねられます。

1. 目的 に、良い結果とは何かを書きます。わかりやすい言葉で書いてください。例: 「各サポートメッセージを billing、bug、other のいずれかに分類する。」
2. 任意: 背景 に、オプティマイザーの助けになる補足情報を追加します。
3. アーティファクトの種類 で プロンプト を選択します。
4. 開始バージョン に、現在のプロンプトを貼り付けます。

3. 入力

2 番目のステップは 入力 です。

1. CSV、JSON、Excel ファイルをアップロード を選択するか、保存済みのデータセットを使う場合は ライブラリから選択 を選択します。
2. データの読み取り方 で、各列に役割を割り当てます。
   • 入力: 実行コードがこの列を受け取ります。
   • 出力: 期待値です。メトリクスがこれを受け取ります。
   • スキップ: Skynet はこの列を使いません。
3. 分割は 推奨を使用 のままにします。ほとんどのデータセットでは、学習 70%、検証 15%、テスト 15% に分割されます。

詳しいルールは データセットと分割 をお読みください。

4. オプティマイザー

3 番目のステップは オプティマイザー（「オプティマイザー、モデル、予算」）です。

• オプティマイザーは Auto のままにします。
• リフレクションモデル を選択します。オプティマイザーはこのモデルを使って新しいバージョンを書きます。このモデルは必須です。
• 任意: タスクモデル を選択します。実行コードがこのモデルを使います。
• 予算 では、最大スコアラー実行回数 を既定値の 200 のままにします。

特定のエンジンを選ぶには、エンジン をお読みください。

5. メトリクスと実行

最後のステップは メトリクスと実行（「コードとメトリクス」）です。2 つのファイルを書きます。

from skynet import llm


def run(artifact, input):
    return llm(artifact, input=input["message"])

def score(input, output, expected=None):
    want = expected["label"].strip().lower()
    got = str(output).strip().lower()
    if got == want:
        return 1.0, {"feedback": "Correct label."}
    return 0.0, {"feedback": f"Expected '{want}', got '{got}'."}

artifact はプロンプトの現在のバージョンです。input は 1 つのケースの入力列を保持します。expected は出力列を、その列名をキーとして保持します。

次に、コントラクトチェック の下にある チェック を選択します。このチェックは、サンドボックス内で 3 つのサンプルケースに対してコードとメトリクスを実行します。確認する項目は次のとおりです。

6. 開始して見守る

サマリー画面に「実行の準備ができました」と表示されます。タブは 全般、データ、モデル、予算、報酬 です。設定を確認してから、最適化を開始します。

実行を見守るには、最適化の一覧から実行を開きます。スコアと勝ち残ったバージョンについては、結果 をお読みください。

次のステップ

• より良いメトリクスを書く: メトリクスとスコアラー。
• アーティファクトに合うエンジンを知る: 最適化の仕組み。
• 実行のコストを知る: 請求。