結果を読む

実行ページには、実行の進捗と結果が表示されます。このガイドでは、実行ページのタブ、スコア、最良のバージョンをエクスポートまたは提供する方法を説明します。

実行ページのタブ

実行ページには、その実行に該当するタブだけが表示されます。一部のタブは、パス、ステータス、経験レベルによって表示が変わります。

スコア

Skynet は検証ケースでバージョンを選びます。最終スコアはテストケースで報告します。エンジンがテストケースを見ることはありません。データセットと分割 をお読みください。

概要 タブには次の項目が表示されます。

• 改善: 開始バージョンから最良のバージョンへの変化。
• スコアの推移: 実行を通じたスコア。
• スコアの内訳: 各メトリクスと、ベースライン、最適化後、変化 の列。

実行がアクティブな間は、概要に 経過時間、残り時間、レート も表示されます。

プロンプト、コード、テキストの実行では、メトリクスが名前付きスコアを報告する場合、概要に 名前付きスコア も表示されます。

DSPy プログラムの実行では、データ タブに テストセット評価 があります。各テストケースについて、ベースラインと最適化後のスコアが表示されます。

最良のバージョンが開始バージョンである場合

どの候補も開始バージョンを上回らないことがあります。その場合、Skynet は開始バージョンを返します。成果物 タブには、リグレッションガードが適用されたことが表示されます。

実行が予算に達して停止した場合、実行ページには Skynet がどのバージョンを保存したかが表示されます。実行 をお読みください。

最良のバージョンをエクスポートする

プロンプト、コード、テキストの実行

成果物 タブには、アーティファクトの バージョン が一覧表示されます。各バージョンについて、次のことができます。

• バージョンをコピーする。
• バージョンをファイルとしてダウンロードする。
• リポジトリの実行の場合は、バージョンをリポジトリ全体の zip としてダウンロードする。

バージョンを別のバージョンと比較できます。このタブには、バージョンの スコアラーのフィードバック も表示されます。

DSPy プログラムの実行

成果物 タブには 結果をエクスポート パネルがあります。ダウンロード メニューを開きます。実行が持つ形式が表示されます。

最良のバージョンを提供する

最適化された DSPy プログラムを、自分のコードから呼び出せます。使用状況 タブには 2 つの部分があります。

• フォーム。入力フィールドを入力し、実行 を選択すると予測が得られます。
• cURL、Python、JavaScript、Go、DSPy の 連携コード。

プログラムは常に、最適化されたときのモデル設定で実行されます。すべての入力フィールドを指定する必要があります。余分なフィールドは Skynet が無視します。

プログラムを呼び出すには、設定 → API で API トークンを作成します。次に、リクエストを送信します。

export APP_API_TOKEN=skyd_...
curl -X POST "$API_URL/serve/<optimization_id>" \
  -H "Authorization: Bearer $APP_API_TOKEN" \
  -H "Idempotency-Key: $(uuidgen)" \
  -H "Content-Type: application/json" \
  -d '{"inputs": {"question": "What is DSPy?"}}'

import os
import uuid
import requests

response = requests.post(
    f"{os.environ['API_URL']}/serve/<optimization_id>",
    headers={
        "Authorization": f"Bearer {os.environ['APP_API_TOKEN']}",
        "Idempotency-Key": str(uuid.uuid4()),
    },
    json={"inputs": {"question": "What is DSPy?"}},
)
print(response.json()["outputs"])

question は、プログラムの入力フィールドに置き換えてください。使用状況 タブの 連携コード には、実際の URL とフィールド名が入力されています。

レスポンスには、outputs、input_fields、output_fields、model_used が含まれます。

部分的な出力を届いた順に受け取るには、同じリクエストを /serve/<optimization_id>/stream に送信します。レスポンスは Server-Sent Events のストリームです。

認証とその他のエンドポイントについては、API をお読みください。

結果を共有する

実行を他の人と共有したり、公開の探索ギャラリーに掲載したりできます。共有と公開 をお読みください。