गाइड
परिणाम पढ़ें
रन पेज के टैब, स्कोर, और विजेता को एक्सपोर्ट या सर्व करने का तरीका।
रन पेज किसी रन की प्रगति और परिणाम दिखाता है। यह गाइड रन पेज के टैब, स्कोर, और सबसे अच्छे संस्करण को निर्यात करने या सर्व करने का तरीका बताती है।
रन पेज के टैब
रन पेज केवल वे टैब दिखाता है जो रन पर लागू होते हैं। कुछ टैब पाथ, स्थिति और आपके अनुभव स्तर पर निर्भर करते हैं।
| टैब | कब दिखता है | इसमें क्या होता है |
|---|---|---|
| अवलोकन | हमेशा | प्रगति, स्कोर और स्कोर का इतिहास |
| उपयोग | ऐसा सफल रन जिसका प्रोग्राम Skynet सर्व कर सकता है | ऑप्टिमाइज़ किया गया प्रोग्राम चलाने का एक फ़ॉर्म, और इंटीग्रेशन कोड |
| आर्टिफैक्ट | परिणाम वाला प्रॉम्प्ट, कोड या टेक्स्ट रन | आपके आर्टिफ़ैक्ट के संस्करण, सबसे अच्छे संस्करण के साथ |
| डेटा | पूरा हुआ DSPy प्रोग्राम रन | प्रशिक्षण, मान्यकरण और परीक्षण सेट में बँटा डेटा, और परीक्षण सेट मूल्यांकन |
| कोड | जब रन में दिखाने के लिए कोड हो | रन कोड और मेट्रिक |
| रिवॉर्ड | प्रॉम्प्ट, कोड या टेक्स्ट रन जिसका मेट्रिक रिवॉर्ड के हिस्से घोषित करता है | रिवॉर्ड के हिस्से और उनके weights |
| आर्टिफैक्ट | ऑप्टिमाइज़ किए गए प्रॉम्प्ट या फ़ाइलों वाला रन | ऑप्टिमाइज़ किया गया आउटपुट और परिणाम निर्यात करें |
| लॉग | ज़्यादातर रन | रन लॉग |
| उपयोग और लागत | जब आप साइन इन हों | रन ने क्या खर्च किया |
| निर्धारित रन | सफल प्रॉम्प्ट, कोड या टेक्स्ट रन | ऑप्टिमाइज़ेशन को फिर से चलाने का शेड्यूल |
| कॉन्फ़िग | हमेशा | रन का कॉन्फ़िगरेशन |
स्कोर
Skynet मान्यकरण केस पर संस्करण चुनता है। वह अंतिम स्कोर परीक्षण केस पर रिपोर्ट करता है। इंजन परीक्षण केस कभी नहीं देखते। डेटासेट और विभाजन पढ़ें।
अवलोकन टैब दिखाता है:
- सुधार: शुरुआती संस्करण से सबसे अच्छे संस्करण तक का बदलाव।
- स्कोर प्रगति: पूरे रन के दौरान स्कोर।
- स्कोर विवरण: हर मेट्रिक, आधाररेखा, ऑप्टिमाइज़ किया गया और बदलाव कॉलम के साथ।
जब रन सक्रिय होता है, तो अवलोकन बीता समय, शेष और दर भी दिखाता है।
प्रॉम्प्ट, कोड या टेक्स्ट रन के लिए, जब आपका मेट्रिक नामित स्कोर रिपोर्ट करता है, तो अवलोकन नामित स्कोर भी दिखाता है।
DSPy प्रोग्राम रन के लिए, डेटा टैब में परीक्षण सेट मूल्यांकन होता है। यह हर परीक्षण केस के लिए आधाररेखा और ऑप्टिमाइज़ किया गया स्कोर दिखाता है।
जब सबसे अच्छा संस्करण शुरुआती संस्करण हो
कभी-कभी कोई भी उम्मीदवार शुरुआती संस्करण से बेहतर नहीं होता। तब Skynet शुरुआती संस्करण लौटाता है। आर्टिफैक्ट टैब बताता है कि एक रिग्रेशन गार्ड लागू किया गया।
अगर रन अपने बजट पर रुका, तो रन पेज बताता है कि Skynet ने कौन-सा संस्करण सहेजा। रन पढ़ें।
सबसे अच्छा संस्करण निर्यात करें
प्रॉम्प्ट, कोड और टेक्स्ट रन
आर्टिफैक्ट टैब आपके आर्टिफ़ैक्ट के संस्करण की सूची दिखाता है। हर संस्करण के लिए आप:
- संस्करण कॉपी कर सकते हैं।
- संस्करण को फ़ाइल के रूप में डाउनलोड कर सकते हैं।
- रिपॉज़िटरी रन के लिए, संस्करण को पूरी रिपॉज़िटरी की zip के रूप में डाउनलोड कर सकते हैं।
आप किसी संस्करण की तुलना दूसरे संस्करण से कर सकते हैं। टैब किसी संस्करण के लिए स्कोरर फ़ीडबैक भी दिखाता है।
DSPy प्रोग्राम रन
आर्टिफैक्ट टैब में परिणाम निर्यात करें पैनल होता है। डाउनलोड करें मेनू खोलें। यह वे फ़ॉर्मेट दिखाता है जो रन में उपलब्ध हैं:
| विकल्प | फ़ॉर्मेट |
|---|---|
| DSPy प्रोग्राम | .zip, एक आत्मनिर्भर निर्यात जिसे आप चला सकते हैं |
| ऑप्टिमाइज़ किया गया प्रोग्राम | .pkl |
| प्रॉम्प्ट | .json |
| ऑप्टिमाइज़ किया गया कोड | .py |
| लॉग | .csv |
सबसे अच्छा संस्करण सर्व करें
आप ऑप्टिमाइज़ किए गए DSPy प्रोग्राम को अपने कोड से कॉल कर सकते हैं। उपयोग टैब के दो हिस्से हैं:
- एक फ़ॉर्म। इनपुट फ़ील्ड भरें और प्रेडिक्शन पाने के लिए चलाएँ चुनें।
- cURL, Python, JavaScript, Go और DSPy में इंटीग्रेशन कोड।
प्रोग्राम हमेशा उन्हीं मॉडल सेटिंग्स पर चलता है जिनके साथ उसे ऑप्टिमाइज़ किया गया था। आपको सभी इनपुट फ़ील्ड देने होंगे। Skynet अतिरिक्त फ़ील्ड को अनदेखा करता है।
प्रोग्राम को कॉल करने के लिए, सेटिंग्स → API में एक API टोकन बनाएँ। फिर एक अनुरोध भेजें:
export APP_API_TOKEN=skyd_...
curl -X POST "$API_URL/serve/<optimization_id>" \
-H "Authorization: Bearer $APP_API_TOKEN" \
-H "Idempotency-Key: $(uuidgen)" \
-H "Content-Type: application/json" \
-d '{"inputs": {"question": "What is DSPy?"}}'import os
import uuid
import requests
response = requests.post(
f"{os.environ['API_URL']}/serve/<optimization_id>",
headers={
"Authorization": f"Bearer {os.environ['APP_API_TOKEN']}",
"Idempotency-Key": str(uuid.uuid4()),
},
json={"inputs": {"question": "What is DSPy?"}},
)
print(response.json()["outputs"])question की जगह अपने प्रोग्राम के इनपुट फ़ील्ड रखें। उपयोग टैब पर इंटीग्रेशन कोड आपके लिए असली URL और फ़ील्ड के नाम भर देता है।
रिस्पॉन्स में outputs, input_fields, output_fields और model_used होते हैं।
आउटपुट के हिस्से आते ही पाने के लिए, वही अनुरोध /serve/<optimization_id>/stream पर भेजें। रिस्पॉन्स server-sent events की एक स्ट्रीम होता है।
प्रमाणीकरण और दूसरे endpoints के लिए API पढ़ें।
परिणाम साझा करें
आप किसी रन को दूसरे लोगों के साथ साझा कर सकते हैं, या उसे सार्वजनिक खोजें (Explore) गैलरी में सूचीबद्ध कर सकते हैं। साझा करें और प्रकाशित करें पढ़ें।