अवधारणाएँ
इंजन
GEPA, Best-of-N, Meta-Harness, AutoResearch, AutoSaddler, ShinkaEvolve और Auto।
इंजन खोज का वह तरीका है जो आपके आर्टिफ़ैक्ट के नए संस्करण प्रस्तावित करता है। Skynet में प्रॉम्प्ट, कोड और टेक्स्ट आर्टिफ़ैक्ट के लिए छह नेटिव इंजन, DSPy प्रोग्राम के लिए तीन DSPy ऑप्टिमाइज़र, और Auto हैं। यह पेज बताता है कि हर इंजन क्या करता है, उसे कब चुनें, और उसमें कौन-सी सेटिंग्स हैं।
अगर आप नहीं जानते कि कौन-से इंजन आपके आर्टिफ़ैक्ट के लिए सही हैं, तो पहले ऑप्टिमाइज़ेशन कैसे काम करता है पढ़ें।
त्वरित तुलना
| इंजन | आर्टिफ़ैक्ट प्रकार | कोडिंग एजेंट सेटिंग्स | अधिकतम इटरेशन सेटिंग |
|---|---|---|---|
| Auto | सभी | हाँ, प्रॉम्प्ट, कोड और टेक्स्ट पर | नहीं |
| GEPA | प्रॉम्प्ट, कोड, टेक्स्ट | नहीं | नहीं |
| Best-of-N | प्रॉम्प्ट, कोड, टेक्स्ट | नहीं | नहीं |
| AutoResearch | प्रॉम्प्ट, कोड, टेक्स्ट | हाँ | नहीं |
| Meta-Harness | प्रॉम्प्ट, कोड, टेक्स्ट | हाँ | हाँ |
| AutoSaddler | प्रॉम्प्ट, कोड, टेक्स्ट | हाँ | हाँ |
| ShinkaEvolve | प्रॉम्प्ट, कोड, टेक्स्ट | नहीं। इसकी अपनी एडिटर सेटिंग है। | हाँ |
| DSPy GEPA | DSPy प्रोग्राम | नहीं | नहीं |
| DSPy MIPROv2 | DSPy प्रोग्राम | नहीं | नहीं |
| DSPy BootstrapFewShot | DSPy प्रोग्राम | नहीं | नहीं |
विज़ार्ड GEPA, DSPy GEPA और Auto को ऐसे ऑप्टिमाइज़र के रूप में चिह्नित करता है जो आपके मेट्रिक का फ़ीडबैक टेक्स्ट इस्तेमाल करते हैं।
Auto
Auto डिफ़ॉल्ट है। यह क्या चलाता है, यह आर्टिफ़ैक्ट प्रकार पर निर्भर करता है:
- DSPy प्रोग्राम: Auto, DSPy GEPA चलाता है।
- प्रॉम्प्ट, कोड या टेक्स्ट: Auto एक साथ पाँच इंजनों के साथ खोज करता है: GEPA, AutoResearch, Meta-Harness, AutoSaddler और ShinkaEvolve। हर इंजन को स्कोरर रन का बराबर हिस्सा मिलता है: बजट को 6 से भाग देकर। फिर GEPA बाकी बजट के साथ सबसे अच्छे संस्करण से आगे बढ़ता है।
Auto, Best-of-N इस्तेमाल नहीं करता।
इसे तब चुनें जब आप नहीं जानते कि कौन-सा इंजन सही है। शुरू करने के लिए यही सबसे अच्छी जगह है।
GEPA
"संस्करणों के Pareto फ्रंट के साथ रिफ़्लेक्टिव विकास।" रिफ़्लेक्शन मॉडल हर केस का स्कोर और फ़ीडबैक पढ़ता है और एक बेहतर संस्करण लिखता है। GEPA संस्करणों का एक फ्रंट रखता है, जिसमें हर संस्करण कुछ केसों पर सबसे अच्छा होता है।
इसे तब चुनें जब आपका मेट्रिक विशिष्ट फ़ीडबैक देता है, और आप एक मज़बूत अकेला इंजन चाहते हैं।
Best-of-N
"रिफ़्लेक्शन मॉडल से स्वतंत्र प्रस्ताव; सबसे अच्छा रखें।" हर प्रस्ताव बाकी प्रस्तावों से स्वतंत्र होता है। Skynet सबसे ऊपर के प्रस्तावों को मान्यकरण केसों पर दोबारा स्कोर करता है।
इसे तब चुनें जब आप दूसरे इंजनों से तुलना करने के लिए एक सरल बेसलाइन चाहते हैं।
AutoResearch
एक कोडिंग एजेंट शोध के राउंड चलाता है। बजट खत्म होने तक वह संपादित करता है, स्कोर करता है और जो काम आए उसे रखता है।
इसे तब चुनें जब किसी अच्छे बदलाव के लिए जाँच-पड़ताल के कई चरण चाहिए, उदाहरण के लिए कोड आर्टिफ़ैक्ट पर।
Meta-Harness
एक कोडिंग एजेंट हर इटरेशन में उम्मीदवारों का एक बैच प्रस्तावित करता है। वह उम्मीदवारों और स्कोर का पूरा इतिहास इस्तेमाल करता है।
इसे तब चुनें जब आप ऐसा एजेंट चाहते हैं जो पिछले सभी प्रयासों के इतिहास से सीखे। बैच का आकार सेट करने के लिए प्रति इटरेशन उम्मीदवार इस्तेमाल करें।
AutoSaddler
एक कोडिंग एजेंट आपके मेट्रिक का फ़ीडबैक पढ़ता है और संस्करण को पैच करता है। Skynet सिर्फ़ वे पैच रखता है जिनकी पुष्टि स्कोरर का नया रन करता है।
इसे तब चुनें जब आपके मेट्रिक का फ़ीडबैक स्पष्ट, स्थानीय खामियों की ओर इशारा करता है।
ShinkaEvolve
"समानांतर द्वीपों में कई संस्करण विकसित करता है और सीखता है कि कौन-से मॉडल उन्हें सबसे ज़्यादा बेहतर बनाते हैं।" यह उम्मीदवारों की एक आबादी पर विकासवादी खोज है, जिसमें म्यूटेशन और क्रॉसओवर एक मॉडल लिखता है।
इसे तब चुनें जब आप व्यापक खोज चाहते हैं और आपके पास बड़ा बजट है।
DSPy ऑप्टिमाइज़र
| ऑप्टिमाइज़र | यह क्या करता है |
|---|---|
| DSPy GEPA | मेट्रिक का फ़ीडबैक पढ़ता है और हर प्रेडिक्टर के निर्देशों को विकसित करता है। |
| DSPy MIPROv2 | निर्देश और few-shot डेमो एक साथ प्रस्तावित करता है, और Bayesian ऑप्टिमाइज़ेशन से उनके संयोजनों में खोज करता है। |
| DSPy BootstrapFewShot | ऐसे हल किए गए उदाहरण इकट्ठा करता है जिन्हें प्रोग्राम सही करता है, और उन्हें few-shot डेमो के रूप में जोड़ता है। यह रिफ़्लेक्शन मॉडल इस्तेमाल नहीं करता। |
DSPy MIPROv2 और DSPy BootstrapFewShot को जोड़े (अपेक्षित आउटपुट वाले केस) चाहिए।
सेटिंग्स
बजट
| सेटिंग | डिफ़ॉल्ट | सीमा |
|---|---|---|
| अधिकतम स्कोरर रन | 200 | 1 से 100000 (Auto: कम से कम 6) |
| स्कोर पर रुकें | बंद | 0 या ज़्यादा |
| अधिकतम इटरेशन | बंद | 1 से 1000। सिर्फ़ Meta-Harness, AutoSaddler और ShinkaEvolve। |
एक स्कोरर रन का मतलब है एक केस पर आपके मेट्रिक की एक कॉल। शुरुआती संस्करण और विजेता की अंतिम री-स्कोरिंग अधिकतम स्कोरर रन में नहीं गिनी जाती।
कोडिंग एजेंट सेटिंग्स
ये सेटिंग्स Auto, AutoResearch, Meta-Harness और AutoSaddler पर लागू होती हैं।
| सेटिंग | डिफ़ॉल्ट | सीमा |
|---|---|---|
| कोडिंग एजेंट | Codex | Pi, Codex, OpenCode, Prime Agent, कस्टम कमांड |
| प्रति इटरेशन उम्मीदवार | 3 | 1 से 8। Auto और Meta-Harness के लिए दिखता है। |
| प्रति उम्मीदवार अधिकतम टूल कॉल | 100 | 1 से 1000 |
ShinkaEvolve सेटिंग्स
| सेटिंग | डिफ़ॉल्ट |
|---|---|
| नए संस्करण कैसे लिखे जाते हैं | एक मॉडल कॉल। दूसरा विकल्प "कोडिंग एजेंट (Pi)" है। |
| द्वीप | 2 (1 से 8) |
| माइग्रेशन अंतराल | 10 |
| पैरेंट चयन | भारित। अन्य विकल्प: पावर लॉ, बीम सर्च। |
| डिफ़ एडिट / पूर्ण पुनर्लेखन / क्रॉसओवर | 60% / 30% / 10%। इनका योग 100% होना चाहिए। |
| संग्रह आकार | 40 |
| समानांतर मूल्यांकन | 2 |
| समानांतर प्रस्ताव | 2 |
जब Auto, ShinkaEvolve चलाता है, तो विज़ार्ड ये सेटिंग्स "ShinkaEvolve सेटिंग्स (जब Auto इसे चलाए)" के रूप में दिखाता है।