מושגים
מנועים
GEPA, Best-of-N, Meta-Harness, AutoResearch, AutoSaddler, ShinkaEvolve ו-Auto.
מנוע הוא שיטת החיפוש שמציעה גרסאות חדשות של התוצר שלך. ל-Skynet יש שישה מנועים מובנים לתוצרים מסוג פרומפט, קוד וטקסט, שלושה אופטימייזרים של DSPy לתוכניות DSPy, ו-Auto. העמוד הזה מסביר מה כל אחד עושה, מתי לבחור בו ואילו הגדרות יש לו.
אם לא ברור לך אילו מנועים מתאימים לתוצר שלך, קרא/י קודם את איך האופטימיזציה עובדת.
השוואה מהירה
| מנוע | סוגי תוצרים | הגדרות סוכן קוד | הגדרת מקסימום איטרציות |
|---|---|---|---|
| Auto | כולם | כן, בפרומפט, קוד וטקסט | לא |
| GEPA | פרומפט, קוד, טקסט | לא | לא |
| Best-of-N | פרומפט, קוד, טקסט | לא | לא |
| AutoResearch | פרומפט, קוד, טקסט | כן | לא |
| Meta-Harness | פרומפט, קוד, טקסט | כן | כן |
| AutoSaddler | פרומפט, קוד, טקסט | כן | כן |
| ShinkaEvolve | פרומפט, קוד, טקסט | לא. יש לו הגדרת עורך משלו. | כן |
| DSPy GEPA | תוכנית DSPy | לא | לא |
| DSPy MIPROv2 | תוכנית DSPy | לא | לא |
| DSPy BootstrapFewShot | תוכנית DSPy | לא | לא |
האשף מסמן את GEPA, DSPy GEPA ו-Auto כאופטימייזרים שמשתמשים בטקסט המשוב מפונקציית המדידה (Metric) שלך.
Auto
Auto הוא ברירת המחדל. מה שהוא מריץ תלוי בסוג התוצר:
- תוכנית DSPy: Auto מריץ DSPy GEPA.
- פרומפט, קוד או טקסט: Auto חוקר עם חמישה מנועים בו-זמנית: GEPA, AutoResearch, Meta-Harness, AutoSaddler ו-ShinkaEvolve. כל מנוע מקבל חלק שווה מהרצות הניקוד: התקציב חלקי 6. אחר כך GEPA ממשיך מהגרסה הטובה ביותר עם יתרת התקציב.
Auto לא משתמש ב-Best-of-N.
כדאי לבחור בו כשלא ברור לך איזה מנוע מתאים. זו נקודת ההתחלה הטובה ביותר.
GEPA
"אבולוציה רפלקטיבית עם חזית Pareto של גרסאות." מודל האופטימיזציה קורא את הציון ואת המשוב של כל מקרה וכותב גרסה טובה יותר. GEPA שומר חזית של גרסאות, שכל אחת מהן הטובה ביותר בחלק מהמקרים.
כדאי לבחור בו כשפונקציית המדידה שלך נותנת משוב ספציפי, ודרוש לך מנוע יחיד חזק.
Best-of-N
"הצעות בלתי תלויות ממודל האופטימיזציה; שומרים את הטובה ביותר." כל הצעה בלתי תלויה באחרות. Skynet נותן ציון מחדש להצעות המובילות על מקרי האימות.
כדאי לבחור בו כשדרוש לך בסיס פשוט להשוואה עם מנועים אחרים.
AutoResearch
סוכן קוד מריץ סבבי מחקר. הוא עורך, נותן ציון ושומר את מה שעוזר, עד שהתקציב נגמר.
כדאי לבחור בו כששינוי טוב דורש כמה שלבים של בדיקה, למשל בתוצר מסוג קוד.
Meta-Harness
סוכן קוד מציע קבוצת מועמדים בכל איטרציה. הוא משתמש בכל ההיסטוריה של המועמדים והציונים.
כדאי לבחור בו כשדרוש לך סוכן שלומד מההיסטוריה של כל הניסיונות הקודמים. השתמש/י ב-מועמדים לכל איטרציה כדי לקבוע את גודל הקבוצה.
AutoSaddler
סוכן קוד קורא את המשוב מפונקציית המדידה שלך ומתקן את הגרסה בטלאים. Skynet שומר רק טלאים שהרצת ניקוד חדשה מאשרת.
כדאי לבחור בו כשהמשוב של פונקציית המדידה מצביע על פגמים ברורים ומקומיים.
ShinkaEvolve
"מפתח הרבה גרסאות באיים מקבילים ולומד אילו מודלים משפרים אותן הכי הרבה." זה חיפוש אבולוציוני על אוכלוסייה של מועמדים, עם מוטציות והצלבות שמודל כותב.
כדאי לבחור בו כשדרושה לך חקירה רחבה ויש לך תקציב גדול יותר.
האופטימייזרים של DSPy
| אופטימייזר | מה הוא עושה |
|---|---|
| DSPy GEPA | קורא את המשוב של פונקציית המדידה ומפתח את ההוראות של כל predictor. |
| DSPy MIPROv2 | מציע הוראות ודוגמאות few-shot יחד, ומחפש את השילובים שלהן בעזרת אופטימיזציה בייסיאנית. |
| DSPy BootstrapFewShot | אוסף דוגמאות פתורות שהתוכנית עונה עליהן נכון ומוסיף אותן כדוגמאות few-shot. הוא לא משתמש במודל אופטימיזציה. |
DSPy MIPROv2 ו-DSPy BootstrapFewShot צריכים זוגות (מקרים עם פלטים צפויים).
הגדרות
תקציב
| הגדרה | ברירת מחדל | טווח |
|---|---|---|
| מקסימום הרצות ניקוד | 200 | 1 עד 100000 (ב-Auto: לפחות 6) |
| עצירה בציון | כבוי | 0 ומעלה |
| מקסימום איטרציות | כבוי | 1 עד 1000. רק Meta-Harness, AutoSaddler ו-ShinkaEvolve. |
הרצת ניקוד אחת היא קריאה אחת של פונקציית המדידה שלך על מקרה אחד. הציון מחדש הסופי של גרסת ההתחלה ושל המנצחת לא נספר במסגרת מקסימום הרצות ניקוד.
הגדרות סוכן קוד
ההגדרות האלה חלות על Auto, AutoResearch, Meta-Harness ו-AutoSaddler.
| הגדרה | ברירת מחדל | טווח |
|---|---|---|
| סוכן קוד | Codex | Pi, Codex, OpenCode, Prime Agent, פקודה מותאמת אישית |
| מועמדים לכל איטרציה | 3 | 1 עד 8. מוצג ב-Auto וב-Meta-Harness. |
| מקסימום קריאות לכלים לכל מועמד | 100 | 1 עד 1000 |
הגדרות ShinkaEvolve
| הגדרה | ברירת מחדל |
|---|---|
| איך נכתבות גרסאות חדשות | קריאה יחידה למודל. האפשרות האחרת היא "סוכן קוד (Pi)". |
| איים | 2 (1 עד 8) |
| מרווח הגירה | 10 |
| בחירת גרסת אב | משוקללת. אפשרויות אחרות: חוק חזקה, חיפוש אלומה. |
| עריכות נקודתיות / שכתובים מלאים / הצלבות | 60% / 30% / 10%. הסכום שלהם חייב להיות 100%. |
| גודל הארכיון | 40 |
| הערכות במקביל | 2 |
| הצעות במקביל | 2 |
כש-Auto מריץ את ShinkaEvolve, האשף מציג את ההגדרות האלה בתור "הגדרות ShinkaEvolve (כש-Auto מריץ אותו)".