مفاهیم
موتورها
GEPA، Best-of-N، Meta-Harness، AutoResearch، AutoSaddler، ShinkaEvolve و Auto.
موتور روش جستجویی است که نسخه‌های جدید آرتیفکت شما را پیشنهاد می‌دهد. Skynet شش موتور بومی برای آرتیفکت‌های پرامپت، کد و متن، سه بهینه‌ساز DSPy برای برنامه‌های DSPy، و Auto دارد. این صفحه می‌گوید هر کدام چه کاری انجام می‌دهد، چه زمانی آن را انتخاب کنید و چه تنظیماتی دارد.
اگر نمی‌دانید کدام موتورها با آرتیفکت شما سازگارند، اول بهینه‌سازی چگونه کار می‌کند را بخوانید.
مقایسهٔ سریع
| موتور | انواع آرتیفکت | تنظیمات عامل برنامه‌نویس | تنظیم حداکثر تکرارها |
|---|---|---|---|
| Auto | همه | بله، روی پرامپت، کد و متن | خیر |
| GEPA | پرامپت، کد، متن | خیر | خیر |
| Best-of-N | پرامپت، کد، متن | خیر | خیر |
| AutoResearch | پرامپت، کد، متن | بله | خیر |
| Meta-Harness | پرامپت، کد، متن | بله | بله |
| AutoSaddler | پرامپت، کد، متن | بله | بله |
| ShinkaEvolve | پرامپت، کد، متن | خیر. تنظیم ویرایشگر خودش را دارد. | بله |
| DSPy GEPA | برنامهٔ DSPy | خیر | خیر |
| DSPy MIPROv2 | برنامهٔ DSPy | خیر | خیر |
| DSPy BootstrapFewShot | برنامهٔ DSPy | خیر | خیر |
ویزارد GEPA، DSPy GEPA و Auto را به‌عنوان بهینه‌سازهایی که از متن بازخورد معیار شما استفاده می‌کنند علامت می‌زند.
Auto
Auto پیش‌فرض است. آنچه اجرا می‌کند به نوع آرتیفکت بستگی دارد:
- برنامهٔ DSPy: Auto موتور DSPy GEPA را اجرا می‌کند.
- پرامپت، کد یا متن: Auto هم‌زمان با پنج موتور جستجو می‌کند: GEPA، AutoResearch، Meta-Harness، AutoSaddler و ShinkaEvolve. هر موتور سهم برابری از اجراهای امتیازدهنده می‌گیرد: بودجه تقسیم بر ۶. سپس GEPA با باقی‌ماندهٔ بودجه از بهترین نسخه ادامه می‌دهد.
Auto از Best-of-N استفاده نمی‌کند.
آن را انتخاب کنید وقتی نمی‌دانید کدام موتور مناسب است. این بهترین نقطهٔ شروع است.
GEPA
«تکامل بازاندیشانه با یک جبههٔ پارتو از نسخه‌ها.» مدل بازاندیشی امتیاز و بازخورد هر مورد را می‌خواند و نسخهٔ بهتری می‌نویسد. GEPA جبهه‌ای از نسخه‌ها نگه می‌دارد که هر کدام روی برخی موردها بهترین هستند.
آن را انتخاب کنید وقتی معیار شما بازخورد دقیق می‌دهد و یک موتور تکی قوی می‌خواهید.
Best-of-N
«پیشنهادهای مستقل از مدل بازاندیشی؛ بهترین را نگه دار.» هر پیشنهاد مستقل از بقیه است. Skynet پیشنهادهای برتر را دوباره روی موردهای اعتبارسنجی امتیاز می‌دهد.
آن را انتخاب کنید وقتی یک خط مبنای ساده برای مقایسه با موتورهای دیگر می‌خواهید.
AutoResearch
یک عامل برنامه‌نویس دورهای پژوهش اجرا می‌کند. ویرایش می‌کند، امتیاز می‌دهد و آنچه را کمک می‌کند نگه می‌دارد، تا وقتی بودجه تمام شود.
آن را انتخاب کنید وقتی یک تغییر خوب به چند گام بررسی نیاز دارد، برای مثال روی یک آرتیفکت کد.
Meta-Harness
یک عامل برنامه‌نویس در هر تکرار دسته‌ای از نامزدها را پیشنهاد می‌دهد. از تاریخچهٔ کامل نامزدها و امتیازها استفاده می‌کند.
آن را انتخاب کنید وقتی عاملی می‌خواهید که از تاریخچهٔ همهٔ تلاش‌های قبلی یاد بگیرد. برای تعیین اندازهٔ دسته از نامزدها در هر تکرار استفاده کنید.
AutoSaddler
یک عامل برنامه‌نویس بازخورد معیار شما را می‌خواند و نسخه را وصله می‌کند. Skynet فقط وصله‌هایی را نگه می‌دارد که یک اجرای امتیازدهندهٔ جدید آن‌ها را تأیید کند.
آن را انتخاب کنید وقتی بازخورد معیار شما به نقص‌های روشن و موضعی اشاره می‌کند.
ShinkaEvolve
«نسخه‌های زیادی را در جزیره‌های موازی تکامل می‌دهد و یاد می‌گیرد کدام مدل‌ها آن‌ها را بیشتر بهتر می‌کنند.» این یک جستجوی تکاملی روی جمعیتی از نامزدهاست، با جهش‌ها و ترکیب‌هایی (crossover) که یک مدل می‌نویسد.
آن را انتخاب کنید وقتی جستجوی گسترده می‌خواهید و بودجهٔ بزرگ‌تری دارید.
بهینه‌سازهای DSPy
| بهینه‌ساز | چه کاری انجام می‌دهد |
|---|---|
| DSPy GEPA | بازخورد معیار را می‌خواند و دستورالعمل‌های هر پیش‌بینی‌کننده را تکامل می‌دهد. |
| DSPy MIPROv2 | دستورالعمل‌ها و نمونه‌های few-shot را با هم پیشنهاد می‌دهد و ترکیب‌های آن‌ها را با بهینه‌سازی بیزی جستجو می‌کند. |
| DSPy BootstrapFewShot | مثال‌های حل‌شده‌ای را که برنامه درست انجام می‌دهد جمع می‌کند و آن‌ها را به‌عنوان نمونه‌های few-shot اضافه می‌کند. از مدل بازاندیشی استفاده نمی‌کند. |
DSPy MIPROv2 و DSPy BootstrapFewShot به جفت‌ها (موردهایی با خروجی مورد انتظار) نیاز دارند.
تنظیمات
بودجه
| تنظیم | پیش‌فرض | بازه |
|---|---|---|
| حداکثر اجراهای امتیازدهنده | ۲۰۰ | ۱ تا ۱۰۰۰۰۰ (Auto: دست‌کم ۶) |
| توقف در امتیاز | خاموش | ۰ یا بیشتر |
| حداکثر تکرارها | خاموش | ۱ تا ۱۰۰۰. فقط Meta-Harness، AutoSaddler و ShinkaEvolve. |
یک اجرای امتیازدهنده یعنی یک فراخوانی معیار شما روی یک مورد. امتیازدهی نهایی دوبارهٔ نسخهٔ شروع و نسخهٔ برنده از حداکثر اجراهای امتیازدهنده کم نمی‌شود.
تنظیمات عامل برنامه‌نویس
این تنظیمات برای Auto، AutoResearch، Meta-Harness و AutoSaddler اعمال می‌شوند.
| تنظیم | پیش‌فرض | بازه |
|---|---|---|
| عامل برنامه‌نویس | Codex | Pi، Codex، OpenCode، Prime Agent، دستور سفارشی |
| نامزدها در هر تکرار | ۳ | ۱ تا ۸. برای Auto و Meta-Harness نشان داده می‌شود. |
| حداکثر فراخوانی ابزار برای هر نامزد | ۱۰۰ | ۱ تا ۱۰۰۰ |
تنظیمات ShinkaEvolve
| تنظیم | پیش‌فرض |
|---|---|
| نسخه‌های جدید چگونه نوشته می‌شوند | یک فراخوانی مدل. گزینهٔ دیگر «عامل کدنویسی (Pi)» است. |
| جزیره‌ها | ۲ (۱ تا ۸) |
| بازهٔ مهاجرت | ۱۰ |
| انتخاب والد | وزن‌دار. گزینه‌های دیگر: قانون توانی، جستجوی پرتویی. |
| ویرایش‌های diff / بازنویسی‌های کامل / ترکیب‌ها | ۶۰٪ / ۳۰٪ / ۱۰٪. جمع آن‌ها باید ۱۰۰٪ شود. |
| اندازهٔ بایگانی | ۴۰ |
| ارزیابی‌های موازی | ۲ |
| پیشنهادهای موازی | ۲ |
وقتی Auto موتور ShinkaEvolve را اجرا می‌کند، ویزارد این تنظیمات را با عنوان «تنظیمات ShinkaEvolve (وقتی Auto آن را اجرا می‌کند)» نشان می‌دهد.