概念
引擎
GEPA、Best-of-N、Meta-Harness、AutoResearch、AutoSaddler、ShinkaEvolve 同 Auto。
引擎係為你嘅成品提出新版本嘅搜尋方法。Skynet 有六個用喺提示詞、程式碼同文字成品嘅原生引擎、三個用喺 DSPy 程式嘅 DSPy 優化器,仲有 Auto。呢頁講每一個做啲乜、幾時揀佢,同埋佢有啲乜設定。
如果你唔知道邊啲引擎適合你嘅成品,請先睇 最佳化點樣運作。
快速比較
| 引擎 | 成品類型 | 編程代理設定 | 最多迭代次數設定 |
|---|---|---|---|
| Auto | 全部 | 有,用喺提示詞、程式碼同文字 | 冇 |
| GEPA | 提示詞、程式碼、文字 | 冇 | 冇 |
| Best-of-N | 提示詞、程式碼、文字 | 冇 | 冇 |
| AutoResearch | 提示詞、程式碼、文字 | 有 | 冇 |
| Meta-Harness | 提示詞、程式碼、文字 | 有 | 有 |
| AutoSaddler | 提示詞、程式碼、文字 | 有 | 有 |
| ShinkaEvolve | 提示詞、程式碼、文字 | 冇。佢有自己嘅編輯器設定。 | 有 |
| DSPy GEPA | DSPy 程式 | 冇 | 冇 |
| DSPy MIPROv2 | DSPy 程式 | 冇 | 冇 |
| DSPy BootstrapFewShot | DSPy 程式 | 冇 | 冇 |
精靈會將 GEPA、DSPy GEPA 同 Auto 標示為會用你指標回饋文字嘅優化器。
Auto
Auto 係預設選擇。佢運行啲乜,視乎成品類型:
- DSPy 程式:Auto 運行 DSPy GEPA。
- 提示詞、程式碼或者文字:Auto 會同時用五個引擎探索:GEPA、AutoResearch、Meta-Harness、AutoSaddler 同 ShinkaEvolve。每個引擎平均分到評分器運行次數:預算除以 6。然後 GEPA 會用剩低嘅預算,由最佳版本開始繼續。
Auto 唔用 Best-of-N。
幾時揀佢:你唔知道邊個引擎適合。呢度係最好嘅起點。
GEPA
「用版本嘅 Pareto 前沿做反思式演化。」反思模型會讀每個案例嘅分數同回饋,然後寫一個更好嘅版本。GEPA 會保留一個版本前沿,入面每個版本都喺某啲案例上係最好。
幾時揀佢:你嘅指標畀出具體回饋,而你想要一個強勁嘅單一引擎。
Best-of-N
「由反思模型提出獨立提案;保留最好嗰個。」每個提案都同其他提案互相獨立。Skynet 會喺驗證案例上為排頭嘅提案重新評分。
幾時揀佢:你想要一個簡單嘅基準,同其他引擎比較。
AutoResearch
一個編程代理會進行一輪輪研究。佢會修改、評分,保留有幫助嘅改動,直到預算用完。
幾時揀佢:一個好嘅改動需要幾個步驟嘅調查,例如喺程式碼成品上。
Meta-Harness
一個編程代理每輪迭代提出一批候選。佢會用晒所有候選同分數嘅完整歷史。
幾時揀佢:你想要一個會由之前所有嘗試嘅歷史學習嘅 agent。用 每輪候選數 設定每批嘅大小。
AutoSaddler
一個編程代理會讀你指標嘅回饋,然後修補個版本。Skynet 只會保留經新一次評分器運行確認過嘅修補。
幾時揀佢:你嘅指標回饋指向清晰、局部嘅缺陷。
ShinkaEvolve
「喺平行島嶼上演化好多個版本,並學習邊啲模型最能夠改良佢哋。」佢係對一群候選做嘅演化搜尋,突變同交叉都由模型寫出嚟。
幾時揀佢:你想要廣泛探索,而且你有較大嘅預算。
DSPy 優化器
| 優化器 | 用途 |
|---|---|
| DSPy GEPA | 讀指標回饋,再演化每個預測器嘅指令。 |
| DSPy MIPROv2 | 同時提出指令同 few-shot 示範,再用貝葉斯最佳化搜尋佢哋嘅組合。 |
| DSPy BootstrapFewShot | 收集程式答啱嘅示例,將佢哋加做 few-shot 示範。佢唔用反思模型。 |
DSPy MIPROv2 同 DSPy BootstrapFewShot 需要成對數據(有預期輸出嘅案例)。
設定
預算
| 設定 | 預設 | 範圍 |
|---|---|---|
| 評分器最多運行次數 | 200 | 1 至 100000(Auto:最少 6) |
| 停止分數 | 關 | 0 或以上 |
| 最多迭代次數 | 關 | 1 至 1000。只限 Meta-Harness、AutoSaddler 同 ShinkaEvolve。 |
一次評分器運行,就係喺一個案例上呼叫一次你嘅指標。最後為起始版本同勝出者重新評分,唔會計入 評分器最多運行次數。
編程代理設定
呢啲設定適用於 Auto、AutoResearch、Meta-Harness 同 AutoSaddler。
| 設定 | 預設 | 範圍 |
|---|---|---|
| 編程代理 | Codex | Pi、Codex、OpenCode、Prime Agent、自訂指令 |
| 每輪候選數 | 3 | 1 至 8。Auto 同 Meta-Harness 先會顯示。 |
| 每個候選最多工具呼叫次數 | 100 | 1 至 1000 |
ShinkaEvolve 設定
| 設定 | 預設 |
|---|---|
| 新版本點樣寫出嚟 | 單次模型呼叫。另一個選項係「編碼代理(Pi)」。 |
| 島嶼 | 2(1 至 8) |
| 遷移間隔 | 10 |
| 父代選擇 | 加權。其他選項:冪律、束搜尋。 |
| 差異編輯 / 完整重寫 / 交叉 | 60% / 30% / 10%。加埋一定要等於 100%。 |
| 存檔大小 | 40 |
| 並行評估 | 2 |
| 並行提案 | 2 |
當 Auto 運行 ShinkaEvolve,精靈會將呢啲設定顯示為「ShinkaEvolve 設定(當 Auto 行佢嗰陣)」。