Giriş

Skynet, elinizde zaten olan bir yapıtı iyileştirir. Ona bir başlangıç sürümü, bir dizi örnek vaka ve bir metrik verirsiniz. Skynet yeni sürümler önerir, her birini vakalarınız üzerinde çalıştırır, çıktıyı metriğinizle puanlar ve en iyi sürümü saklar.

Skynet neyi optimize eder

Skynet dört yapıt türüyle çalışır:

Her çalıştırma aynı sözleşmeyi kullanır. Çalıştırma kodunuz run(artifact, input) fonksiyonunu tanımlar. Metriğiniz score(input, output, expected=None) fonksiyonunu tanımlar. Metrik bir puan ve yazılı geri bildirim döndürür. Optimize edici, bir sonraki sürümü daha iyi yapmak için bu geri bildirimi okur.

Tek ürün, birçok motor

Skynet, Optimize Anything'dir. Hangi motorların bir yapıt üzerinde çalışabileceğine yapıt türü karar verir:

• İstem, Kod ve Metin yapıtları yerel motorları kullanır: GEPA, Best-of-N, Meta-Harness, AutoResearch, AutoSaddler ve ShinkaEvolve.
• DSPy programı yapıtları DSPy optimize edicilerini kullanır: DSPy GEPA, DSPy MIPROv2 ve DSPy BootstrapFewShot.

Auto seçimi sizin yerinize yapar. Bir DSPy programında Auto, DSPy GEPA'yı kullanır. Diğer yapıt türlerinde Auto beş yerel motoru birleştirir. Optimizasyon nasıl çalışır ve Motorlar sayfalarını okuyun.

Bir çalıştırma nasıl işler

1. Görevi tanımlar ve başlangıç sürümünü belirlersiniz.
2. Vakaları verirsiniz. Skynet bunları eğitim, doğrulama ve test kümelerine ayırır.
3. Bir optimize edici, modeller ve bir bütçe seçersiniz.
4. Çalıştırma kodunu ve metriği yazarsınız. Bir sözleşme kontrolü bunları örnek vakalar üzerinde çalıştırır.
5. Skynet optimizasyonu çalıştırır ve sonuçları gösterir.

Skynet sürümleri doğrulama vakaları üzerinde seçer. Nihai puanı test vakaları üzerinde raporlar. Motorlar test vakalarını hiçbir zaman görmez.

Nereden başlamalı