Primeros pasos
Inicio rápido
Inicia tu primera ejecución de optimización en unos diez minutos.
Esta página muestra cómo iniciar tu primera ejecución en unos diez minutos. Inicias sesión, subes un conjunto de datos pequeño, completas los cuatro pasos del asistente e inicias la ejecución. El ejemplo mejora un prompt que clasifica mensajes de soporte en etiquetas.
Antes de empezar
Necesitas:
- Una cuenta de Skynet.
- Un archivo CSV, JSON o Excel (
.csv,.json,.xlsxo.xls). Cada fila es un caso. - Una o más columnas de entrada, por ejemplo
message. - Una columna de salida esperada, por ejemplo
label.
1. Iniciar sesión
Inicia sesión en Skynet. Después abre la página de envío en /submit.
2. Tarea
El primer paso es Tarea. Pregunta «¿Qué quieres optimizar?».
- En Objetivo, escribe qué es un buen resultado. Usa palabras sencillas, por ejemplo «Clasifica cada mensaje de soporte como facturación, error u otro».
- Opcional: en Contexto, añade información que ayude al optimizador.
- En Tipo de artefacto, selecciona Prompt.
- En Versión inicial, pega tu prompt actual.
3. Entradas
El segundo paso es Entradas.
- Selecciona Sube un archivo CSV, JSON o Excel, o Elegir de la biblioteca para usar un conjunto de datos guardado.
- En Cómo leer los datos, asigna un rol a cada columna:
- Entrada: el código de ejecución recibe esta columna.
- Salida: el valor esperado. La métrica lo recibe.
- Omitir: Skynet no usa esta columna.
- Mantén Usar recomendación para la división. Para la mayoría de los conjuntos de datos, la división es 70 % entrenamiento, 15 % validación y 15 % prueba.
Lee Conjuntos de datos y divisiones para conocer todas las reglas.
4. Optimizador
El tercer paso es Optimizador («Optimizador, modelos y presupuesto»).
- Deja el optimizador en Auto.
- Selecciona un Modelo de reflexión. El optimizador lo usa para escribir versiones nuevas. Este modelo es obligatorio.
- Opcional: selecciona un Modelo de tarea. Tu código de ejecución lo usa.
- En Presupuesto, deja Máximo de ejecuciones del evaluador en su valor predeterminado de 200.
Lee Motores para elegir un motor concreto.
5. Métrica y ejecución
El último paso es Métrica y ejecución («Código y métrica»). Escribes dos archivos.
from skynet import llm
def run(artifact, input):
return llm(artifact, input=input["message"])def score(input, output, expected=None):
want = expected["label"].strip().lower()
got = str(output).strip().lower()
if got == want:
return 1.0, {"feedback": "Correct label."}
return 0.0, {"feedback": f"Expected '{want}', got '{got}'."}artifact es la versión actual de tu prompt. input contiene las columnas de entrada de un caso. expected contiene la columna de salida, con su nombre de columna como clave.
Después selecciona Comprobar en Comprobación del contrato. La comprobación ejecuta tu código y tu métrica en el sandbox sobre 3 casos de muestra. Comprueba:
| Comprobación | Qué falla |
|---|---|
| Firma del código de ejecución | run.py no define run(artifact, input) |
| Firma de la métrica | metric.py no define score(input, output, expected=None) |
| Modelo de la métrica | El modelo de la métrica no se puede usar |
| Código de ejecución en muestras | Tu código de ejecución lanza un error en un caso de muestra |
| Valor que devuelve la métrica | score no devuelve una puntuación y unos comentarios válidos |
6. Iniciar y seguir
La pantalla de resumen muestra «Listo para ejecutar». Sus pestañas son General, Datos, Modelos, Presupuesto y Recompensa. Revisa la configuración y luego inicia la optimización.
Abre la ejecución desde tu lista de optimizaciones para seguirla. Lee Resultados para entender las puntuaciones y la versión ganadora.
Próximos pasos
- Escribe una métrica mejor: Métricas y evaluadores.
- Descubre qué motores encajan con tu artefacto: Cómo funciona la optimización.
- Descubre cuánto cuesta una ejecución: Facturación.