Início rápido

Esta página mostra como iniciar sua primeira execução em cerca de dez minutos. Você entra na sua conta, envia um conjunto de dados pequeno, preenche as quatro etapas do assistente e inicia a execução. O exemplo melhora um prompt que classifica mensagens de suporte em rótulos.

Antes de começar

Você precisa de:

• Uma conta no Skynet.
• Um arquivo CSV, JSON ou Excel (.csv, .json, .xlsx ou .xls). Cada linha é um caso.
• Uma ou mais colunas de entrada, por exemplo message.
• Uma coluna de saída esperada, por exemplo label.

1. Entrar

Entre no Skynet. Depois abra a página de envio em /submit.

2. Tarefa

A primeira etapa é Tarefa. Ela pergunta "O que quer otimizar?"

1. Em Objetivo, escreva o que é um bom resultado. Use palavras simples, por exemplo "Classifique cada mensagem de suporte como billing, bug ou other."
2. Opcional: em Contexto, adicione informações que ajudam o otimizador.
3. Em Tipo de artefacto, selecione Prompt.
4. Em Versão inicial, cole o seu prompt atual.

3. Entradas

A segunda etapa é Entradas.

1. Selecione Carregue um ficheiro CSV, JSON ou Excel, ou Escolher da biblioteca para usar um conjunto de dados salvo.
2. Em Como ler os dados, atribua um papel a cada coluna:
   • Entrada: o código de execução recebe esta coluna.
   • Saída: o valor esperado. A métrica o recebe.
   • Ignorar: o Skynet não usa esta coluna.
3. Mantenha Utilizar recomendação para a divisão. Para a maioria dos conjuntos de dados, a divisão é 70% treino, 15% validação e 15% teste.

Leia Conjuntos de dados e divisões para ver as regras completas.

4. Otimizador

A terceira etapa é Otimizador ("Otimizador, modelos e orçamento").

• Mantenha o otimizador em Auto.
• Selecione um Modelo de reflexão. O otimizador o usa para escrever novas versões. Este modelo é obrigatório.
• Opcional: selecione um Modelo da tarefa. O seu código de execução o usa.
• Em Orçamento, mantenha Máx. de execuções do avaliador no valor padrão de 200.

Leia Motores para escolher um motor específico.

5. Métrica e execução

A última etapa é Métrica e execução ("Código e métrica"). Você escreve dois arquivos.

from skynet import llm


def run(artifact, input):
    return llm(artifact, input=input["message"])

def score(input, output, expected=None):
    want = expected["label"].strip().lower()
    got = str(output).strip().lower()
    if got == want:
        return 1.0, {"feedback": "Correct label."}
    return 0.0, {"feedback": f"Expected '{want}', got '{got}'."}

artifact é a versão atual do seu prompt. input contém as colunas de Entrada de um caso. expected contém a coluna de Saída, indexada pelo nome da coluna.

Depois selecione Verificar em Verificação do contrato. A verificação executa o seu código e a sua métrica na sandbox em 3 casos de amostra. Ela verifica:

6. Iniciar e acompanhar

A tela de resumo mostra "Pronto para executar". Suas abas são Geral, Dados, Modelos, Orçamento e Recompensa. Confira a configuração e inicie a otimização.

Abra a execução na sua lista de otimizações para acompanhá-la. Leia Resultados para entender as pontuações e a versão vencedora.

Próximos passos

• Escreva uma métrica melhor: Métricas e avaliadores.
• Saiba quais motores servem para o seu artefato: Como a otimização funciona.
• Saiba quanto custa uma execução: Cobrança.