跳到内容
Skynet文档
页面

指南

使用向导启动运行

提交向导的每一步,从任务到契约检查。

提交向导用于设置并启动运行。它有四个步骤:任务、输入、优化器 和 指标和运行。每个步骤包含一个或多个页面。本指南从任务一直讲到契约检查和启动运行,逐一说明每个页面。

第 1 步:任务

你想优化什么?

在 任务访谈 对话中向助手描述你的任务。助手会为你填写两个字段:

  • 目标(引导模式中同名):优化后的产物必须做好什么。
  • 背景(引导:补充信息):上下文、约束条件,以及好的结果是什么样子。

你可以编辑这两个字段。助手不会覆盖你的编辑。

要优化的内容

选择 工件类型:

工件类型改动的内容
提示词发送给语言模型的指令
代码程序的源代码
DSPy 程序DSPy 模块中各预测器的指令
文本任何其他文本,例如文档或模板

然后提供 起始版本(引导:起点)。粘贴当前版本,或让助手写一份草稿。

优化仓库

你也可以优化仓库中的代码。设置以下字段:

  • 仓库:选择一个仓库,或以 owner/name 的形式填写。
  • 提交:一个 40 个字符的 SHA。留空则使用分支上的最新提交。
  • 优化器可以修改的路径:每行一个文件或文件夹。一个点表示整个仓库。
  • 安装命令:在每次全新检出后、打分之前运行。留空时 Skynet 会自行找到命令。

第 2 步:输入

数据

为运行添加用例。你可以:

  • 上传 CSV、JSON 或 Excel 文件。
  • 从你的库中选择一个数据集。

请阅读数据集与划分和准备数据集。

如何读取数据

助手会读取数据并建议如何使用它。请检查它的选择:

  • 把每一列标记为输入、期望输出或忽略。
  • 没有输出列时,Skynet 把第一行用作单个输入。
  • 设置训练集、验证集和测试集的划分。划分比例之和必须为 1。

第 3 步:优化器

在“标准”级别下,此步骤只有一个页面。它显示优化器、预算,以及在需要时显示模型。在“引导”和“专家”级别下,此步骤有三个页面:优化器、模型 和 预算。

优化器

向导只列出适合你的任务和输入的优化器。默认为你选择 Auto。如果需要,可以选择其他优化器。请阅读引擎和优化的工作原理。

模型

  • 任务模型:你的运行代码调用的模型。如果运行代码不调用模型,请留空。DSPy 程序必须有任务模型。
  • 反思模型:读取分数和反馈并编写下一批候选的模型。使用编程智能体类优化器时,这就是智能体所用的模型。

预算

设置运行可以持续尝试多久,以及最多可以花费多少:

  • 最大评分器运行次数(引导:最大尝试次数):Skynet 最多为多少个候选打分。部分优化器需要一个最小值。
  • 停止分数(引导:分数达到此值时提前停止):当某个版本达到该分数时,运行停止。
  • 最大迭代次数(引导:最大轮数):仅对支持此设置的优化器显示。
  • 支出上限:运行最多可以花费的金额。默认为 $5;如果 开始所需 的金额更高,则为该金额。你也可以选择 不设上限。

如果上限或你的余额低于开始所需的金额,向导不允许你继续。请阅读预算与计费。

第 4 步:指标和运行

代码和指标

编写两个文件:

  • run.py:在一个用例上运行你的产物的运行代码。
  • metric.py:为输出打分并编写反馈的指标。

编程智能体 可以为你编写和修改任何文件。它会检查自己的代码并修复失败的地方。你最多可以添加 20 个额外文件。请阅读指标与评分器。

如果你的指标调用 llm(),请设置 指标模型。默认使用反思模型。

契约检查

契约检查(引导:试运行)会在沙箱中用 3 个样例用例运行你的代码和指标。它检查:

  • 运行代码签名,
  • 指标签名,
  • 指标模型,
  • 在样例上运行代码,
  • 指标返回值。

选择 检查(引导:测试一下)。在检查通过之前,你无法开始运行。如果你在检查通过后更改了代码或设置,请再次运行检查。

定时运行

优化成功后,你可以按计划再次运行它。默认为 已关闭。

准备运行

最后一个页面在五个标签页中显示摘要:常规、数据、模型、预算 和 奖励。检查设置,然后开始优化。

摘要还会显示运行的可见性。新运行默认是公开的。之后可以在运行页面的 共享与隐私 对话框中更改。请阅读分享与发布。

开始之后

运行页面随即打开。请阅读运行和查看结果。