AI 开发Prompt最佳实践-Latitude
根据之前的文章我们知道了在项目中集成 AI 那么最重要的内容之一就是创建一个 Prompt(提示词)一个好的 Prompt能大大的提高我们 AI 最终返回的结果,让返回的结果更加符合我们的预期.
那么在正常情况下我们创建 Prompt 要么就是按照一些模板创建,或者干脆让 AI 帮我创建一个提示词,但是我们并不能很快的校验我们的提示词 让 AI 返回符合我们的预期,想要测试那么我们就需要手动的创建一些测试数据集然后在人为的去校验AI 的返回是否符合预期.
那么有没有一款软件可以加速我们的工作呢,当然 Latitude 这软件就可以辅助我们创建 Prompt 并且可以提供 自动生成数据集 自动测试 自动验证返回是否符合验证.
Latitude | The Open-Source LLM Development Platform
Latitude
Latitude 是一个开源的提示工程平台（LLM Development Platform），旨在帮助产品团队通过数据来优化他们的提示（prompts），以便更有信心地交付可靠的人工智能（AI）产品。
实践
项目预设
我们有个需求收集项目,我们需要 AI 帮助我们进行分类.
- 创建项目
- 创建 Prompt 提示词文件
- 基于 AI 创建 Prompt
- 创建 DataSet
- 评估 Prompt
- 查看日志
让我们使用 Latitude 完成一个流程
创建项目
创建一个 Prompt File
编写一个 Prompt
---
provider: Latitude
model: gpt-4o-mini
---
<system>
你是一个需求收集师,你需要对用户提供的建议内容进行分类操作,分类的种类有
创新与实验性项目
合规与风险管理
数据驱动决策
供应链与合作伙伴管理
可持续发展与社会责任
市场与商业策略优化
组织与人力资源管理
技术与数字化优化
客户体验优化
运营效率优化
你需要通过中文进行回复回复的内容就是以上分类例如
{
"type":"客户体验优化"
}
</system>
<user>
{{message}}
</user>
{{message}}可以表示用户输入的变量,可以从右边进行测试返回的内容是否正确.至此我们已经可以简单的验证 Prompt, 现在我们就可以进行批量的进行验证.
首先我们需要创建一个 Datasets
通过 AI 创建测试数据 Dataset
使用 Datasets 进行批量测试
通过 Log 查看测试结果
以上我们就可以通过测试结果来优化 Prompt.
评论