背景

LLM 时代,AI 经过大规模数据的预训练处理,展现出了在语言和思想上的认知。

同时人们为了利用 LLM 更有效、更准确地完成给定的任务,除了通过训练模型来提升基座模型的能力,还可以从另一方面进行优化:修改给 LLM 的输入内容。

因此,提示词工程的重点是在不调整模型的前提下,如何让 LLM 发挥出更好的效果。

工程化体系

  1. 构造提示词(从最简单的提示词开始,不要一开始就复杂化)
  2. 验证提示词效果
    1. 指标包括 Accuracy(正确率)、 Speed(AI回答速度)、 Consistency(稳定性一致性)
    2. 考虑比较的方式及边界 case 验证
  3. 优化调整提示词,并回到第二步重新验证新提示词效果