从第一性原理出发分析

工具的意义

任何工具,评估其价值的方式都是在实际使用中分析验证该工具是否解决了具体的问题。

传统应用及 AI 应用的差异

传统的应用是通过编程实现,基于固定的规则逻辑自动执行,每次执行在给定输入参数时,其执行结果通常都是稳定复现的,是确定性的。所以在编写完成代码后,其效果和价值是相对确定性的。

在 AI 时代,由于自然语言信息输入的维度很广泛,加上 AI 系统是基于统计学的产物,导致 AI 应用具有随机性及无法准确预测的特点。它的效果和价值在少次数的场景使用下是无法完全概括其全貌的。

AI 工具(应用)开发流程的特点

AI 随机性的特点,让 AI 工具开发相比传统应用程序变得更加复杂。因此我们需要一个新的开发交付流程来解决这个复杂性。

这个流程需要达成以下目标:

  1. 在前期 MVP 系统搭建后,无需人工干预或较少的人工干预调整下 AI 应用可以实现自我优化迭代
  2. 有一个较准确的评估体系,能够量化验证 AI 应用端到端的执行效果和价值,评价其解决用户问题的能力
    1. 避免使用 AI 应用内部的中间状态的评估信号