AI 应用自我迭代能力特点分析
前期人力投入是有限的，不可能覆盖到所有的输入场景范围，所以人工只能保证在部分给定场景下 AI 应用能够跑通。
在这个基础上，借助 AI 应用自我迭代，让它做到逐步迭代，能力泛化到更多的输入场景，对更广泛的输入场景都获得较好的效果。
自我迭代的特点：
- 持续性与渐进性：适配场景范围会逐步扩展，这需要一定的时间，而且可能随着用户使用的越多，而泛化能力越来越强
- 迭代需要动态平衡更强的泛化与当前能力的基本盘：避免过于偏向泛化或者过于保守于当前能力
AI 应用需要具备的能力：
- 可扩展性：对新场景的泛化能力
- 简单的比如，调整输入内容，同时跑多轮，对比结果取较优秀的
- 收集场景数据的能力
- 迭代需要获取更广泛和多样的数据作为参考，AI 应用可以从中学习有益的经验来实现自我迭代
- 更好的数据是包含针对结果的用户反馈或实际效果评估的
- 薄弱环节识别能力
- 如果缺少人工反馈，需要有一个机制来评估 AI 应用运行效果，而且更重要地要能够定位到具体效果薄弱的场景范围
挑战性问题：
- 用户数据隐私如何保护
- 如何避免偏差放大：系统初始存在或迭代中出现的偏见、错误和局限性，在迭代中不被纠正，反而视为成功信号并加以强化（迭代中出现恶性循环、幸存者偏差）