模型参数在训练后完全固化，缺少推理时记忆能力（较短期记忆）及推理时/后再学习能力（长期记忆及智慧）。
- 因为缺少推理时记忆能力，工程上在打各种补丁，例如 Context Engineering 需要管理处理一个任务中的历史操作记录。
- 因为缺少推理后再学习能力，实际场景应用时，面对效果欠佳的情况，只能借助后训练、微调及提示词工程来优化效果。对于个性化的场景（eg 面向个人的场景）成本较高且不够灵活简单高效。
解决方案：
- 推理时记忆：模型中引入动态权重，比如 RAG 领域有研究将部分权重专门用于存储外部知识库信息权重，是在训练后推理前可动态替换的
- 推理时/后再训练机制：支持更频繁地动态更新模型，使 AI 能不断适应外界环境