零样本学习(Zero-Shot Learning)

零样本学习是模型在推理时不被提供任何任务特定示例、完全依赖从训练中泛化来执行任务或生成内容的能力。少样本学习在推理时把少量示例(通常在一到五个之间)与请求一同提供,向模型展示期望输出的样子,使它能把回应与所提供示例进行模式匹配,而不是从零泛化。对于那些具有特定格式或风格、仅凭训练难以泛化到的任务,少样本表现通常优于零样本。

零样本学习是让 AI 生成模型灵活、适用面广的底层能力:正是它让一个生成模型能对它从未被直接训练去产出的概念与组合做出有意义的回应。零样本表现的质量决定了一个模型能在仍产出有用结果的前提下,被推到离熟悉领域多远。当零样本泛化失效时，，对高度新颖、自相矛盾或描述不足的提示，，输出质量会退化为通用或不流畅的结果,反映出模型是在其训练分布上做平均,而非成功外推到所请求的新颖之处。

可以:提示的具体性与上下文锚点的提供,显著影响模型对新颖请求泛化的好坏。把不寻常的概念组合拆解为其熟悉的组成元素、为最新颖的方面提供视觉或文本参考示例,并以模型训练很可能接触过的术语明确描述期望输出的性格,这些都能改善处在模型零样本能力边缘的任务的结果。目标是提供足够多的熟悉参照点,使模型能朝新颖目标插值,而不是在引导太少的情况下盲目外推。

零样本失败发生在所请求的概念、风格或任务组合落在模型训练有效泛化范围之外时:当训练数据中没有足够相关的模式,让模型准确外推到所请求的新颖之处时。这可能因为该概念在训练数据中确实罕见,因为该概念组合制造了模型无法化解的矛盾信号,或因为该任务需要模型架构所不支持的某种新颖推理。当零样本失败时,典型结果是输出通用、混乱,或退回到请求表层术语最常见的关联,而非具体意图的含义。

提示工程可被理解为在零样本与少样本能力的约束内、最大化有用模型表现的实用学科。提示工程师与模型的泛化能力打交道:试图以模型能成功泛化的术语来构造请求,在单纯零样本不足时提供示例,并构造提示以减少歧义、把模型的推理引向所意图的输出。在理论上理解零样本学习,通过解释为何某些提示策略奏效、另一些失败,支撑着更好的提示工程实践。

零样本能力随模型规模与训练数据多样性强烈地扩展:在更多样数据上训练的更大模型,通常表现出更好的零样本泛化。更小或更专门化的模型,在其特定训练领域之外往往零样本表现不佳,需要任务特定示例或微调才能在新颖输入上表现良好。超大型预训练模型的发展，，GPT 规模的语言模型、用于图像生成的大型扩散模型，，把零样本能力带到了更小模型无法企及的实用水平,这也是大型基础模型已成为生成式 AI 应用中主导路径的原因之一。

在 AI 视频生成中,零样本能力决定了模型能多好地解读那些未作为带标签训练样本直接呈现的主体、风格、摄影机运动与氛围条件的提示描述。一个具有强零样本视频生成能力的模型,能为不寻常的概念组合、以技术术语描述的特定摄影机技法,或通过描述性语言(而非具名视觉参考)指定的氛围质感,产出合理的素材。当零样本视频生成能力被超出时,模型倾向于退回到通用的摄影机运动、被平均化的视觉风格,以及近似常见训练样本而非具体所请求输出的主体再现。

最优做法取决于所请求输出有多新颖或具体。对于在模型训练数据中得到充分呈现的概念与风格，，具名的视觉风格、确立的电影摄影技法、清晰描述的主体，，零样本生成通常产出良好结果,参考图像带来的改善有限。对于挤压模型训练分布边界的高度具体、不寻常或新颖的概念,参考图像是宝贵的锚点,把模型的推理引向所意图的目标,而非引向一个通用的平均。在实践中,为一次生成中最具体、最新颖的元素提供参考图像,同时对更熟悉的元素依赖零样本能力,是最高效的做法。