迁移学习(Transfer Learning)
迁移学习(Transfer Learning)是什么？
迁移学习让一个 AI 模型把它在解决某个问题时学到的东西,用来解决一个不同但相关的问题:就像学过一门语言能帮你更快学会与之相近的另一门语言,因为大部分知识可以跨任务迁移。
一图看懂
- 别称
- Domain adaptationKnowledge transferPre-training and fine-tuning
- 主要用途
- 把大型预训练 AI 模型适配到具体任务,而无需完整重训为特定风格、主体或视觉领域微调图像生成模型用有限的特定任务数据构建有能力的 AI 系统支撑 LoRA、DreamBooth 及其他适配技术的基础
- 常用工具
- Hugging face (pre-trained model library and fine-tuning tools)PyTorch and TensorFlow (fine-tuning frameworks)Stable diffusion ecosystem (LoRA and fine-tuning workflows)Morphic (fine-tuned character and style models)
- 相关术语
- Fine-tuningLoRAFoundation modelTraining dataDiffusion modelDreamBooth
- How it works in simple terms
- 先在一个庞大的通用数据集上训练一个大型 AI 模型,直到它发展出广泛的能力。然后用一个小得多、有针对性的数据集把这个预训练模型适配到某一具体任务,调整模型的权重,使其为新应用产出所期望的输出,同时保留原始训练得来的大部分知识。
- Where you encounter this
- 只要一个通用 AI 模型被适配到某一具体用途,就能遇到迁移学习:建立在通用语言模型之上的写作助手、在某种特定艺术风格上微调的图像生成模型、在某个具体人物外观上训练的角色一致性模型,或从通用视觉模型适配而来的物体识别系统。它几乎支撑着所有实际的 AI 部署。
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
对比与差异
Compared with related concepts
迁移学习与微调相关但有别。迁移学习是“复用某一任务的知识去应对另一任务”这一宽泛方法。微调是一种具体的迁移学习技术,其中预训练模型的权重通过在特定于任务的新数据上继续训练而被更新。所有微调都是迁移学习的一种应用,但迁移学习也可以在不微调的情况下应用:例如,通过使用一个冻结的预训练模型来做特征提取。微调是用于 AI 生成模型适配的最常见的迁移学习技术。
可以这样理解…
迁移学习就像聘请一位受过古典训练的音乐家加入一支爵士乐队:他们已经在很高的水平上理解和声、节奏、乐理与乐器演奏技巧，，这些知识可以直接迁移。相比教一个从未演奏过音乐的人,他们只需相对少量的额外训练,就能把这些基础应用到爵士这一表达方式上。预训练就是音乐学院的教育;微调就是爵士乐的学徒期。
实用提示
在为生产用途委托或评估微调模型时(无论是用于角色一致性、艺术风格还是产品视觉识别),始终要评估微调所基于的基础模型的质量,而不仅是评估微调模型本身。从一个高质量基础模型微调而来的 LoRA,通常会胜过从低质量基础模型微调而来的 LoRA,即便训练数据与技术完全相同。微调质量的上限,在很大程度上由它所构建于其上的预训练模型的能力决定。
类型与变体
特征提取把一个预训练模型用作固定的特征提取器,只额外加上一个小的、特定于任务的输出层,在新任务上训练该层,而预训练权重保持冻结。微调则解冻预训练模型的部分或全部权重,在新任务上更新它们,以更深的代价(更多算力与更大数据集)实现更深层的适配。领域适配把迁移学习应用于源数据集与目标数据集在分布上差异显著的场景,使用相应技术来弥合领域差距。少样本迁移利用模型的预训练能力,仅凭少量样本就完成一个新任务。LoRA 及其他参数高效微调方法,高效地适配模型权重的特定子集,实现快速、资源节省的迁移。
准备好在 Morphic 里做第一个场景了吗？
试用 Morphic常见使用场景
只要一项 AI 能力需要被适配到某一具体领域或应用、而又不想从零训练新模型,就会用到迁移学习。在图像生成中,它支撑着面向艺术风格的 LoRA 微调、面向特定主体的 DreamBooth 训练,以及角色一致性模型训练。在自然语言处理中,它支撑着把大语言模型微调到具体任务(如编程辅助、客户服务或特定领域问答)的过程。在计算机视觉中,它使建立在通用图像模型基础之上、在特定领域上训练的物体检测与分类系统成为可能。
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
常见问题（FAQ）
迁移学习是一种机器学习方法,其中在某一任务或数据集上训练得到的模型被适配去执行一个不同但相关的任务,而不是从零训练。预训练模型学到的表征(它对数据中模式、结构与关系的理解)被改用于新应用,极大地减少了达到强性能所需的数据、时间与计算资源。
迁移学习被广泛使用,是因为从零训练大型 AI 模型需要海量数据、计算资源与时间,而这些对大多数从业者与组织而言难以企及。迁移学习让从业者得以从一个强大的预训练基础出发,以少得多的资源把它适配到具体需求,从而让强大的 AI 能力更易获得。这种方法在特定任务数据有限的情况下,通常也比从零训练产出更好的结果。
微调是在实践中应用迁移学习最常见的技术。它把一个预训练模型,在一个新的、特定于任务的数据集上继续训练,更新模型的权重以把其输出适配到新应用,同时保留原始训练期间编码的大部分知识。所有微调都是迁移学习的一种应用;迁移学习也可以通过其他方法(如特征提取)来应用。
在图像生成中,迁移学习支撑着用于把生成模型定制到特定输出的各种适配技术。LoRA 微调把一个通用生成模型适配到某种特定艺术风格、视觉领域或主体。DreamBooth 训练把某个特定主体(一个人、一件产品、一处场所)的外观编码进模型。这些技术都运用了迁移学习的原理:从一个强大的预训练生成基础出发,把其能力导向某一具体的创作目标。
基础模型是在广泛、通用的数据集上大规模训练的大型 AI 模型,意在作为通过迁移学习适配到众多具体任务的起点。基础模型(如 GPT 与 Claude 这样的大语言模型,Stable Diffusion 与 Flux 这样的图像生成模型)在广泛的通用训练上投入巨量资源,正是为了让具体应用能够通过迁移学习高效地由其构建,而不必各自做完整规模的训练。
用迁移学习做微调所需的数据量,远少于从零训练,且会因源任务与目标任务之间的相似度而异。面向某种特定艺术风格的 LoRA 微调,少至二十到五十张高质量参考图像就可能有效。DreamBooth 主体训练,用某个特定主体的少于二十张图像就可能有效。目标任务与原始预训练分布越相似,达到强适配通常所需的数据就越少。
领域适配是迁移学习中的一项挑战,当目标任务的数据分布与源训练数据的分布差异显著时就会出现。例如,一个在影棚肖像照上训练的模型,可能无法完美迁移到户外环境肖像,因为这两个领域的视觉分布存在差异:在光线、色彩、景深与构图惯例上。领域适配技术试图弥合这一差距,调整模型学到的表征,使其在分布差异之下仍能在目标领域上表现良好。
LoRA(Low-Rank Adaptation,低秩适配)是一种参数高效的微调技术,它通过训练一小组额外的权重矩阵来适配一个预训练模型,同时让原始模型权重保持冻结。LoRA 权重比完整模型小得多,因而训练快、易于共享与组合。对图像生成而言,LoRA 运用迁移学习把一个通用生成模型导向某种特定风格、主体或视觉领域,而无需修改或重训完整的基础模型。
