Le transfer learning (apprentissage par transfert) est une approche du machine learning dans laquelle un modèle entraîné sur une tâche ou un jeu de données est réutilisé et adapté pour accomplir une tâche différente mais apparentée, plutôt que d'être entraîné depuis zéro sur la nouvelle tâche. Au lieu d'initialiser un nouveau modèle avec des poids aléatoires et de l'entraîner intégralement sur le problème cible — processus qui requiert généralement d'énormes quantités de données, de ressources de calcul et de temps —, le transfer learning part de la connaissance déjà encodée dans le modèle pré-entraîné et l'adapte au nouvel objectif. Le modèle pré-entraîné a déjà appris à reconnaître structures, motifs et relations dans les données de son entraînement initial, et ces représentations apprises sont transférables : elles restent précieuses pour la nouvelle tâche, même si l'application cible diffère de l'objectif d'entraînement d'origine.
L'intuition fondamentale du transfer learning est qu'apprendre à bien résoudre un problème développe des capacités générales utiles à de nombreux problèmes liés. Un modèle entraîné à classer des millions d'images apprend à reconnaître contours, textures, formes et structures compositionnelles précieuses pour des tâches d'image entièrement différentes : générer des images, détecter des objets, évaluer la qualité d'une image. Un modèle entraîné sur un vaste corpus de texte développe une compréhension du langage, des capacités de raisonnement et une connaissance du monde transférables à des tâches allant de la traduction à la synthèse, de l'écriture créative au code. Les systèmes d'IA les plus puissants de l'époque contemporaine — grands modèles de langage, modèles de génération d'images de fondation, systèmes d'IA multimodaux — sont tous des produits du transfer learning appliqué à très grande échelle : entraînés sur des données larges et générales puis adaptés par fine-tuning, instruction tuning ou autres techniques pour des applications spécifiques. Cette architecture de pré-entraînement large suivi d'une adaptation ciblée est le paradigme dominant du développement moderne de l'IA.
Pour les praticiens qui travaillent avec les outils de génération par IA, le transfer learning est le mécanisme sous-jacent à beaucoup des techniques de fine-tuning et d'adaptation utilisées pour personnaliser les modèles pour des applications particulières. Le fine-tuning LoRA, l'entraînement DreamBooth, l'inversion textuelle et le fine-tuning de modèle pour des styles visuels spécifiques ou la cohérence de sujet appliquent tous les principes du transfer learning : ils partent d'un modèle de génération pré-entraîné puissant et orientent ses sorties vers une cible spécifique — un style artistique précis, un personnage défini, un design produit — sans ré-entraîner l'ensemble du modèle. Comprendre le transfer learning clarifie pourquoi si peu de données et de ressources de calcul suffisent à ces techniques d'adaptation : le modèle possède déjà les capacités fondamentales nécessaires à une génération d'images de haute qualité ; le fine-tuning oriente ces capacités existantes vers une sortie cible, sans bâtir la capacité depuis zéro.
