Jeu de données
Qu’est-ce que Jeu de données ?
Un dataset est l'ensemble des exemples à partir desquels une IA apprend pendant l'entraînement. La qualité, la diversité et le contenu du dataset déterminent directement ce que le modèle sait et ce qu'il peut générer.
En un coup d’œil
- Aussi appelé
- Dataset d'entraînementDonnées d'entraînementEnsemble d'entraînement
- Utilisé pour
- Entraîner des modèles d'IA à partir de zéroFine-tuner des modèles sur des styles ou sujets spécifiqueséValuer les performances des modèlesComprendre les sources de biais et de capacités des modèles
- Outils courants
- Plateformes d'annotation de donnéesPipelines de web scrapingBibliothèques d'images stockOutils de génération de données synthétiques
- Termes liés
- AI model trainingFine-tuningLoRADreamBoothOverfitting
Prêt à créer ?
Réalisez des scènes, créez des personnages, livrez des films entiers
Plateforme créative IA tout-en-un, avec une tarification simple et transparente, sans bridage de vitesse, et un Canvas infini pour une créativité maximale.
Comparaison
Un dataset est la collection d'exemples utilisée pour entraîner un modèle ; le modèle est le système appris qui émerge du processus d'entraînement. Le dataset définit ce à partir de quoi le modèle apprend ; le modèle est ce qui applique cet apprentissage à de nouvelles entrées. Un changement du dataset produit un modèle différent même si l'architecture d'entraînement reste la même, et le même dataset entraîné avec une architecture différente produira également des résultats différents. Les deux sont des composants essentiels et interdépendants du processus de développement de l'IA.
Astuce de pro
Lors de la constitution d'un dataset de fine-tuning pour un modèle de personnage ou de style personnalisé, privilégiez la qualité et la variation plutôt que le volume. Dix à trente images de haute qualité montrant le sujet sous des angles variés, dans différentes conditions d'éclairage et à différentes distances entraîneront un modèle plus robuste et flexible qu'une centaine d'images quasi identiques prises du même angle. La diversité au sein du dataset produit la diversité dans ce que le modèle peut générer.
Types et variantes
- Un dataset de pré-entraînement est la collection à grande échelle utilisée pour entraîner un modèle de base à partir de zéro, contenant généralement des milliards d'exemples.
- Un dataset de fine-tuning est une collection plus petite et organisée utilisée pour spécialiser un modèle déjà entraîné sur un domaine, un style ou un sujet spécifique.
- Un dataset synthétique se compose d'exemples générés artificiellement plutôt que de données du monde réel, utilisé lorsque la collecte d'exemples réels à une échelle suffisante est impraticable.
- Un dataset étiqueté contient des annotations explicites, telles que des descriptions textuelles associées à des images, qui permettent l'apprentissage supervisé.
- Un dataset non étiqueté contient des exemples bruts sans annotations, utilisé dans les approches d'apprentissage non supervisé et auto-supervisé.
Prêt à créer votre première scène dans Morphic ?
Essayer MorphicCas d’usage courants
- Entraîner de grands modèles de base sur des paires image-texte diverses extraites du web pour leur donner une large capacité générative à travers de nombreux sujets et styles.
- Fine-tuner des modèles existants sur de petits datasets organisés pour créer des modèles de personnages spécialisés, des générateurs cohérents en style ou des outils visuels spécifiques à une marque.
- Évaluer les performances des modèles en testant sur des exemples mis de côté non vus pendant l'entraînement.
- Comprendre pourquoi un modèle produit certaines sorties, certains biais ou certains modes d'échec en examinant les caractéristiques de ses données d'entraînement.
- Construire des modèles LoRA ou DreamBooth personnalisés à partir d'un ensemble personnel d'images d'un sujet spécifique.
Prêt à créer ?
Réalisez des scènes, créez des personnages, livrez des films entiers
Plateforme créative IA tout-en-un, avec une tarification simple et transparente, sans bridage de vitesse, et un Canvas infini pour une créativité maximale.
FAQ
Un dataset est la collection d'exemples sur laquelle un modèle d'IA est entraîné. En génération d'images et de vidéos, les datasets se composent d'images ou de vidéos associées à des descriptions textuelles, à partir desquelles le modèle apprend à comprendre la relation entre le langage et le contenu visuel.
Le dataset détermine ce que le modèle a appris, y compris quels sujets, styles et scénarios il peut gérer, quels biais il peut refléter et où s'arrêtent ses capacités. Les sorties d'un modèle sont fondamentalement façonnées par le contenu, la diversité et la qualité de ses données d'entraînement.
Les modèles de base pour la génération d'images sont généralement entraînés sur des centaines de millions à des milliards de paires image-texte. Cette échelle fournit l'étendue nécessaire pour gérer l'énorme variété de sujets, styles et combinaisons que les utilisateurs peuvent décrire dans les prompts.
Un dataset de fine-tuning est une collection plus petite et organisée utilisée pour spécialiser un modèle déjà entraîné sur un sujet, un style ou un domaine spécifique. Par exemple, un ensemble de dix à trente images d'un personnage spécifique peut être utilisé pour fine-tuner un modèle afin de générer ce personnage de manière cohérente.
Un modèle apprend les motifs statistiques présents dans ses données d'entraînement, y compris tous les biais culturels, démographiques ou esthétiques intégrés au dataset. Si certains sujets, contextes culturels ou styles visuels sont sous-représentés dans les données, le modèle les gérera de manière moins fiable.
Un dataset synthétique se compose d'exemples générés artificiellement plutôt que de données du monde réel. Les datasets synthétiques sont utilisés lorsque la collecte d'exemples réels à l'échelle requise est impraticable, ou lorsque certains types d'exemples d'entraînement sont difficiles à obtenir dans le monde réel.
Organisez un ensemble d'images de haute qualité de votre sujet dans des conditions variées, y compris différents angles, éclairages et distances. Privilégiez la variation et la qualité au volume ; dix à trente images diverses et bien organisées produisent généralement de meilleurs résultats de fine-tuning qu'un ensemble plus grand d'images quasi identiques.
Les données d'entraînement sont la portion du dataset utilisée pour entraîner le modèle, à partir de laquelle il apprend ses paramètres. Les données de test sont une portion mise de côté non vue pendant l'entraînement, utilisée pour évaluer dans quelle mesure le modèle généralise à de nouveaux exemples. Garder ces ensembles séparés garantit que l'évaluation reflète les performances réelles plutôt que la mémorisation.
