Glossaire de l'IA générative

L'ajustement, ou fine-tuning en anglais, est un processus où un modèle d'intelligence artificielle pré-entraîné est affiné sur un ensemble de données spécifiques pour accomplir une tâche particulière. En adaptant le modèle existant à de nouvelles données, on améliore ses performances pour des applications spécifiques sans avoir à le former entièrement depuis le début.

Un algorithme est une suite d'instructions claires et précises conçues pour résoudre un problème ou accomplir une tâche spécifique. C'est une séquence qui guide étape par étape pour atteindre un résultat attendu. Les algorithmes sont utilisés en informatique pour traiter des données, effectuer des calculs et automatiser des processus.

Un algorithme génétique est une méthode d'optimisation inspirée du processus de sélection naturelle. Il utilise des techniques comme la mutation, le croisement et la sélection pour générer des solutions de plus en plus adaptées à un problème donné. Les solutions potentielles sont traitées comme des individus dans une population qui évolue au fil des générations pour trouver des solutions optimales ou quasi optimales.

ALBERT (A Lite BERT) est une version allégée de BERT qui réduit le nombre de paramètres en factorisant les embeddings et en partageant les poids entre les couches. Cela rend le modèle plus efficace en termes de mémoire et de calcul, tout en conservant des performances élevées.

ANN, ou Réseau de Neurones Artificiels en français, est un modèle d'apprentissage automatique inspiré du cerveau humain. Il se compose de neurones artificiels interconnectés qui transmettent et transforment des informations. Les ANN sont utilisés pour résoudre des problèmes complexes tels que la reconnaissance vocale, la traduction automatique et l'analyse prédictive en apprenant à partir de grandes quantités de données.

L'apprentissage automatique, ou machine learning, est une branche de l'intelligence artificielle où les ordinateurs apprennent à effectuer des tâches sans être explicitement programmés pour chaque étape. En analysant des données, les systèmes peuvent identifier des motifs et des tendances qui leur permettent de prendre des décisions ou de faire des prédictions, améliorant ainsi leurs performances au fil du temps grâce à l'expérience.

L'apprentissage auto-supervisé est une approche où le modèle apprend à partir de données non étiquetées en générant ses propres étiquettes à partir des structures ou des relations présentes dans les données. Cela permet d'utiliser de grandes quantités de données disponibles sans nécessiter d'étiquetage manuel, ce qui est particulièrement utile dans le traitement du langage naturel et la vision par ordinateur.

L'apprentissage non supervisé est une approche où le modèle est entraîné sur des données non étiquetées, sans réponses correctes fournies. L'objectif est que le modèle découvre des structures cachées, des motifs ou des regroupements naturels dans les données, sans orientation préalable sur ce qu'il faut chercher.

L'apprentissage par renforcement est une technique où un agent apprend à prendre des décisions en interagissant avec un environnement. L'agent reçoit des récompenses ou des pénalités en fonction de ses actions et ajuste son comportement pour maximiser les récompenses à long terme, apprenant ainsi par essais et erreurs.

L'apprentissage par renforcement profond combine les réseaux neuronaux profonds avec l'apprentissage par renforcement. Un agent apprend à prendre des décisions en interagissant avec un environnement, en recevant des récompenses ou des pénalités, et utilise des réseaux profonds pour approximer les fonctions de valeur ou de politique, ce qui lui permet de gérer des environnements complexes et à haute dimension.

L'apprentissage par transfert consiste à utiliser un modèle pré-entraîné sur une tâche ou un domaine pour l'appliquer à une autre tâche ou domaine. En réutilisant les connaissances déjà acquises, cela permet de réduire le temps et les ressources nécessaires pour entraîner un nouveau modèle, surtout lorsque les données disponibles sont limitées.

L'apprentissage profond est une branche de l'intelligence artificielle qui utilise des réseaux de neurones artificiels comportant de nombreuses couches cachées pour modéliser des données complexes. Ces réseaux profonds peuvent apprendre des représentations hiérarchiques et abstraites des données, ce qui leur permet de réaliser des tâches avancées comme la reconnaissance vocale, la vision par ordinateur ou la traduction automatique.

L'apprentissage semi-supervisé combine des données étiquetées et non étiquetées pour entraîner un modèle. En utilisant une petite quantité de données étiquetées et une grande quantité de données non étiquetées, le modèle peut apprendre efficacement tout en réduisant le coût et le temps associés à l'étiquetage manuel.

L'apprentissage supervisé est une méthode de machine learning où un modèle est entraîné à partir de données étiquetées. Cela signifie que chaque exemple d'entraînement est associé à une réponse correcte. Le modèle apprend ainsi à faire des prédictions ou à classer de nouvelles données en se basant sur ces exemples connus.

Les approches connexionnistes sont des modèles en intelligence artificielle qui s'inspirent du fonctionnement du cerveau humain. Elles utilisent des réseaux de neurones artificiels composés de nombreuses unités interconnectées (neurones) qui traitent l'information en parallèle. Ces approches sont capables d'apprendre à partir de données et de généraliser pour résoudre des problèmes complexes.

Un arbre de décision est un modèle qui utilise une structure arborescente pour prendre des décisions basées sur des tests successifs sur les caractéristiques des données. Chaque nœud interne représente un test, chaque branche le résultat du test, et chaque feuille une décision finale ou une prédiction. Une Random Forest est une méthode ensembliste qui combine un grand nombre d'arbres de décision entraînés sur des sous-ensembles aléatoires des données. En agrégeant les prédictions de ces arbres, elle améliore la précision et réduit le risque de surapprentissage.

Un arbre de raisonnement est une structure qui représente visuellement les différentes étapes ou options d'un processus de prise de décision. Chaque nœud de l'arbre représente une question ou une condition, et chaque branche représente une réponse ou une action possible. Cela permet de suivre et d'analyser les différents chemins logiques menant à une conclusion ou à une solution.

Les VAE sont une classe de modèles génératifs qui apprennent à encoder les données d'entrée en une représentation latente probabiliste, puis à décoder cette représentation pour reconstruire les données originales. Ils peuvent générer de nouvelles données en échantillonnant à partir de l'espace latent, ce qui est utile pour la génération de contenu et l'apprentissage non supervisé.

Un autoencodeur est un type de réseau de neurones artificiel utilisé pour apprendre une représentation compacte (encodage) des données, généralement pour la réduction de dimensions ou la détection d'anomalies. Il consiste en deux parties : un encodeur qui compresse les données en une représentation latente, et un décodeur qui reconstruit les données originales à partir de cette représentation.

L'autorégression est un modèle utilisé pour analyser des séries temporelles, où les valeurs futures sont prédites en fonction des valeurs passées de la même variable. En supposant que les données ont une dépendance dans le temps, le modèle utilise des observations précédentes pour estimer les valeurs à venir, aidant ainsi à identifier des tendances ou des cycles.

La batch normalization est une technique qui normalise les entrées de chaque couche d'un réseau de neurones en soustrayant la moyenne et en divisant par l'écart-type. Cela accélère l'entraînement, stabilise l'apprentissage et permet d'utiliser des taux d'apprentissage plus élevés, améliorant ainsi les performances du modèle.

Une base de données vectorielle est un système de stockage et de gestion de données conçu spécifiquement pour manipuler des vecteurs, comme les embeddings. Elle permet de réaliser des recherches efficaces basées sur la similarité entre vecteurs, ce qui est utile pour des applications comme la recommandation de contenu, la recherche sémantique ou la reconnaissance d'images.

BERT est un modèle de langage développé par Google qui utilise une architecture Transformer bidirectionnelle. Il est pré-entraîné sur de vastes corpus de texte en masquant certains mots et en apprenant à les prédire en fonction du contexte environnant. BERT est utilisé pour améliorer la compréhension du langage naturel dans des tâches comme la classification de texte, la réponse à des questions et l'analyse de sentiments.

Le biais algorithmique se réfère aux préjugés ou aux partialités qui peuvent survenir dans les systèmes d'IA en raison des données d'entraînement biaisées ou des conceptions de modèles inadéquates. Cela peut conduire à des décisions injustes ou discriminatoires, soulignant l'importance de concevoir des systèmes équitables et inclusifs.

Les biais dans les modèles font référence aux préjugés ou aux tendances indésirables qu'un modèle d'intelligence artificielle peut apprendre à partir des données d'entraînement. Ces biais peuvent conduire à des résultats injustes ou discriminatoires, affectant la fiabilité et l'équité des décisions prises par le modèle. Il est important d'identifier et de corriger ces biais pour assurer une utilisation éthique de l'IA.

Les chatbots sont des programmes informatiques conçus pour simuler une conversation humaine. Ils interagissent avec les utilisateurs via des interfaces de messagerie, en répondant aux questions, en fournissant des informations ou en exécutant des tâches spécifiques. Ils utilisent des techniques d'intelligence artificielle pour comprendre le langage naturel et fournir des réponses appropriées.

La classification est une méthode d'apprentissage supervisé où un modèle est entraîné sur des données étiquetées pour apprendre à attribuer de nouvelles observations à des catégories prédéfinies. Le modèle apprend les caractéristiques distinctives de chaque classe afin de pouvoir prédire correctement la classe d'appartenance des nouvelles données.

Le clustering est une technique d'apprentissage non supervisé qui consiste à regrouper des données en clusters (groupes) de sorte que les éléments du même groupe soient plus similaires entre eux qu'avec ceux des autres groupes. Cela permet de découvrir des structures ou des patterns cachés dans les données sans connaissance préalable des catégories.

Un CNN, ou Réseau de Neurones Convolutif, est un type de réseau de neurones spécialement conçu pour traiter des données structurées en grille, comme les images. Il utilise des couches de convolution pour extraire automatiquement des caractéristiques pertinentes en appliquant des filtres sur les données d'entrée. Les CNN sont largement utilisés en vision par ordinateur pour des tâches telles que la reconnaissance d'objets, la détection de visages et la segmentation d'images.

Le contrôle de la génération est la capacité d'influencer ou de guider la production de contenu par un modèle d'intelligence artificielle. Cela implique d'ajuster les paramètres ou de fournir des instructions spécifiques pour obtenir des résultats conformes aux attentes, en termes de style, de ton ou de contenu, afin d'assurer que la génération reste pertinente et appropriée.

Les deepfakes sont des contenus audio, vidéo ou image générés ou modifiés à l'aide de techniques d'intelligence artificielle pour créer de fausses représentations réalistes. Cela soulève des préoccupations éthiques et de sécurité, car les deepfakes peuvent être utilisés pour la désinformation, la fraude ou l'usurpation d'identité.

La descente de gradient est un algorithme d'optimisation utilisé pour ajuster les paramètres d'un modèle afin de minimiser une fonction de coût ou d'erreur. Il fonctionne en calculant le gradient (la dérivée) de la fonction de coût par rapport aux paramètres du modèle, puis en modifiant ces paramètres dans la direction opposée au gradient. Cela permet au modèle d'apprendre et de s'améliorer progressivement.

La détection d'anomalies est le processus d'identification de données ou d'événements qui ne correspondent pas au comportement attendu ou aux modèles normaux. En apprentissage automatique, cela implique de construire des modèles capables de repérer des observations atypiques, ce qui est utile pour la détection de fraudes, la maintenance prédictive et la surveillance de la santé des systèmes.

La dérivée est un concept mathématique qui représente le taux de variation instantané d'une fonction par rapport à une de ses variables. Elle indique comment une petite modification de la variable d'entrée influence la sortie de la fonction. Les dérivées sont essentielles en calcul différentiel et sont utilisées pour trouver les pentes des courbes, optimiser des fonctions et modéliser des changements.

La distance euclidienne est une mesure qui calcule la longueur du segment de droite entre deux points dans un espace à plusieurs dimensions. Elle est utilisée pour déterminer à quel point deux points ou objets sont proches l'un de l'autre en calculant la "distance" directe qui les sépare. En deux dimensions, c'est la distance que l'on peut mesurer avec une règle entre deux points sur un plan.

Les données sont des informations collectées, mesurées ou observées qui peuvent être analysées et utilisées pour aider à la prise de décision, à la résolution de problèmes ou à la création de connaissances. Dans le contexte de l'informatique et de l'apprentissage automatique, les données peuvent être numériques, textuelles, visuelles ou de tout autre type, et servent de base pour l'entraînement des modèles et l'analyse des tendances.

Le dropout est une technique de régularisation où, pendant l'entraînement, certains neurones sont aléatoirement "désactivés". Cela empêche le modèle de devenir trop dépendant de certains neurones spécifiques, réduisant ainsi le surapprentissage et améliorant la capacité du modèle à généraliser sur de nouvelles données.

Les embeddings sont des représentations numériques de données, comme des mots ou des images, sous forme de vecteurs dans un espace de dimensions réduites. Ils capturent les caractéristiques et les relations entre les données, de sorte que des éléments similaires sont représentés par des vecteurs proches. Cela facilite le traitement et l'analyse des données par les algorithmes d'apprentissage automatique.

Un ensemble de données est une collection structurée de données utilisées pour entraîner, valider et tester des modèles d'apprentissage automatique. Il peut contenir des exemples étiquetés ou non, et doit être représentatif du problème à résoudre pour que le modèle puisse apprendre efficacement et généraliser à de nouvelles données.

L'entraînement par adversaire est une méthode pour rendre les modèles plus robustes en les entraînant sur des exemples spécialement conçus pour tromper le modèle. En exposant le modèle à ces "attaques adverses", on améliore sa capacité à résister aux perturbations et aux manipulations malveillantes.

L'éthique de l'IA concerne les implications morales et les responsabilités liées à la conception, au développement et à l'utilisation des technologies d'intelligence artificielle. Cela inclut des questions sur la confidentialité, la transparence, l'équité, le biais, et l'impact sur la société et l'emploi.

Un espace latent est un espace de dimensions réduites où les données sont projetées de manière à capturer les caractéristiques sous-jacentes et les relations entre les données. Dans les modèles génératifs, naviguer dans l'espace latent permet de générer de nouvelles données avec des attributs spécifiques.

Le Few-shot Learning est une méthode d'apprentissage où un modèle est capable de généraliser à de nouvelles tâches ou classes avec seulement quelques exemples d'entraînement. Cela est particulièrement utile lorsque les données sont rares ou coûteuses à obtenir, permettant au modèle d'apprendre rapidement de nouvelles informations.

Une fonction d'activation est une fonction mathématique utilisée dans les neurones artificiels pour introduire de la non-linéarité. Elle transforme la somme pondérée des entrées du neurone en une sortie qui peut être utilisée par le neurone suivant. Des exemples courants incluent la fonction sigmoïde, ReLU (Rectified Linear Unit) et tanh.

Les fonctions de perte mesurent la différence entre les prédictions du modèle et les valeurs réelles. Elles guident l'entraînement du modèle en fournissant une métrique à minimiser. Des exemples incluent l'erreur quadratique moyenne pour la régression et l'entropie croisée pour la classification.

Un GAN, ou Réseau Antagoniste Génératif, est un modèle composé de deux réseaux de neurones qui s'affrontent : un générateur qui crée de nouvelles données semblables aux données d'entraînement, et un discriminateur qui essaie de distinguer entre les données réelles et générées. Ce processus compétitif améliore la capacité du générateur à produire des données réalistes.

La génération incrémentale est une méthode où le texte ou les données sont produites progressivement, étape par étape, en s'appuyant sur les informations précédemment générées. Cela permet au modèle d'adapter sa production en temps réel en fonction du contexte ou des nouvelles entrées, améliorant ainsi la cohérence et la pertinence du résultat final.

GloVe (Global Vectors for Word Representation) est une méthode pour obtenir des représentations vectorielles de mots, basée sur les statistiques globales de cooccurrence des mots dans un corpus. Comme Word2Vec, GloVe produit des embeddings où la distance entre les vecteurs reflète les relations sémantiques entre les mots.

Le gradient vanishing (disparition du gradient) et le gradient exploding (explosion du gradient) sont des problèmes qui surviennent lors de l'entraînement de réseaux de neurones profonds, où les gradients deviennent trop petits ou trop grands. Cela peut ralentir l'apprentissage ou entraîner des instabilités. Des techniques comme la normalisation ou l'utilisation de fonctions d'activation appropriées peuvent atténuer ces problèmes.

Dans le contexte de l'intelligence artificielle, les hallucinations se réfèrent aux situations où un modèle génère des informations incorrectes ou inexistantes qui semblent plausibles. Cela peut se produire lorsque le modèle extrapole à partir de données insuffisantes ou mal interprétées, conduisant à des réponses qui ne sont pas basées sur des faits réels.

L'IA explicable est un domaine qui vise à rendre les décisions et les prédictions des modèles d'intelligence artificielle compréhensibles pour les humains. Cela implique de développer des techniques et des outils qui permettent de comprendre comment un modèle a abouti à une certaine conclusion, améliorant ainsi la transparence et la confiance dans les systèmes d'IA.

L'indexation sémantique est une technique qui associe des documents ou des données à des concepts ou des significations plutôt qu'à de simples mots-clés. Cela facilite la recherche et la récupération d'informations en tenant compte du sens réel des termes, ce qui améliore la pertinence des résultats obtenus lors des requêtes.

L'intelligence artificielle générative est un type d'IA capable de créer de nouveaux contenus comme du texte, des images, de la musique ou du code informatique. Elle le fait en apprenant à partir de données existantes pour générer des résultats originaux qui ressemblent à ces données. En d'autres termes, elle utilise ce qu'elle a appris pour générer quelque chose de nouveau mais de semblable.

L'LSTM est un type de réseau de neurones récurrents conçu pour mieux capturer les dépendances à long terme dans les données séquentielles. Il utilise des "cellules" avec des mécanismes de mémoire qui peuvent conserver ou oublier des informations au fil du temps, ce qui le rend efficace pour des tâches comme la modélisation de séries temporelles ou le traitement du langage naturel.

Le Machine Learning, ou apprentissage automatique, est une branche de l'intelligence artificielle où les ordinateurs apprennent à effectuer des tâches sans être explicitement programmés pour chaque étape. En analysant de grandes quantités de données, ces systèmes identifient des motifs et des tendances qui leur permettent de faire des prédictions ou de prendre des décisions. Cela signifie que les machines peuvent s'améliorer et s'adapter à de nouvelles informations au fil du temps, comme le ferait un être humain en apprenant de l'expérience.

La mémoire neuronale différentiable est une architecture qui combine des réseaux neuronaux avec une mémoire externe à laquelle le réseau peut accéder de manière différentiable. Cela permet au modèle de lire et d'écrire dans une mémoire, améliorant sa capacité à manipuler des données séquentielles et à effectuer des tâches qui nécessitent le stockage et la récupération d'informations.

Le méta-apprentissage, ou "apprentissage à apprendre", est une approche où le modèle apprend des méta-connaissances à partir de multiples tâches d'apprentissage. L'objectif est de permettre au modèle de s'adapter rapidement à de nouvelles tâches avec peu de données, en utilisant l'expérience acquise lors de l'apprentissage de tâches similaires.

Les métriques d'évaluation sont des mesures utilisées pour évaluer les performances d'un modèle d'apprentissage automatique. Elles permettent de quantifier l'exactitude, la précision, le rappel, la courbe ROC, l'erreur quadratique moyenne, etc., en fonction du type de tâche (classification, régression, etc.), afin de déterminer si le modèle répond aux objectifs fixés.

Le mécanisme d'attention est une technique utilisée dans les réseaux de neurones qui permet au modèle de se concentrer sur certaines parties pertinentes des données d'entrée lorsqu'il génère une sortie. Cela améliore la performance sur des tâches où le contexte est important, comme la traduction automatique, en attribuant des poids différents aux éléments de la séquence d'entrée.

Un modèle bayésien utilise le théorème de Bayes pour mettre à jour les probabilités initiales (a priori) en probabilités révisées (a posteriori) à la lumière de nouvelles données. Il intègre des connaissances préalables et les combine avec les données observées pour améliorer les estimations ou les prédictions, offrant une approche probabiliste de l'inférence statistique.

Un modèle ensembliste est une approche qui combine les prédictions de plusieurs modèles d'apprentissage automatique pour obtenir une performance globale meilleure que celle de n'importe quel modèle individuel. L'idée est que l'agrégation de modèles diversifiés peut compenser les erreurs de chacun, conduisant à des prédictions plus robustes et précises. Des techniques comme le bagging, le boosting et les forêts aléatoires sont des exemples de méthodes ensemblistes.

Un GPT est un type de modèle de langage basé sur l'architecture Transformer, entraîné sur de grandes quantités de données textuelles pour prédire le mot suivant dans une phrase. Ces modèles sont capables de générer du texte cohérent et pertinent, et sont utilisés pour diverses applications comme la rédaction assistée, la traduction automatique et les chatbots.

Un modèle non paramétrique est un type de modèle d'apprentissage automatique qui ne fait pas d'hypothèses spécifiques sur la forme fonctionnelle reliant les variables d'entrée à la sortie. Contrairement aux modèles paramétriques, il n'est pas limité par un nombre fixe de paramètres et peut s'adapter de manière flexible aux structures complexes des données. Cela permet de capturer des relations plus nuancées sans être contraint par une structure prédéfinie.

Les modèles de diffusion sont une classe de modèles génératifs qui apprennent à générer des données en inversant un processus de diffusion qui ajoute du bruit aux données d'entraînement. En apprenant à éliminer progressivement le bruit, ces modèles peuvent générer des échantillons réalistes, notamment dans la génération d'images.

Les modèles paramétriques sont des modèles statistiques ou d'apprentissage automatique caractérisés par un nombre fixe de paramètres. Ils supposent une forme spécifique pour la fonction qui relie les variables d'entrée à la sortie, comme une ligne droite ou une courbe prédéfinie. En ajustant ces paramètres sur les données d'entraînement, le modèle peut faire des prédictions sur de nouvelles données.

La méthode des plus proches voisins est un algorithme d'apprentissage supervisé qui classe une nouvelle donnée en fonction des classes des données les plus proches dans l'espace des caractéristiques. Il repose sur l'hypothèse que des données similaires se trouvent à proximité les unes des autres. Le paramètre "k" détermine le nombre de voisins considérés pour effectuer la prédiction, d'où le nom k-plus proches voisins (k-NN).

La normalisation des données est un processus qui consiste à ajuster les valeurs des données pour qu'elles soient sur une même échelle, sans distorsion des différences de valeurs. Cela facilite l'entraînement des modèles en assurant que chaque caractéristique contribue de manière égale et évite que certaines variables dominent les autres en raison de leur échelle.

Les optimiseurs sont des algorithmes utilisés pour ajuster les poids des modèles afin de minimiser la fonction de perte. Des exemples courants incluent Adam, qui combine les avantages d'AdaGrad et RMSProp, et RMSProp, qui adapte le taux d'apprentissage pour chaque paramètre, améliorant ainsi la vitesse et la performance de l'apprentissage.

Le perceptron est l'un des modèles les plus simples de neurones artificiels. Il calcule une somme pondérée des entrées et utilise une fonction d'activation pour produire une sortie binaire (par exemple, 0 ou 1). Initialement conçu pour la classification linéaire binaire, le perceptron est la base des réseaux de neurones plus complexes et des algorithmes d'apprentissage profond.

Le perceptron multi-couche est une extension du perceptron simple, constitué de plusieurs couches de neurones (une couche d'entrée, une ou plusieurs couches cachées, et une couche de sortie). Grâce à ces couches additionnelles, il peut modéliser des relations non linéaires complexes entre les données. L'apprentissage se fait généralement via l'algorithme de rétropropagation, qui ajuste les poids des connexions pour minimiser l'erreur entre les prédictions et les valeurs réelles.

Le prétraitement des données est l'étape consistant à préparer les données brutes pour les rendre utilisables par un modèle d'apprentissage automatique. Cela inclut le nettoyage des données, la gestion des valeurs manquantes, la normalisation, l'encodage des variables catégorielles et la réduction de dimensions. Un prétraitement adéquat est crucial pour la performance du modèle.

La reconnaissance d'images est une application de la vision par ordinateur où les systèmes sont entraînés à identifier et classer des objets, des personnes, des lieux ou des actions dans des images ou des vidéos. Cela utilise souvent des réseaux de neurones convolutifs pour extraire des caractéristiques pertinentes des données visuelles.

La réduction de dimensions est une technique qui simplifie un jeu de données en diminuant le nombre de variables tout en conservant l'essentiel de l'information. Cela facilite l'analyse et la visualisation des données, réduit le temps de calcul et peut améliorer les performances des modèles en éliminant les redondances et le bruit.

Le RAG est une approche hybride en intelligence artificielle qui combine la récupération d'informations et la génération de texte. Il utilise un modèle de récupération pour extraire des documents pertinents à partir d'une base de données ou d'un corpus, puis un modèle de génération pour produire des réponses ou des contenus en s'appuyant sur les informations récupérées. Cette méthode permet d'améliorer la pertinence et la précision des réponses générées, en s'appuyant sur des données externes pour enrichir le contexte et les connaissances du modèle.

La régularisation est une technique utilisée pour prévenir le surapprentissage en ajoutant une pénalité aux valeurs des poids du modèle lors de l'entraînement. Cela encourage le modèle à rester simple et à éviter de s'adapter trop étroitement aux données d'entraînement, améliorant ainsi sa capacité à généraliser sur de nouvelles données. Des méthodes courantes incluent L1, L2 et dropout.

La représentation distribuée est une manière de représenter des données où chaque élément est décrit par un vecteur de caractéristiques, et chaque caractéristique contribue à la signification de plusieurs éléments. Cela permet de capturer les similitudes et les relations entre les données de manière plus efficace que les représentations discrètes.

Un réseau de neurones est un modèle d'apprentissage automatique composé de multiples neurones artificiels organisés en couches (entrée, cachées, sortie). Il est conçu pour reconnaître des patterns et modéliser des relations non linéaires dans les données. En ajustant les poids des connexions entre neurones lors de l'entraînement, le réseau apprend à effectuer des tâches comme la classification, la régression ou la reconnaissance d'images.

Les cGAN sont une extension des GAN où le générateur et le discriminateur reçoivent des informations supplémentaires (conditions) lors de l'entraînement. Cela permet de contrôler le type de données générées en fournissant des étiquettes ou des attributs spécifiques, ce qui est utile pour des applications comme la génération d'images à partir de descriptions textuelles.

Les réseaux neuronaux profonds sont des réseaux de neurones artificiels avec plusieurs couches cachées entre l'entrée et la sortie. Cette profondeur permet au réseau de modéliser des relations complexes et non linéaires dans les données, ce qui est essentiel pour des applications telles que la reconnaissance d'images, le traitement du langage naturel et la traduction automatique.

La régression linéaire est une méthode qui modélise la relation entre une variable cible et une ou plusieurs variables prédictives en supposant que cette relation est linéaire. Le modèle cherche la ligne droite (ou l'hyperplan en dimensions supérieures) qui minimise la différence entre les valeurs prédites et les valeurs réelles, permettant ainsi de faire des prédictions ou d'identifier des tendances.

La régression polynomiale étend la régression linéaire en modélisant la relation entre les variables à l'aide d'une équation polynomiale. Cela permet de capturer des relations non linéaires en incluant des puissances plus élevées des variables prédictives. Le modèle ajuste une courbe polynomiale qui correspond le mieux aux données observées.

La rétropropagation est un algorithme utilisé pour entraîner les réseaux de neurones artificiels. Elle calcule l'erreur entre la sortie réelle du réseau et la sortie souhaitée, puis propage cette erreur en sens inverse à travers le réseau pour ajuster les poids des connexions. Cela permet au réseau d'apprendre en minimisant progressivement l'erreur de prédiction.

Un RNN, ou Réseau de Neurones Récurrent, est un type de réseau de neurones adapté au traitement des données séquentielles ou temporelles. Il se caractérise par des connexions récurrentes qui permettent au réseau de "mémoriser" des informations sur de longues séquences. Cela le rend particulièrement efficace pour des tâches comme la reconnaissance vocale, la traduction automatique et la modélisation de séries temporelles.

RoBERTa (A Robustly Optimized BERT Approach) est une variante de BERT optimisée pour de meilleures performances. Elle utilise plus de données d'entraînement, des tailles de batch plus importantes et supprime certaines contraintes de BERT pour obtenir de meilleurs résultats sur les benchmarks de NLP.

La sémantique est l'étude du sens et de l'interprétation des mots, des phrases et des textes. En intelligence artificielle, elle concerne la compréhension du contenu et du contexte pour permettre aux machines de saisir le sens réel derrière les données, au-delà de la simple reconnaissance de mots ou de formes.

Le sous-apprentissage survient lorsqu'un modèle n'a pas suffisamment appris des données d'entraînement pour capturer les tendances ou les relations sous-jacentes. Il est alors incapable de bien performer ni sur les données d'entraînement ni sur les nouvelles données, car il est trop simple ou inadapté pour modéliser correctement le problème.

Le Style Transfer est une technique qui consiste à appliquer le style visuel d'une image (par exemple, le coup de pinceau d'un artiste) au contenu d'une autre image. Les réseaux de neurones convolutifs sont utilisés pour séparer et recombiner le contenu et le style, créant ainsi de nouvelles images artistiques.

Les Support Vector Machines sont des algorithmes d'apprentissage supervisé utilisés pour la classification et la régression. Ils fonctionnent en trouvant l'hyperplan optimal qui sépare les différentes classes de données avec la plus grande marge possible. Les SVM peuvent également gérer des relations non linéaires en utilisant des fonctions appelées "noyaux" pour transformer les données.

Le surapprentissage se produit lorsqu'un modèle apprend trop bien les détails et le bruit des données d'entraînement, au point de nuire à sa performance sur de nouvelles données. Il devient alors trop spécifique aux données d'entraînement et n'arrive pas à généraliser, ce qui entraîne des prédictions moins précises sur des données qu'il n'a pas vues auparavant.

Le Transformer est une architecture de réseau de neurones introduite pour le traitement du langage naturel. Il utilise des mécanismes d'attention pour modéliser les relations entre les mots dans une phrase, permettant un traitement plus efficace et parallèle des données textuelles. Cette architecture a révolutionné le domaine en améliorant significativement les performances sur diverses tâches linguistiques.

Transformer-XL est une amélioration de l'architecture Transformer qui introduit des mécanismes pour mieux gérer les dépendances à long terme dans les séquences. Il permet de modéliser efficacement de longues séquences de données, ce qui est utile pour le traitement du langage naturel et d'autres tâches séquentielles.

La traduction automatique est le processus par lequel un texte ou un discours est traduit d'une langue à une autre par une machine sans intervention humaine. Les systèmes de traduction automatique utilisent des algorithmes et des modèles d'apprentissage pour comprendre le texte source et générer une traduction cohérente dans la langue cible.

Le traitement du langage naturel est un domaine de l'informatique qui permet aux ordinateurs de comprendre, interpréter et générer le langage humain. Il englobe des tâches comme la reconnaissance vocale, l'analyse de sentiments, la traduction automatique et la génération de texte, facilitant l'interaction entre les humains et les machines en utilisant le langage naturel.

La vision par ordinateur est un domaine de l'intelligence artificielle qui permet aux ordinateurs de comprendre et d'interpréter le contenu visuel du monde, comme des images et des vidéos. Elle englobe des tâches telles que la reconnaissance d'objets, la détection de visages, la segmentation d'images et la compréhension de scènes, en utilisant des modèles d'apprentissage automatique pour extraire des informations significatives.

Word2Vec est une technique d'apprentissage de représentations vectorielles des mots à partir de grands corpus de texte. Elle crée des embeddings de mots où les mots ayant des contextes similaires dans le corpus ont des vecteurs proches, facilitant les calculs de similarité sémantique et les opérations arithmétiques sur les mots.

Un word embedding est une représentation vectorielle de mots qui capture les similitudes sémantiques entre eux. En les plaçant dans un espace de dimensions réduites, les mots ayant des significations similaires se retrouvent proches les uns des autres. Cela facilite le traitement du langage naturel en permettant aux modèles de manipuler les mots comme des données numériques.

XLNet est un modèle de langage qui combine les avantages des Transformers avec des techniques d'apprentissage auto-régressif. Il utilise une méthode de permutation des tokens pour capturer des dépendances bidirectionnelles sans les limitations du masquage utilisé dans BERT, améliorant les performances sur diverses tâches de traitement du langage naturel.

Le Zero-shot Learning est une technique où un modèle est capable de faire des prédictions sur des classes ou des tâches qu'il n'a jamais vues lors de l'entraînement. Il utilise des connaissances préalables et des relations entre les classes pour effectuer des prédictions sur de nouvelles catégories sans exemples d'entraînement spécifiques.