Dans le vaste monde de l’intelligence artificielle, l’objectif ultime est de créer des modèles capables d’apprendre et de généraliser, comme avec les modèles GPT et les autres IA que vous connaissez sur Yiaho.
Mais encore ? L’objectif d’une IA est de tirer des leçons de données existantes pour faire des prédictions ou prendre des décisions éclairées face à de nouvelles situations.
Cependant, ce processus d’apprentissage n’est pas toujours un long fleuve tranquille…
Après avoir exploré le concept d’overfitting dans un précédent article, où un modèle devient tellement spécialisé sur les données d’entraînement qu’il perd sa capacité à s’adapter à de nouvelles informations, plongeons-nous dans son pendant : l’underfitting.
C’est quoi l’underfitting ? Définition simple
Imaginez que nous essayons de construire un modèle d’apprentissage automatique pour prédire le prix des maisons en fonction de différentes caractéristiques. Nos données d’entraînement pourraient inclure la superficie, le nombre de pièces, la localisation, l’année de construction, la présence d’un jardin, etc.
Overfitting dans ce contexte se produirait si le modèle apprenait tellement en détail les prix de chaque maison spécifique dans un ensemble de données (par exemple, en mémorisant l’adresse exacte et les particularités uniques de chaque vente) qu’il deviendrait incapable de prédire correctement le prix d’une nouvelle maison avec des caractéristiques similaires mais non identiques.
Il aurait du mal à extraire les tendances générales du marché immobilier.
Underfitting, à l’inverse, se manifesterait si le modèle était beaucoup trop simple pour appréhender la complexité des facteurs qui influencent le prix d’une maison.
Par exemple, si un modèle se basait uniquement sur la superficie pour prédire le prix, ignorant complètement des facteurs cruciaux comme la localisation ou le nombre de pièces, il ferait des prédictions très approximatives, même pour les maisons présentes dans nos données d’entraînement.
Il n’aurait pas la « perspicacité » nécessaire pour comprendre les dynamiques du marché.
En termes plus formels, l’underfitting survient lorsqu’un modèle d’IA ne parvient pas à établir une relation significative entre les variables d’entrée (features) et la variable cible (ce que l’on essaie de prédire).
Il est incapable de capturer les patterns (motifs) importants présents dans les données d’entraînement, ce qui se traduit par de mauvaises performances, tant sur les données utilisées pour l’apprentissage que sur les nouvelles données qu’il rencontre.
Les causes profondes de l’Underfitting :
Plusieurs facteurs peuvent être à l’origine de ce manque de « compréhension » de la part du modèle :
- Complexité insuffisante du modèle : L’utilisation d’un algorithme intrinsèquement trop simple pour la nature du problème. Par exemple, tenter de modéliser une relation complexe et non linéaire (comme l’évolution du prix des actions en bourse) avec un simple modèle de régression linéaire. Ce dernier suppose une relation directe et constante entre les variables, ce qui est rarement le cas dans des systèmes complexes.
- Nombre insuffisant de caractéristiques pertinentes (Features) : Le modèle ne dispose pas des informations nécessaires pour établir des prédictions précises. Dans notre exemple immobilier, se baser uniquement sur la superficie est une simplification excessive. Ignorer la localisation (un bien à Paris aura un prix différent d’un bien en province), l’état du bien, ou la présence d’aménagements importants prive le modèle d’informations cruciales.
- Sous-entraînement (Insufficient Training) : Même avec un modèle potentiellement adapté et des données riches, un entraînement trop court peut conduire à l’underfitting. Le modèle n’a pas eu suffisamment d’itérations pour ajuster ses paramètres internes et découvrir les relations significatives dans les données. C’est comme essayer d’apprendre une mélodie complexe en ne l’écoutant qu’une seule fois.
- Données pré-traitées de manière excessive : Bien que le prétraitement des données soit essentiel, une simplification excessive (par exemple, un regroupement de catégories trop large ou une réduction dimensionnelle trop agressive) peut éliminer des informations importantes que le modèle aurait pu apprendre.
Lire également : Comment les IA sont-elles évaluées ? Voici les 8 principaux tests (Turing, Winograd, GAIA)
Les conséquences concrètes de l’Underfitting :
Un modèle souffrant d’underfitting est souvent limité :
- Faible précision : Ses prédictions ou classifications seront souvent incorrectes ou très éloignées de la réalité.
- Mauvaise généralisation : Incapable de comprendre les tendances sous-jacentes, il échouera lamentablement face à de nouvelles données qu’il n’a jamais vues.
- Manque d’insight : Le modèle ne parvient pas à extraire des informations utiles ou des relations significatives des données, ce qui limite son intérêt pour l’analyse et la prise de décision.
Stratégies pour remédier à l’Underfitting :
Pour donner plus de « matière grise » à l’IA et éviter l’underfitting, plusieurs approches peuvent être envisagées :
- Augmenter la complexité du modèle : Choisir un algorithme plus sophistiqué, capable de modéliser des relations non linéaires ou des interactions complexes entre les variables. Par exemple, passer d’une régression linéaire à un modèle polynomial, un arbre de décision, ou un réseau de neurones.
- Ingénierie des caractéristiques (Feature Engineering) : Créer de nouvelles features plus informatives à partir des données brutes. Dans notre exemple immobilier, on pourrait créer une feature combinant la superficie et le nombre de pièces par étage, ou une variable catégorielle indiquant la proximité des transports en commun.
- Augmenter la durée de l’entraînement : Permettre au modèle de s’entraîner pendant plus longtemps sur les données, en ajustant ses paramètres jusqu’à ce qu’il converge vers une solution satisfaisante (sans tomber dans l’overfitting, bien sûr).
- Réduire les contraintes sur le modèle : Certains modèles ont des hyperparamètres qui limitent leur complexité. Ajuster ces paramètres pour permettre au modèle d’apprendre des relations plus complexes peut aider à surmonter l’underfitting.
- Réévaluer le prétraitement des données : S’assurer que le prétraitement n’a pas éliminé d’informations importantes. Parfois, conserver plus de détails ou utiliser des techniques de transformation moins agressives peut être bénéfique.
L’underfitting est un écueil courant dans le développement de systèmes d’intelligence artificielle. Il signale un manque de capacité du modèle à apprendre les nuances et les complexités des données. Tout comme l’overfitting, il compromet la performance et l’utilité du modèle.
L’art de la construction de modèles d’IA réside dans la recherche d’un équilibre délicat, où le modèle est suffisamment complexe pour capturer les relations importantes sans pour autant se noyer dans le bruit et les spécificités des données d’entraînement. C’est cette juste mesure qui permet à l’IA de véritablement briller et de nous offrir des insights précieux et des prédictions fiables !
Si vous souteniez en savoir plus sur le monde de l’intelligence artificielle, n’hésitez pas à consulter notre dictionnaire de l’IA.
