IREX - Le NLP, c’est quoi ? Comprendre comment l’IA traite le langage humain

1. Introduction

Le langage est sans doute ce qui nous rend les plus humains. C’est aussi ce qui rend l’intelligence artificielle... compliquée. Comment permettre à une machine de comprendre nos mots, nos intentions, nos émotions ?

C’est tout l’objectif du Traitement Automatique du Langage Naturel — ou NLP pour Natural Language Processing. Cette discipline à l’intersection de la linguistique, de l’informatique et de l’intelligence artificielle vise à donner aux machines la capacité de lire, comprendre, générer et interagir en langage humain.

a- Aux origines du NLP

Les premières tentatives sérieuses remontent à 1954 avec le projet de traduction automatique Georgetown-IBM. La machine a alors traduit une soixantaine de phrases du russe vers l’anglais, impressionnant... mais purement scripté.

Dans les années 1960, le linguiste Noam Chomsky apporte un cadre théorique avec ses grammaires génératives, bien que celles-ci soient initialement trop rigides pour l’usage machine. Côté IA, on reste longtemps limité à des approches basées sur des règles manuelles.

b- Du symbolique au statistique, puis au profond

2. Pourquoi le langage humain est si complexe pour une machine

Pour un humain, comprendre une phrase semble naturel. Pourtant, derrière cette aisance se cache une complexité redoutable que les machines peinent à maîtriser. Le langage humain est ambigu, contextuel, évolutif, implicite... et souvent rempli de non-dits. En bref, c’est un vrai casse-tête algorithmique.

a. Ambiguïté lexicale et syntaxique

Les mots peuvent avoir plusieurs sens, et une même phrase peut s'interpréter de différentes manières selon la ponctuation ou le contexte.

b. Dépendance au contexte

Un mot ou une phrase n’a de sens que dans un contexte donné. Ce qui est évident pour nous ne l’est pas pour une machine.

c. Implicites et sous-entendus

Le langage humain est souvent implicite : nous devinons des choses sans qu’elles soient dites. Mais pour une machine, ce qui n’est pas explicite… n’existe pas.

d. Variabilité linguistique

Il existe mille façons de dire la même chose : tournures, synonymes, dialectes, fautes de frappe, expressions idiomatiques… tout cela complexifie l’analyse.

3. Les grandes étapes du NLP

3.1. Tokenisation

Avant de comprendre un texte, il faut d’abord le découper. En NLP, cette étape s'appelle la tokenisation. Elle consiste à fragmenter une phrase en unités de base appelées tokens : mots, ponctuation, ou parfois même sous-mots.

Exemple 1 — une phrase simple en français

3.2. Lemmatisation et Prétraitement

Une fois les tokens extraits, le NLP applique une série de traitements pour simplifier, normaliser ou purifier le texte. Ces étapes varient selon les objectifs, mais certaines sont incontournables :

a. Lemmatisation

La lemmatisation consiste à ramener chaque mot à sa forme canonique (ou lemme). Contrairement au stemming, elle respecte la grammaire et le sens du mot.

b. Stemming

Le stemming est une version plus brute du nettoyage. Il coupe les mots pour obtenir une racine, quitte à perdre du sens.

c. Suppression des stopwords

Les stopwords sont des mots très fréquents mais peu informatifs : « le », « de », « et », « alors », etc. On les supprime souvent pour se concentrer sur les mots clés.

3.3. Vectorisation

Les modèles d’IA ne peuvent travailler qu’avec des nombres. Il est donc nécessaire de convertir les mots en représentations numériques appelées vecteurs. C’est ce qu’on appelle la vectorisation ou l’embedding.

Il existe plusieurs méthodes de vectorisation, chacune avec ses avantages et ses limites :

a. Bag of Words (BoW)

La méthode la plus simple pour représenter un texte est de compter la fréquence des mots qu’il contient, sans se soucier de leur ordre. C’est ce qu’on appelle le Bag of Words, ou « sac de mots » en français. Imaginez que vous mettez tous les mots d’un texte dans un sac et que vous les comptez un par un.

Comment ça marche ?

• On construit un vocabulaire avec tous les mots uniques de l’ensemble des documents.
• Chaque document est alors représenté par un vecteur indiquant la fréquence d’apparition de chaque mot dans ce document.
• Le vecteur a donc autant de dimensions que de mots dans le vocabulaire.

Exemple concret :

Considérons deux documents :

• Doc 1 : « Le chat mange une souris. »
• Doc 2 : « Le chien mange une os. »

Le vocabulaire commun est : [le, chat, mange, une, souris, chien, os]

La représentation BoW sera :

Ainsi, Doc 1 est représenté par le vecteur [1, 1, 1, 1, 1, 0, 0] et Doc 2 par [1, 0, 1, 1, 0, 1, 1].

Figure : Schéma du processus de tokenisation Bag of Word

b. TF-IDF (Term Frequency – Inverse Document Frequency)

Le modèle TF-IDF est une amélioration du Bag of Words. Il ne se contente pas de compter les mots, il les pondère intelligemment : il donne plus d’importance aux mots rares (souvent plus informatifs) et moins à ceux qu’on retrouve partout (« le », « est », « de », etc.).

Bon… je sais, ça peut commencer à sentir fort les maths, mais reste avec moi ! Tu verras, c’est pas la mer à boire.

Comment ça fonctionne ?

• TF = Term Frequency → fréquence d’un mot dans un document.
• IDF = Inverse Document Frequency → inverse de la fréquence du mot dans toute la collection de documents.

La formule magique, c’est :

TF-IDF(t, d) = TF(t, d) × log(N / DF(t))

• t = le terme (mot)
• d = le document
• N = nombre total de documents
• DF(t) = nombre de documents contenant le mot

Dit autrement : un mot est important s’il est fréquent dans ce document mais rare dans les autres. C’est logique : le mot “chat” sera bien plus révélateur dans un texte de biologie que “le” ou “est”.

Exemple simple (avec 3 documents)

Soit 3 phrases :

• Doc1 : « Le chat dort. »
• Doc2 : « Le chien dort. »
• Doc3 : « Le poisson nage. »

Prenons le mot chat :

• Il apparaît dans Doc1 → TF = 1
• Il n’apparaît pas dans Doc2 ni Doc3 → DF(chat) = 1
• N = 3 documents → IDF(chat) = log(3 / 1) = log(3) ≈ 0.477

Donc : TF-IDF(chat, Doc1) = 1 × 0.477 = 0.477
Et dans les autres documents ? TF = 0, donc TF-IDF = 0. Logique !

c. Word Embeddings (Word2Vec, GloVe)

Avec les Word Embeddings, on entre dans une nouvelle ère du NLP : celle où les mots ne sont plus de simples occurrences à compter, mais des entités plongées dans un espace sémantique.

L’idée est simple et géniale : on représente chaque mot par un vecteur dense (typiquement de 100 à 300 dimensions) tel que les mots proches en sens soient proches dans cet espace vectoriel.

Parmi les techniques les plus célèbres : Word2Vec (Google, 2013), GloVe (Stanford), FastText (Meta). Ici, nous allons nous concentrer sur Word2Vec, et plus précisément sur son architecture CBOW.

c.1- Word2Vec — CBOW (Continuous Bag of Words)

Le modèle CBOW tente de prédire un mot à partir de son contexte. Il fonctionne comme un petit jeu :

Au fil de l’entraînement, le modèle ajuste les vecteurs de chaque mot pour que ceux qui apparaissent dans les mêmes contextes aient des vecteurs similaires.

Illustration schématique

Figure : Architecture CBOW — prédiction du mot central à partir des mots du contexte

c.2- Word2Vec — Skip-Gram

Contrairement au CBOW, le modèle Skip-Gram fait l’inverse : il prend un mot central et essaie de prédire les mots du contexte. C’est un peu comme si, en entendant le mot « fromage », tu devais deviner que le reste de la phrase parle de « baguette », « vin » ou « odeur forte ».

Le Skip-Gram est particulièrement efficace pour apprendre des bonnes représentations de mots rares, car il génère plus d'exemples d’entraînement à partir de chaque mot cible.

Illustration

Figure : Architecture Skip-Gram — prédiction des mots du contexte à partir du mot central

c.3- Et les autres ?

• GloVe : (Global Vectors) basé sur la co-occurrence globale dans le corpus
• FastText : prend en compte les sous-mots → utile pour les langues morphologiquement riches

4. Attention is All You Need

Malgré leur utilité, les embeddings classiques comme Word2Vec ont une faiblesse : ils donnent la même représentation à un mot, quel que soit son contexte. Par exemple, « banque » a le même vecteur dans « banque de données » et « aller à la banque ».

Les modèles contextuels résolvent ce problème. Grâce au mécanisme d’attention introduit par le célèbre article Attention Is All You Need (Vaswani et al., 2017), chaque mot est représenté dynamiquement en fonction de son entourage. C’est le principe des modèles comme BERT, GPT ou T5.

a. Comprendre le mécanisme d’attention

Le mécanisme d’attention est une technique clé qui permet aux modèles de NLP modernes de se concentrer sur les parties les plus importantes d’un texte, un peu comme si vous lisiez un document en surlignant ce qui compte vraiment.

Ce mécanisme permet de mieux capter les relations entre mots, même distants, améliorant ainsi la compréhension fine du texte par le modèle.