IA, lecture labiale et audition : comment Oxford isole une voix dans le bruit
Une intelligence artificielle peut-elle mieux isoler une voix lorsqu'elle voit les lèvres de la personne qui parle ? C'est précisément la question étudiée par des chercheurs du Visual Geometry Group de l'Université d'Oxford avec le projet scientifique The Conversation.
Illustration pédagogique du principe d'une assistance audio-visuelle. L'image ne représente pas le dispositif expérimental utilisé par l'Université d'Oxford.
Article principal étudié
Afouras T., Chung J.S., Zisserman A. The Conversation: Deep Audio-Visual Speech Enhancement. Interspeech 2018 ; 3244–3248. DOI : 10.21437/Interspeech.2018-1400.
Voir l'IA d'Oxford isoler une voix dans le bruit
Démonstration du projet The Conversation d'Afouras, Chung et Zisserman. Le système combine le signal acoustique et les mouvements visibles des lèvres afin d'extraire la parole d'un locuteur cible.
À retenir
| Ce que montre réellement l'étude | Conclusion |
|---|---|
| L'IA reçoit audio + vidéo des lèvres | Oui |
| Elle cherche à extraire un locuteur cible | Oui |
| Elle traite magnitude et phase du signal | Oui |
| Tests jusqu'à 5 voix simultanées | Oui |
| Généralisation à des personnes non vues à l'entraînement | Oui |
| Amélioration démontrée chez des patients malentendants | Non |
| Technologie disponible dans les aides auditives actuelles | Non |
| Intérêt potentiel pour l'audiologie future | Très important |
L'étude est donc avant tout une étude de traitement du signal et d'intelligence artificielle audio-visuelle, et non un essai clinique d'aide auditive.
Pourquoi comprendre une voix dans le bruit est-il si difficile ?
Lorsqu'une seule personne parle dans le calme, son signal acoustique peut être relativement facile à analyser. Dans un restaurant ou une réunion, le microphone reçoit au contraire une somme de plusieurs signaux :
y(t) = s(t) + i₁(t) + i₂(t) + … + iₙ(t)
avec :
- s(t) : voix que l'on souhaite écouter
- iₙ(t) : voix ou signaux interférents
- y(t) : signal réellement reçu par le microphone
Le problème n'est donc pas simplement « Y a-t-il de la parole ? » mais : « Quelle partie du mélange appartient précisément à la personne que je souhaite écouter ? »
C'est une formulation informatique du cocktail party problem, particulièrement pertinente pour comprendre les difficultés de parole dans le bruit.
L'idée d'Oxford : utiliser les lèvres comme information supplémentaire
Deux personnes peuvent produire simultanément des fréquences acoustiques très proches. L'audio seul devient alors ambigu. Mais si une caméra observe le visage du locuteur cible :
L'information visuelle agit donc comme une information permettant de conditionner la séparation du signal sur un locuteur déterminé. C'est fondamentalement différent d'une simple réduction de bruit.
Le système ne cherche pas uniquement à « supprimer ce qui ressemble au bruit » mais plutôt à « conserver ce qui est compatible avec les mouvements articulatoires de cette personne ».
Du son physique au signal numérique
Un son correspond physiquement à une variation temporelle de pression acoustique autour de la pression atmosphérique, représentée par p(t). Un microphone transforme cette variation de pression en signal électrique, puis le convertisseur analogique-numérique produit une suite d'échantillons.
Dans l'étude d'Oxford, la fréquence d'échantillonnage est :
fₛ = 16 000 Hz
Cela signifie que le système dispose de 16 000 échantillons audio chaque seconde.
Pourquoi utiliser une transformée de Fourier ?
Une forme d'onde temporelle complexe peut être représentée comme une combinaison de composantes sinusoïdales. Chaque composante possède une fréquence, une amplitude et une phase.
La transformée de Fourier change la manière de représenter le même signal : on passe de l'amplitude en fonction du temps au contenu fréquentiel.
Mais la parole évolue constamment. Une transformée de Fourier réalisée sur plusieurs secondes indiquerait quelles fréquences sont présentes sans suffisamment indiquer quand elles apparaissent. C'est pourquoi le système utilise une Short-Time Fourier Transform (STFT).
La STFT : regarder le son morceau par morceau
Le signal est découpé en fenêtres courtes qui se chevauchent. Oxford utilise une fenêtre de Hann, qui réduit les discontinuités artificielles qui apparaîtraient si l'on découpait brutalement le signal.
Les paramètres exacts utilisés par Oxford
L'article fournit :
Fréquence d'échantillonnage
16 000 Hz
Fenêtre
40 ms
Hop
10 ms
Nous pouvons donc calculer exactement :
Échantillons par fenêtre
N = 640
Déplacement
H = 160
Recouvrement
75 %
Pourquoi trouve-t-on exactement 321 fréquences ?
Pour un signal réel de 640 échantillons, le spectre possède une symétrie complexe. Il suffit donc de conserver les fréquences positives, fréquence nulle et fréquence de Nyquist comprises :
640 / 2 + 1 = 321 bins
C'est exactement la dimension indiquée par les auteurs. L'espacement entre deux bins est de 25 Hz, et la fréquence maximale théorique est donnée par Nyquist : 8 000 Hz.
Attention : un espacement de bins de 25 Hz ne signifie pas qu'un système utilisant une fenêtre de Hann peut nécessairement distinguer deux sinusoïdes séparées exactement de 25 Hz. La résolution physique dépend également de la durée et de la forme de la fenêtre.
Synchronisation avec la vidéo : un calcul particulièrement élégant
Les vidéos sont enregistrées à 25 images/seconde. La durée d'une image est donc de 40 ms. La STFT avance toutes les 10 ms. Donc :
Une image vidéo = 4 pas de STFT
VIDÉO
Image 1 Image 2
|--------------------|--------------------|
0 ms 40 ms 80 ms
AUDIO — STFT
0 10 20 30 40 50 60 70 ms
|-------|-------|-------|-------|-------|-------|-------|
4 pas STFT 4 pas STFTC'est explicitement le principe recherché par les auteurs afin d'aligner les informations acoustiques et visuelles.
Magnitude et phase : pourquoi les deux sont importantes
Chaque coefficient complexe de la STFT contient une magnitude (qui décrit l'importance de cette composante fréquentielle) et une phase (qui décrit son alignement temporel relatif).
Deux signaux peuvent posséder exactement la même fréquence et la même amplitude, mais avec une phase décalée de 180° : ils sont alors opposés. Pour une parole réelle contenant de nombreux harmoniques, les relations de phase entre fréquences participent à la forme temporelle reconstruite.
Pourquoi la phase du mélange devient problématique ?
Lorsque l'interférence est faible, la phase du mélange est proche de la phase désirée. Mais lorsque plusieurs voix possèdent des amplitudes comparables, cette approximation devient beaucoup moins correcte.
C'est précisément pour cette raison que les auteurs ne corrigent pas uniquement la magnitude.
Première partie du réseau : prédire un masque de magnitude
Les mouvements de la bouche sont analysés par un réseau comprenant notamment une convolution 3D suivie d'un ResNet-18. Pour chaque image vidéo, le réseau visuel produit 512 caractéristiques.
En parallèle, le spectrogramme de magnitude est temporairement ramené sur une représentation Mel de 80 bandes avant son traitement par le réseau. Les informations audio et vidéo sont ensuite fusionnées.
Le réseau produit un soft mask dont les valeurs sont comprises entre 0 et 1. Les zones temps-fréquence considérées comme compatibles avec la voix cible sont conservées, tandis que les autres sont atténuées.
Deuxième partie : corriger la phase
Le modèle ne cherche donc pas à reconstruire entièrement la phase depuis zéro. Il apprend une correction de la phase du mélange. Le sous-réseau utilise six blocs convolutifs temporels de 1 024 canaux.
La fonction de coût
Les chercheurs optimisent simultanément magnitude et phase. Le premier terme minimise l'erreur de magnitude. Le deuxième maximise la similarité entre phase prédite et phase réelle.
Les auteurs utilisent λ = 1. La multiplication par la magnitude cible donne davantage de poids aux erreurs de phase présentes dans les régions temps-fréquence où le signal cible possède beaucoup d'énergie.
Comment les mélanges sont-ils créés ?
Les chercheurs sélectionnent un segment audio-visuel propre puis ajoutent 1 à 4 locuteurs interférents. Avant le mélange, l'énergie RMS des voix interférentes est normalisée par rapport à celle de la voix cible. Cela rend la tâche volontairement difficile.
| Condition | Nombre total de personnes |
|---|---|
| cible + 1 interférent | 2 |
| cible + 2 interférents | 3 |
| cible + 3 interférents | 4 |
| cible + 4 interférents | 5 |
Sous l'hypothèse simplificatrice de signaux non corrélés de même puissance, quatre interférents conduisent approximativement à un rapport cible/interférences de -6,02 dB avant séparation.
Quels résultats obtient réellement le système ?
LRS2 — résultat final magnitude + phase prédites
| Voix | SDR mél. | SDR IA | PESQ mél. | PESQ IA | WER mél. | WER IA |
|---|---|---|---|---|---|---|
| 2 | -0,3 dB | 11,8 dB | 1,73 | 3,08 | 93,1 % | 9,7 % |
| 3 | -3,4 dB | 9,1 dB | 1,47 | 2,79 | 99,5 % | 13,8 % |
| 4 | -5,4 dB | 7,1 dB | 1,37 | 2,56 | 99,9 % | 20,3 % |
| 5 | -6,7 dB | 5,8 dB | 1,21 | 2,43 | 100 % | 28,9 % |
Source exacte : tableau 1 d'Afouras et al.
Le WER obtenu sur le signal propre est de 8,8 %. Ainsi, avec deux locuteurs, le système passe de 93,1 % à 9,7 % de WER, très proche des 8,8 % obtenus sur le signal original propre.
Que signifie réellement le WER ?
Le Word Error Rate est calculé à partir d'un système automatique de reconnaissance de parole. Il peut être décrit par :
WER = (S + D + I) / N × 100
où S = substitutions, D = suppressions, I = insertions, N = nombre de mots dans la référence.
Nuance fondamentale : un WER de 100 % ne signifie pas nécessairement « 0 % des mots compris par un être humain ». Le WER peut même théoriquement dépasser 100 %, notamment à cause des insertions. Ces chiffres mesurent donc la performance du Google Speech Recognition utilisé dans l'expérience, et non celle de patients humains.
SDR, PESQ et STOI : ne pas confondre les métriques
| Métrique | Ce qu'elle évalue | Ce qu'elle ne prouve pas |
|---|---|---|
| SDR | qualité globale de séparation par rapport au signal de référence | compréhension clinique |
| SIR | suppression des autres sources | intelligibilité humaine directement |
| SAR | artefacts introduits | satisfaction auditive |
| PESQ | qualité perceptive objective estimée | score clinique patient |
| STOI | métrique corrélée à l'intelligibilité | pourcentage réel compris |
| WER | erreurs d'un système ASR | compréhension d'un malentendant |
Généralisation à des personnes jamais vues
VoxCeleb2 contient plus d'un million d'énoncés provenant de plus de 6 000 locuteurs. Contrairement à LRS2, les ensembles d'entraînement et de test peuvent être séparés par identité.
Avec trois locuteurs :
| Mesure | Mélange | Modèle final |
|---|---|---|
| SDR | -2,99 dB | 7,91 dB |
| STOI | 0,34 | 0,67 |
| PESQ | 1,58 | 2,67 |
| SIR | — | 5,02 dB |
| SAR | -1,59 dB | 13,77 dB |
Source : tableau 2 d'Afouras et al.
Les auteurs concluent que leur système peut donc fonctionner avec des locuteurs non rencontrés pendant l'apprentissage.
Qu'en est-il des langues jamais vues ?
LRS2 est principalement anglophone tandis que VoxCeleb2 contient plusieurs langues. Les auteurs appliquent également leur modèle LRS2 à VoxCeleb2 sans fine-tuning et obtiennent encore une amélioration du PESQ.
Ce résultat ne constitue pas une validation exhaustive de toutes les langues. Il s'agit d'une démonstration de généralisation technique.
La phase apporte-t-elle réellement quelque chose ?
Oui. Avec cinq locuteurs :
| Reconstruction | SDR | PESQ | WER |
|---|---|---|---|
| magnitude prédite + phase du mélange | 4,8 dB | 2,33 | 31,9 % |
| magnitude prédite + phase prédite | 5,8 dB | 2,43 | 28,9 % |
La phase prédite améliore donc les trois métriques par rapport à la simple réutilisation de la phase du mélange. Les chercheurs rapportent également une diminution perceptible de l'effet artificiel ou « robotique ».
Nuance : avec cinq voix, l'algorithme classique Griffin-Lim obtient un WER de 27,8 %, légèrement inférieur aux 28,9 % du réseau de phase, malgré des performances nettement moins bonnes sur plusieurs autres métriques. Il serait donc incorrect d'affirmer que la phase prédite domine systématiquement toutes les méthodes sur tous les critères.
La principale faiblesse : la synchronisation
Les auteurs indiquent explicitement que leur système est très sensible à l'alignement temporel entre l'audio et la vidéo. Ils utilisent notamment SyncNet pour corriger cet alignement.
C'est logique physiquement : un mouvement labial observé avec plusieurs dizaines ou centaines de millisecondes de décalage ne correspond plus correctement aux composantes acoustiques analysées au même instant.
L'étude a-t-elle réellement testé cinq personnes parlant ensemble dans une pièce ?
Pas exactement pour les résultats numériques principaux. Les chercheurs créent leurs conditions expérimentales en mélangeant numériquement plusieurs séquences provenant de bases de données audiovisuelles. Les voix sont donc réelles, les visages également, mais les mélanges multi-locuteurs utilisés pour l'évaluation quantitative sont générés artificiellement.
Cette distinction est importante car un véritable restaurant ajoute encore : réverbération, distance, bruit non vocal, réflexions, mouvements, occultation des lèvres et microphones imparfaits.
Pourquoi cette recherche intéresse-t-elle autant l'audiologie ?
Une aide auditive moderne peut analyser le niveau sonore, les fréquences, la direction d'arrivée, la présence probable de parole et le bruit environnemental. Mais elle doit toujours résoudre une question difficile :
« Parmi les personnes présentes, laquelle l'utilisateur veut-il écouter ? »
L'information visuelle pourrait apporter un indice supplémentaire.
Des aides auditives guidées par la vision existent-elles déjà ?
Des recherches ont exploré cette idée. Gerald Kidd a notamment décrit en 2017 un prototype de Visually Guided Hearing Aid utilisant le regard pour orienter un système de beamforming vers la source souhaitée.
Les auteurs du projet Oxford eux-mêmes mentionnaient parmi les applications potentielles : « Smart-glasses AV hearing aid ». Il s'agissait toutefois d'une application potentielle, pas d'une technologie validée cliniquement dans leur étude.
Des modèles plus récents, comme ConformerAVSE, continuent à explorer l'utilisation conjointe de l'audio, des mouvements des lèvres et de repères faciaux pour des applications destinées aux aides auditives.
Voir la bouche améliore-t-il réellement la perception de la parole ?
Indépendamment de l'algorithme Oxford, la perception de la parole humaine est naturellement multimodale. Les mouvements des lèvres, du visage et d'autres indices visuels peuvent compléter l'information acoustique.
Une revue de 2024 consacrée aux personnes présentant une perte auditive montre toutefois que le bénéfice visuel varie selon plusieurs facteurs, notamment l'âge, le profil auditif, le moment d'apparition de la perte auditive et le type de stimulus linguistique.
Une revue systématique exploratoire publiée en 2026 sur les tests audio-visuels de parole dans le bruit retrouve également des améliorations des seuils de réception de parole lorsque l'information visuelle est ajoutée. Dans les études retenues, les améliorations des seuils se situaient approximativement entre 1,5 et 5 dB, selon le protocole.
Ce que cette étude ne démontre pas
| Affirmation | Démontrée ? |
|---|---|
| L'IA peut exploiter les lèvres pour séparer une voix | OUI |
| Le système fonctionne jusqu'à cinq locuteurs dans les tests | OUI |
| La phase améliore le signal par rapport à la phase du mélange | OUI |
| Le réseau généralise à des locuteurs inconnus | OUI |
| L'information visuelle peut aider la perception humaine de la parole(autres études) | OUI |
| Cette IA améliore la compréhension chez un patient malentendant | NON |
| Cette IA fonctionne déjà dans une aide auditive commerciale | NON |
| Elle fonctionne en temps réel avec une consommation compatible avec un appareil auditif(non étudié) | NON ÉTUDIÉ |
| Elle fonctionne dans toutes les langues(non démontré) | NON |
| Elle fonctionne dans toutes les situations réelles | NON |
Alors, à quoi pourraient ressembler les aides auditives du futur ?
L'intérêt principal du travail d'Oxford n'est peut-être pas uniquement d'avoir développé un nouvel algorithme de réduction de bruit. Il introduit une autre manière de définir le problème :
Traitement classique
Quels sons sont de la parole ?
Traitement directionnel
D'où vient la parole ?
Traitement audio-visuel
Quelle voix correspond à la personne que je regarde ?
Assistance auditive multimodale future
Quelle personne l'utilisateur veut-il réellement écouter ?
Cette évolution pourrait à terme associer microphones, vidéo, regard, traitement binaural et intelligence artificielle. Mais ce dernier niveau reste aujourd'hui un objectif de recherche, et non une fonction clinique standard.
Pourquoi cette approche est importante pour la compréhension dans le bruit
Chez une personne présentant une perte auditive, augmenter simplement le niveau sonore n'est pas toujours suffisant. La difficulté peut concerner l'audibilité, la séparation des sources, le rapport signal/bruit, l'attention sélective, le traitement cérébral et les indices visuels.
L'approche audio-visuelle montre pourquoi la recherche moderne ne considère progressivement plus l'audition comme un problème uniquement acoustique. Pour aller plus loin, consultez notre article sur « J'entends mais je ne comprends pas » et notre page sur la physiologie auditive.
Questions fréquentes
Références scientifiques
Sources scientifiques
- Afouras T., Chung J.S., Zisserman A. — The Conversation: Deep Audio-Visual Speech Enhancement. Proceedings of Interspeech, 2018. Voir l'étude
- Griffin D.W., Lim J.S. — Signal Estimation from Modified Short-Time Fourier Transform. IEEE Transactions on Acoustics, Speech, and Signal Processing, 32(2), 236–243, 1984. Voir l'étude
- Choi A., Kim H., Jo M., et al. — The impact of visual information in speech perception for individuals with hearing loss: a mini review. Frontiers in Psychology, 15, 1399084, 2024. Voir l'étude
- Kidd G. Jr. — Enhancing Auditory Selective Attention Using a Visually Guided Hearing Aid. Journal of Speech, Language, and Hearing Research, 60(10), 3027–3038, 2017. Voir l'étude
- Hussain A., Goman A.M., Gogate M., et al. — Audio-visual speech-in-noise tests for evaluating speech reception thresholds: A scoping review. PLOS ONE, 21(1), e0338600, 2026. Voir l'étude
- Xu D., Ni X., Anwar U., et al. — ConformerAVSE: A Transformer-based Audio-Visual Speech Enhancement Model for Hearing Aids. AVSEC 2025, 39–41, 2025. Voir l'étude
Vous avez des difficultés à comprendre dans le bruit ?
Nos équipes pluridisciplinaires vous accompagnent dans votre parcours de soins auditifs. Réalisez un bilan auditif gratuit dans l'une de nos cliniques.