Automatische Spracherkennung macht grosse Fortschritte
Können Menschen oder Maschinen Sprache besser erkennen? In lauten Umgebungen wie Kneipenlärm erzielen moderne Spracherkennungssysteme (ASR) eine beeindruckende Präzision – und übertreffen in einigen Szenarien sogar den Menschen. Doch genau dies zeigt, wie bemerkenswert die menschliche Leistung an sich eigentlich ist.
In einer aktuellen Studie untersuchte die UZH-Computerlinguistin Eleanor Chodroff gemeinsam mit Chloe Patman von der Cambridge University, wie gut moderne ASR-Systeme mit herausfordernden Hörbedingungen umgehen. Getestet wurden die Systeme «wav2vec 2.0» von Meta und «Whisper large-v3» von OpenAI. Der Massstab: die Leistung britischer Muttersprachler:innen.
Die Tests fanden unter extremen Bedingungen statt – von sprachähnlichem Rauschen bis hin zu realistischem Kneipenlärm, sowohl mit als auch ohne Baumwoll-Gesichtsmaske. Das Ergebnis: Menschen zeigten insgesamt die besten Leistungen, doch das OpenAI-System «Whisper large-v3» übertraf sie in nahezu allen Szenarien. Nur im Kneipenlärm war es auf Augenhöhe mit dem menschlichen Gehör.
Besonders auffällig war die Fähigkeit von «Whisper large-v3», Sprache auch ohne kontextuelle Unterstützung korrekt zu verarbeiten.
Der entscheidende Unterschied
Die enorme Leistung von «Whisper» basiert auf gigantischen Trainingsdatenmengen. Während «wav2vec 2.0» von Meta mit 960 Stunden Sprachdaten trainiert wurde, griff OpenAI auf über 75 Jahre Sprachdaten für sein Standardsystem zurück. Das leistungsstärkste Modell nutzte sogar mehr als 500 Jahre an Sprachdaten. Im Vergleich dazu entwickelt der Mensch ähnliche Fähigkeiten in wenigen Jahren – ein bemerkenswerter Aspekt, wie Studienleiterin Eleanor Chodroff betont. «Ausserdem bleibt die automatische Spracherkennung in fast allen anderen Sprachen weiterhin eine grosse Herausforderung.»
Unterschiedliche Fehlerquellen
Die Studie zeigte auch, dass Menschen und Maschinen auf unterschiedliche Weise scheitern. Menschen erstellen fast immer grammatikalisch korrekte Sätze, schreiben aber häufig Satzfragmente. «wav2vec 2.0» generierte bei schwierigen Bedingungen dagegen oft unverständlichen Kauderwelsch. «Whisper» konnte grammatikalisch korrekte Sätze produzieren, füllte aber inhaltliche Lücken mit völlig falschen Informationen. (pd/swi)
Die Studie «Speech recognition in adverse conditions by humans and machines» von Chloe Patman und Eleanor Chodroff kann hier im Detail nachgelesen werden.
