KI trifft auf Kundenerwartungen

Rückblick auf die ASTT-Tagung 2022 "Eine Welt ohne Babel?"

Mein großes Fazit gleich vorneweg:

Wissenschaft bestätigt eigene Erfahrungen in puncto maschinelle Übersetzung

Ja, die Maschinen sind besser geworden. Aber sie erreichen nicht das Niveau menschlicher Übersetzungen, u. a. weil das Verständnis fehlt. Und inhaltliches Verständnis des Ausgangstextes ist das A und O bei der Übersetzung. Die Maschine kann im Gegensatz zum Menschen keine Zusammenhänge erfassen, denn sie versteht nicht. Bezüge, die mehrere Sätze zurückliegen, oder Zusammenhänge, die nur aus dem Text insgesamt oder dem Weltwissen des Übersetzers hervorgehen bzw. aus dem Briefing des Kunden, unter anderem für welche Zielgruppe ein Text bestimmt ist, können zwar zufällig stimmen, aber wer möchte sein Glück schon dem Zufall überlassen? Denn KI-basierte oder neuronale maschinelle Übersetzungen (MÜ oder MT) und auch Large-Language-Modelle (LLM) arbeiten, vereinfacht gesagt, mit statistischen Wahrscheinlichkeiten. Diese Wahrscheinlichkeiten basieren auf riesigen Datenmengen, die im großen weiten Internet zusammengesammelt (man könnte auch geklaut sagen) wurden und werden. Daher hängt deren Qualität z. B. auch von der Sprachkombination ab. Je verbreiteter eine Sprache ist und je mehr Daten von hoher Qualität zur Verfügung stehen, desto besser. Im Umkehrschluss gilt, dass die Qualität des Outputs mit schlechterer Datenlage abnimmt. Auch in diesem Punkt bestätigten die Wissenschaftler meine Befürchtung, dass sich die Qualität des Outputs über die Zeit verschlechtern könnte. Die bisherigen Trainingsdaten stammen in der Regel von von Menschen erstellten Übersetzungen. Das heißt, die Qualität des Ausgangsmaterials ist im Moment noch gut. Wie sich dies entwickelt, wenn vermehrt maschinenübersetzte Texte die Datenbasis "verschmutzen", bleibt abzuwarten. Gleiches gilt im Grunde für LLM wie ChatGPT, wo dieses Phänomen bereits sichtbar wird. Je mehr "Müll" eingesammelt und zum Training der MÜ oder KI verwendet wird, desto mehr wird die Qualität leiden und mehr Nacharbeit oder "Postediting" notwendig sein.

MÜ/MT oder KI nutzen, wo es passt

Im Rahmen der Tekom 2022 verkündete ein Unternehmen den Erfolg, dass nach langer Entwicklungs- und Terminologiearbeit 45 % des Textes kein Post-Editing mehr benötigen. 45 %! Die restlichen 55 % müssen aber noch bearbeitet werden. Um diese 55 % zu editieren, also zu lesen, zu bearbeiten und zu korrigieren, wird man sich auch die anderen 45 % anschauen müssen, um den Kontext zu kennen, in dem ein Satz steht. Das ist genau das, was die Maschine nicht kann. Und bei diesen Zahlen ging es vermutlich um eher technische Texte, bei denen die Sprache standardisiert ist und Sätze oft kürzer sind als z. B. im juristischen Bereich.

Es spricht einiges dafür, maschinelle Übersetzung gezielt dort einzusetzen, wo es passt. Ich experimentiere dazu weiter mit einer eigenen Engine für einen bestimmten Einsatzbereich, um dort rationeller arbeiten zu können. Es wird aber auch kein Universalwerkzeug für jeden Auftrag sein. Denn MÜ/MT oder KI ist nur dort sinnvoll, wo es die Arbeit tatsächlich beschleunigt oder verbessert. Wenn weder das eine noch das andere auf ein Werkzeug zutrifft, wird man von dessen Einsatz absehen. Auch wenn es KI oder MÜ/MT ist und nach Hightech klingt.

Keine Abstriche bei Kundenerwartungen

"Postediting light" ist tot - lautete die Aussage auf der ASTT-Konferenz im Jahr 2022. Wer nur wissen möchte, was ungefähr in einem Dokument oder auf einer Website geschrieben steht, für den reicht die Maschinenqualität inzwischen aus. Bei allem, was veröffentlicht wird oder rechtssicher sein soll, liegt der Fall anders. Hier ist eine gründliche Nachbearbeitung (auch Postediting genannt) erforderlich. Die Anbieter von KI und MÜ haften auch nicht, wenn Dinge ungeprüft übernommen werden.

Diese Aussage zum Light Postediting bestätigt sich auch im Feedback von Kunden - die bei nur leichter Bearbeitung zur Beseitigung echter Fehler eine "wörtliche oder etwas steife Übersetzung" bemängeln. Wenn es authentisch klingen soll, muss auch stilistisch überarbeitet und umformuliert werden. Dies braucht Zeit und erhöht wieder den Aufwand, den man sich erhoffte, mit der Maschinenübersetzung weitgehendst einsparen zu können. Es braucht daher definitiv mehr Aufklärung und Absprache dahin gehend, was vom Kunden erwartet wird, was MÜ leisten kann oder eben nicht. Wie stark soll in die von der Maschine gelieferte Übersetzung eingegriffen werden? Ab wann ist der Aufwand höher als bei herkömmlicher Übersetzung?

Das Einsparpotenzial wird oftmals geringer ausfallen, als viele zunächst erwarten. Wenn man eine maschinelle (und übrigens auch manuell erstellte) Übersetzung überprüft, müssen sowohl Ausgangs- als auch Zieltext gelesen werden - und nicht nur der Ausgangstext, wie es beim manuellen Übersetzen der Fall ist. Dann muss verglichen und beurteilt werden, ob Änderungen erforderlich sind, die dann gegebenenfalls noch eingearbeitet werden müssen. Diese unterschiedlichen Prozesse und Prozessschritte sind vielen nicht bewusst. Ein weiteres Problem ist, dass schon die Einspeisung in ein System zur maschinellen Übersetzung oder auch in Modelle wie ChatGPT bearbeitbare, elektronisch verfügbare Texte erfordert. Ansonsten kommt zur Nachbearbeitung noch die Vor- oder Aufbereitung hinzu. Der zeitliche Aufwand dafür ist oft ebenso nicht gering.

Das heißt nicht, dass keine Einsparungen möglich sind. Sie fallen möglicherweise nur sehr viel geringer aus, als der Laie sich das gemeinhin vorstellt. Zumindest dann, wenn vergleichbare Qualität erwartet wird.

 

(Überarbeitet September 2024)