KI trifft auf Kundenerwartungen

von

Wissenschaft bestätigt eigene Erfahrungen:

Rückblick auf die ASTT-Tagung "Eine Welt ohne Babel?"

Mein großes Fazit gleich vorneweg:

Wissenschaft bestätigt eigene Erfahrungen in punkto maschinelle Übersetzung

Ja, die Maschinen sind besser geworden. Aber sie erreichen nicht das Niveau menschlicher Übersetzungen, u. a. weil das Verständnis fehlt. Die Maschine kann im Gegensatz zum Menschen keinen Zusammenhang erfassen, denn sie versteht nicht. Bezüge, die mehrere Sätze zurück liegen oder nur aus dem Text insgesamt hervorgehen bzw. nur aus dem Briefing des Kunden, für welche Zielgruppe ein Text bestimmt ist, können zwar zufällig aufgrund statistischer Zusammenhänge stimmen - aber wer möchte sein Glück schon dem Zufall überlassen. Weil maschinelle Übersetzung - wie auch KI insgesamt - auf riesigen Datenmengen basieren, die es im großen weiten Internet gibt, hängt die Qualität z. B. auch von der Sprachkombination ab. Je mehr Daten von hoher Qualität zur Verfügung stehen desto besser. Auch in diesem Punkt bestätigten die Wissenschaftler meine Befürchtung, dass sich die Qualität des Outputs über die Zeit verschlechtern könnte - wenn nicht vom Menschen korrigierend eingegriffen wird. Die bisherigen Trainingsdaten stammen ja in der Regel von von Menschen erstellten Übersetzungen. Das heißt die Qualität des Ausgangsmaterials ist im Moment noch gut. Wie sich dies entwickelt, wenn vermehrt maschinenübersetzte Texte die Datenbasis "verschmutzen", bleibt abzuwarten. Gleiches gilt im Grunde für die neuen Large-Language-Modelle wie ChatGPT.

MÜ oder KI nutzen, wo es passt

Im Rahmen der Tekom verkündet ein Unternehmen den Erfolg, dass nach langer Entwicklungs- und Terminologiearbeit 45% des Textes kein Post-Editing mehr benötigen. 45 %! Die restlichen 55 % müssen aber noch bearbeitet werden. Um diese 55 % zu editieren, also zu bearbeiten und zu korrigieren, wird man sich auch die anderen 45 % anschauen müssen, um den Kontext zu kennen, in dem ein Satz steht. Das ist genau das, was die Maschine nicht kann. Und bei diesen Zahlen ging es vermutlich um eher technische Texte, bei denen die Sprache standardisiert ist und Sätze oft kürzer sind als z. B. im juristischen Bereich.

Es spricht einiges dafür, maschinelle Übersetzung gezielt dort einzusetzen, wo es passt. Ich experimentiere dazu weiter mit einer eigenen Engine für einen bestimmten Einsatzbereich, um dort rationeller arbeiten zu können. Es wird aber auch kein Universalwerkzeug für jeden Auftrag sein.

Kundenerwartungen

"Postediting light" ist tot - lautete die Aussage auf der ASTT-Konferenz im Jahr 2022. Wer nur wissen möchte, was ungefähr in einem Dokument oder auf einer Website geschrieben steht, für den reicht die Maschinenqualität inzwischen aus. Bei allem, was aktiv veröffentlicht wird, liegt der Fall anders. Hier wird eine gründliche Nachbearbeitung (auch Postediting gennant) erforderlich. Dies bestätigt sich auch im Feedback von Kunden - die bei nur leichter Bearbeitung zur Beseitigung echter Fehler eine "wörtliche oder etwas steife Übersetzung" bemängeln. Wenn es authentisch klingen soll, muss auch stilistisch überarbeitet und umformuliert werden. Dies braucht Zeit und erhöht wieder den Aufwand, den man sich erhoffte, mit der Maschinenübersetzung weitgehendst einsparen zu können. Es braucht daher definitiv mehr Aufklärung und Absprache, was erwartet wird, was MÜ leisten kann oder eben nicht. Wie stark soll in die von der Maschine gelieferte Übersetzung eingegriffen werden? Ab wann ist der Aufwand höher als bei herkömmlicher Übersetzung.

Das Einsparpotenzial wird oftmals geringer ausfallen, als viele zunächst erwarten. Wenn man eine maschinelle (und übrigens auch manuell erstellte) Übersetzung überprüft, müssen sowohl Ausgangs- als auch Zieltext gelesen werden - und nicht nur der Ausgangstext, wie es beim Übersetzen der Fall ist. Dann muss verglichen und beurteilt werden, ob Änderungen erforderlich sind, und diese müssen gegebenenfalls noch eingearbeitet werden. Diese unterschiedlichen Prozessschritte sind vielen nicht bewusst. Ein weiteres Problem ist, dass schon die Einspeisung in ein System zur maschinellen Übersetzung oder auch in Modelle wie ChatGPT bearbeitbare, elektronisch verfügbare Texte erfordert. Ansonsten kommt zur Nachbearbeitung noch die Vor- oder Aufbereitung hinzu. Dieser Aufwand ist oft ebenso nicht gering.

Das heißt nicht, dass keine Einsparungen möglich sind - sie fallen möglicherweise nur sehr viel geringer aus, als der Laie sich das vorstellt. Zumindest dann, wenn vergleichbare Qualität erwartet wird.

Zurück