Durchschnittliche Levenshtein-Distanz

Die Levenshtein-Distanz (auch Editierdistanz) zwischen zwei Zeichenketten ist die minimale Anzahl einfügender, löschender und ersetzender Operationen, um die erste Zeichenkette in die zweite umzuwandeln. Benannt ist die Distanz nach dem russischen Wissenschaftler Wladimir Lewenstein (engl. Levenshtein), der sie 1965 einführte (vgl. Levenshtein-Distanz auf Wikipedia). translate5 misst standardmäßig in jedem Workflow die durchschnittliche Levenshtein-Distanz. Die implementierte Messung entspricht den auf dieser Website dargestellten Formeln; der dort verfügbare Rechner kann zu Vergleichs- und Überprüfungszwecken verwendet werden.

Levenshtein-Distanz auf Segmentebene

In translate5 wird die Levenshtein-Distanz je Segment berechnet und als Durchschnittswert über alle gefilterten Segmente auf Aufgabenebene zur Abfrage zur Verfügung gestellt. Das heißt, Sie können jederzeit die durchschnittliche Levenshtein-Distanz einer einzigen oder auch aller Aufgaben, die der aktuellen Filterung entsprechen, abfragen. Oder auch über eine Untermenge der Segmente einer oder mehrerer Aufgaben, wenn die Aufgabenliste nach TQE-Wert, Match-Rate oder nach der/den für die Vorübersetzung verwendeten Sprachressource(n) oder -typen gefiltert wird. Und das für unterschiedliche Zeitpunkte und Zeitspannen innerhalb des Projekts.

translate5 misst die Levenshtein-Distanz:

• vor Beginn des Workflows,
• innerhalb eines Workflow-Schritts,
• ab Beginn des Workflows und
• nach Ende des Workflows.

Dabei werden die Segmentstände folgender Zeitpunkte/-spannen miteinander verglichen:

 Messpunkte in translate5

• Initialstand – Inhalt des Zielsegments nach Import, also nach der Vorübersetzung (via Translation Memory, Maschinelle Übersetzung oder LLM), resp. bei bilingualen Ausgangsdateien (z.B. XLIFF) zum Zeitpunkt des Imports.
  Dieses kann leer sein, wenn beim Import keine Vorübersetzung vorgenommen wurde. Dieser Stand gilt als Referenzgröße für die Messung ab Beginn des Workflows.
• Aktualstand – Änderungen ab Beginn des Workflows: Hier wird die Differenz berechnet zwischen dem Inhalt nach der Vorübersetzung, respektive dem Import (Initialstand), und der jüngsten Änderung des aktuellen Workflow-Schritts. Das gilt auch, wenn das Zielsegment nach dem Import leer war (da nicht vorübersetzt). In solchen Fällen entspricht dann die Levenshtein-Distanz nach der ersten Bearbeitung genau seiner Segmentlänge, da alle sich im Zielsegment befindlichen Zeichen bei der Humanübersetzung neu eingefügt wurden.
• Differenzstand – Änderungen zwischen zwei aufeinanderfolgenden Workflow-Schritten: Hier wird die Distanz gemessen zwischen der jüngsten Änderung im aktuellen Workflow-Schritt zur jüngsten Änderung des vorangehenden Schritts. Wenn es (z.B. beim allerersten Workflow-Schritt) keinen vorangehenden Schritt gibt, entspricht der gemessene Wert demjenigen ab Beginn des Workflows.

Berechnung und Gewichtung

Die durchschnittliche Levenshtein-Distanz versteht sich immer als nach Segmentzahl gewichteter Mittelwert, auch wenn die Segmente von mehr als einer Aufgabe in die Berechnung miteinfließen. Hierzu ein Beispiel zur Veranschaulichung: 

Die durchschnittliche Levenshtein-Distanz über Aufgabe A und Aufgabe B berechnet sich wie folgt:

4 + 3 + 2 + 6 + 4 + 2 + 4 = 25

25 / 7 = 3,5714

Es wird also die Summe aller Levenshtein-Distanzen gebildet, um diese danach durch die kumulierte Anzahl Segmente zu teilen.

 Statistiktypen

Die nachfolgende Grafik visualisiert die unterschiedlichen Zeitpunkte/-spannen, für welche die Levenshtein-Distanz gemessen wird. Die Farbmarkierung der Zellen in der Grafik werde in der untenstehenden Tabelle wieder aufgenommen.

Zeitpunkt/Zeitspanne	Erläuterung	Beispiel (ohne Filter gesetzt)	Beispieltext nach Bearbeitung
vor Beginn des Workflows	Zeigt die durchschnittliche Levenshtein-Distanz, die aufgrund von Änderungen zustande kam, die vor Beginn des Workflows angebracht wurden, z.B. wenn der Projektmanager vor der Zuweisung eines Benutzers Änderungen an den Segmenten vornimmt. Der Status „Aktueller Workflow-Schritt“ steht auf „kein Workflow“. Hier wird der Zustand „vor Beginn des Workflows“, sprich noch ausserhalb jeglicher Workflow-Schritte, untersucht. Konkret werden also die Segmentinhalte verglichen nach dem Aufgabenimport und vor dem Beginn des Workflows.	Der Projektmanager ändert, bevor er jegliche Benutzerzuweisungen vornimmt, nach dem Import mit Vorübersetzung an drei Stellen den Produktnamen „Fit for fun“ zu „Fit4fun“. → 4 Zeichen gelöscht, 1 Zeichen geändert. Levenshtein-Distanz = 3 x 5 = 15; Durchschnittliche Levenshtein-Distanz vor Beginn des Workflows = 3,75	Fit4fun: Klein, smart und sofort einsatzbereit. Fit4fun passt in jede Tasche, trainiert überall. Mehr Bewegung im Alltag, ganz ohne Aufwand. Fit4fun ist dein schneller Boost für Kraft und Energie.
innerhalb eines Workflow-Schritts	Zeigt die durchschnittliche Levenshtein-Distanz innerhalb eines Workflow-Schrittes zwischen den letzten Änderungen im vorangehenden Workflow-Schritt und der Version vor der abschliessenden Speicherung des aktuellen Workflow-Schritts, also der allerletzten Bearbeitung, bevor der Workflow-Schritt abgeschlossen wurde.	Der Übersetzer post-editiert eine Stelle. → 11 Zeichen hinzugefügt, 1 Zeichen geändert Levenshtein-Distanz = 12 Durchschnittliche Levenshtein-Distanz innerhalb des Workflow-Schritts „Übersetzen“ = 3	Fit4fun: Klein, smart und sofort einsatzbereit. Fit4fun passt in jede Tasche, damit trainieren Sie überall. Mehr Bewegung im Alltag, ganz ohne Aufwand. Fit4fun ist dein schneller Boost für Kraft und Energie.
Segmente fließen für die Filterung innerhalb eines Workflow-Schritts dann in die Statistik ein, wenn sie zum Ende des Workflow-Schritts bearbeitbar waren oder zum Zeitpunkt des KPI-Aufrufs bearbeitbar sind. Werden Segmente, die editierbar (also nicht gesperrt) sind, innerhalb eines Workflow-Schritts nicht editiert, fließen diese bei der Berechnung der Levenshtein-Distanz mit einer Levenshtein-Distanz von 0 in die Berechnung mit ein. Wird ein Segment während eines Workflow-Schritts (oder im Status „Kein Workflow“ oder „Workflow abgeschlossen“) ent- oder gesperrt, dann werden entsperrte Segmente für diesen Workflow-Schritt zu diesem Zeitpunkt neu in die Statistik geschrieben bzw. beim Sperren aus der Berechnung herausgenommen Wenn kein Filter gesetzt ist, der die Ergebnisse auf einen einzigen bestimmten Workflow-Schritt einschränkt, dann zeigt der Wert "innerhalb eines Workflow-Schritts" die durchschnittliche Distanz von vor dem Job bis zur letzten Bearbeitung innerhalb des Jobs an, aber gemittelt über alle Workflow-Schritte hinweg, die in der aktuellen Filterung enthalten sind. Es wird dann noch nicht für einen einzelnen Jobtyp gemessen: Wenn also ein Filter so gesetzt ist, dass sowohl Jobs vom Typ „Übersetzung“ und vom Typ „Lektorat“ berücksichtigt werden und für Segment 1 wurden in der Übersetzung 20 Zeichen verändert (Levenshtein-Distance 20) und im Lektorat wurden für das Segment nochmal 10 Zeichen verändert, dann beträgt die Levenshtein-Distanz innerhalb eines Workflow-Schritts für Segment 1 den Wert 15 (insgesamt 30 Änderungen, geteilt durch zwei Jobs). Und in der Auswertung wird dann der so ermittelte Wert wiederum als Durchschnittswert für alle Segmente gebildet, die am Ende des Workflow-Schritts oder zum Zeitpunkt des KPI-Aufrufs bearbeitbar waren und der aktuellen Filterung entsprechen.
ab Beginn des Workflows	Zeigt die durchschnittliche Levenshtein-Distanz vom Beginn des Workflows zwischen der Version des Segments zu Beginn des Workflows und seiner letzten vorhandenen Bearbeitung.	Der Revisor ändert die Formalität des Textes. → 4 Zeichen geändert, 1 Zeichen gelöscht Levenshtein-Distanz Revisor = 5 Levenshtein-Distanz Übersetzer = 12 Total ab Beginn des Workflows: 10 Änderungen Durchschnittliche Levenshtein-Distanz ab Beginn des Workflows = 2,5	Fit4fun: Klein, smart und sofort einsatzbereit. Fit4fun passt in jede Tasche, damit trainierst du überall. Mehr Bewegung im Alltag, ganz ohne Aufwand. Fit4fun ist Ihr schneller Boost für Kraft und Energie.
Hier werden keine Werte angezeigt wenn im erweiterten Filter job-/workflow-schrittbezogen gefiltert wird. Da durch diese Filter Teile der Gesamtbearbeitung eingeschränkt/ausgenommen werden würde ein Gesamtwert ab Beginn des Workflows keinen Sinn machen. Job-/workflow-schrittbezogene Filter sind folgende: „Zugewiesene/r Benutzer“ „Workflow-Schritt-Typ“ „Workflow-Schritt“ „Status des Jobs“ Segmente fließen für die Filterung von Beginn des Workflows dann in die Statistik ein, wenn sie zum Zeitpunkt des KPI-Aufrufs bearbeitbar sind. Achtung: Die Distanz von Beginn des Workflows ist nicht identisch mit der Summe der Distanzen der einzelnen Workflow-Schritte, da es sein kann, dass z.B. ein Lektor Änderungen eines Übersetzers wieder rückgängig macht.
nach Ende des Workflows	Zeigt die durchschnittliche Levenshtein-Distanz der Änderungen, die ein Projektmanager nach Abschluss des Workflows („Aktueller Workflow-Schritt“ steht auf „Workflow abgeschlossen“) noch angebracht hat. Analog zu „innerhalb eines Workflow-Schritts“ wird hier der Stand nach der letzten Bearbeitung eines Segments „nach Ende des Workflows“ verglichen mit dem jüngsten Stand des allerletzten Workflow-Schritts.	Der Projektmanager ergänzt, auf Wunsch des Kunden, nach Abschluss des Workflows; also nachdem der Revisor geliefert hat, den Produktnamen um Go. → 6 Zeichen hinzugefügt Levenshtein-Distanz = 6 Durchschnittliche Levenshtein-Distanz nach Ende des Workflows = 1,5	Fit4funGo: Klein, smart und sofort einsatzbereit. Fit4funGo passt in jede Tasche, damit trainierst du überall. Mehr Bewegung im Alltag, ganz ohne Aufwand. Fit4funGo ist Ihr schneller Boost für Kraft und Energie.

Statistiken je Benutzer

Die Zuordnung der Levenshtein-Distanz zu einem Benutzer funktioniert so, dass für alle Benutzer die Workflowrolle ihres jeweiligen Jobs genommen und für diesen Workflow-Schritt je Benutzer die Levenshtein-Distanz eingetragen wird. Der für die Änderungen in einem Segment verantwortliche Benutzer ergibt sich daraus, wer das Segment innerhalb des Workflow-Schritts als letzter gespeichert hat.

Benutzerfilter

Wird für die Auswertung der Levenshtein-Distanz im erweiterten Filter der Aufgabenübersicht der Benutzerfilter gesetzt, gilt die Berechnung für jene Aufgabensegmente, denen der Benutzer zugewiesen ist und in denen er innerhalb eines Workflow-Schritts als letzter das Segment gespeichert hat. Dabei wird die Levenshtein-Distanz immer im Vergleich zum Zustand beim Start des Workflow-Schritts berechnet, unabhängig davon, welche der Änderungen der Benutzer selbst angebracht hat. Der Grund dafür, dass alle Änderungen innerhalb eines Workflow-Schritts dem als letzten aktiven Benutzer angerechnet werden, ist, dass der letzte Benutzer, der ein Segment innerhalb eines Workflow-Schritts speichert, damit die Verantwortung für den finalen Segmentzustand übernimmt.

Messung bei Wiederholungen

Die Levenshtein-Distanz fließt für jede Wiederholung so ein, wie sie beim Mastersegment berechnet wurde.

Umgang mit Wiederholungen, die via Wiederholungseditor bearbeitet werden

Je nach Einstellungen im Wiederholungseditor können Wiederholungen innerhalb einer Aufgabe automatisch oder halbautomatisch mit Entscheidung durch den Benutzer übernommen werden. Die Nachbearbeitungszeit wird für die unterschiedlichen Einstellungsmöglichkeiten wie folgt gemessen:

• Bearbeitung des Mastersegments, also desjenigen Segments, dessen Inhalt nach Bestätigung in die zu 100% wiederholenden Segmente übernommen wird: Normale Messung der Levenshtein-Distanz.
• Übernahme eines sich zu 100% wiederholenden Segmentinhalts mit Entscheidung durch den Benutzer (Einstellung „Bei jeder Wiederholung einzeln entscheiden“):  Levenshtein-Distanz des Mastersegments wird auf die auto-propagierten Segmente übertragen.
• Automatische Übernahme der sich zu 100% wiederholenden Segmente, ohne Entscheidung durch den Benutzer (Einstellung „Immer automatisch setzen“): Levenshtein-Distanz des Mastersegments wird auf die auto-propagierten Segmente übertragen.
• Keine Auto-Propagierung bei Einstellung „Nie automatisch setzen“: Normale Messung der Levenshtein-Distanz bei manueller Bearbeitung der sich wiederholenden Segmente.

Durchschnittliche Nachbearbeitungszeit

In translate5 wird für jedes Segment die Bearbeitungszeit gemessen und als Durchschnittswert über alle gefilterten Segmente auf Aufgabenebene zur Abfrage zur Verfügung gestellt. Das heißt, Sie können jederzeit die durchschnittliche Nachbearbeitungszeit einer einzigen oder auch aller Aufgaben, die der aktuellen Filterung entsprechen, abfragen. Oder auch über eine Untermenge der Segmente einer oder mehrerer Aufgaben, wenn die Aufgabenliste nach TQE-Wert, Match-Rate oder nach der/den für die Vorübersetzung verwendeten Sprachressource(n) oder -typen gefiltert wird. Und das für unterschiedliche Zeitpunkte und Zeitspannen innerhalb des Projekts.

Berechnung und Gewichtung

Die durchschnittliche Nachbearbeitungszeit ist diejenige Zeit, während der ein oder mehrere Benutzer ein Segment in translate5 bearbeitet, geteilt durch alle bearbeitbaren Segmente. Die Bearbeitungen können von Benutzern innerhalb des Workflow-Schritts durchgeführt werden, aber auch von einem Projektmanager, der zwischendurch Änderungen an den Segmenten vornimmt.

Die Zeitmessung startet beim Öffnen eines Segments zur Bearbeitung und endet, wenn das Segment wieder gespeichert wird. Wird das Segment über ESC oder verlassen, also ohne Änderungen geschlossen, wird keine Zeitmessung vermerkt.

translate5 misst die Nachbearbeitungszeit:

• vor Beginn des Workflows,
• innerhalb eines Workflow-Schritts,
• ab Beginn des Workflows und
• nach Ende des Workflows.

Zeitpunkt/Zeitspanne	Erläuterung
vor Beginn des Workflows	Zeigt die Zeit, die für Änderungen vor Beginn des Workflows aufgewendet wurden, z.B. wenn der Projektmanager in der Zeitspanne zwischen dem Aufgabenimport und der Workflowzuweisung eines Benutzers Änderungen an den Segmenten vornimmt.
innerhalb eines Workflow-Schritts	Zeigt die durchschnittliche Nachbearbeitungszeit innerhalb eines Workflow-Schritts, also die vorgenommen wurden, solange der Status des jeweiligen Workflow-Schritts auf „offen“ steht.
ab Beginn des Workflows	Zeigt die durchschnittliche Nachbearbeitungszeit vom Aufgabenimport beginnend, bis der Workflow in den Status „Workflow abgeschlossen“ umspringt. Segmente fließen für die Filterung von Beginn des Workflows dann in die Statistik ein, wenn sie zum Zeitpunkt des KPI-Aufrufs bearbeitbar sind.
nach Ende des Workflows	Zeigt die durchschnittliche Nachbearbeitungszeit für Änderungen, die ein Projektmanager nach Abschluss des Workflows (Workflow-Status steht auf „Workflow abgeschlossen“) noch durchgeführt hat.

Umgang mit Wiederholungen, die via Wiederholungseditor bearbeitet werden

Je nach Einstellungen im Wiederholungseditor können Wiederholungen innerhalb einer Aufgabe automatisch oder halbautomatisch mit Entscheidung durch den Benutzer übernommen werden. Die Nachbearbeitungszeit wird für die unterschiedlichen Einstellungsmöglichkeiten wie folgt gemessen:

• Bearbeitung des Mastersegments, also desjenigen Segments, dessen Inhalt nach Bestätigung in die zu 100% wiederholenden Segmente übernommen wird: Normale Zeitmessung, solange das Segment zur Bearbeitung geöffnet ist.
• Übernahme eines sich zu 100% wiederholenden Segmentinhalts mit Entscheidung durch den Benutzer (Einstellung „Bei jeder Wiederholung einzeln entscheiden“): Die im Wiederholungseditor verbrachte Zeit geteilt durch die Anzahl der sich wiederholenden Segmente.
• Automatische Übernahme der sich zu 100% wiederholenden Segmente, ohne Entscheidung durch den Benutzer (Einstellung „Immer automatisch setzen“): Nachbearbeitungszeit für diese Segmente = 0.

Anwendbare Filter

Die Levenshtein-Distanz sowie Nachbearbeitungszeit kann für diverse Filterszenarien abgefragt werden. Dabei kann mit den Spatenfiltern (einer oder mehrere Kombiniert), aber auch mit dem erweiterten Filter (ebenfalls zusätzlich mit Spaltenfiltern kombinierbar) eine umfangreiche Anzahl an Szenarien dargestellt werden. Je nachdem, für welchen Zeitpunkt oder für welche Zeitspanne eine Auswertung angezeigt werden soll, sind gewisse Filtermöglichkeiten nicht zulässig, respektive liefern keine Resultate, da sie konzeptionell keinen Sinn ergeben (z.B. Filterung auf einen Workflow-Schritt-Typ für eine Messung ab Beginn des Workflows).

Die nachfolgende Matrix zeigt, welche Filteroptionen des erweiterten Filters und der Spaltenfilter je Auswertungstyp verwendet werden können:

Erweiterter Filter

Spaltenfilter

Verhalten bei inkonsistenten Workflows

Kommt es aufgrund von manuellen Statusanpassungen durch den Projektmanager zu einem inkonsistenten Workflow, bei dem beispielsweise ein Übersetzungsschritt nach dem Lektoratsschritt wieder geöffnet wurde, werden Änderungen und Nachbearbeitungszeit dennoch immer demjenigen Workflow-Schritt zugerechnet, zu dem der Job gehört, der dem editierende Benutzer zugewiesen ist.

So werden jegliche Änderungen, die ein Benutzer anbringt, respektive die Zeit, die der Benutzer dafür aufwendet, dem der Job „Übersetzung“ zugewiesen ist, immer dem Workflow-Schritt Übersetzung angerechnet, selbst wenn das Editieren erst im nachträglich wieder geöffneten Übersetzungsjob stattfindet.

Auch wenn ein Projektmanager ohne zugewiesenen Job während des laufenden Workflows Änderungen anbringt, werden seine Änderungen und seine Bearbeitungszeit dem aktuell für die Aufgabe registrierten Workflow-Schritt angerechnet.

Anwendungsmöglichkeiten

Die Messung der Nachbearbeitungszeit und der Levenshtein-Distanz birgt umfassende Möglichkeiten, verschiedene Kennzahlen im Übersetzungsprozess zu evaluieren und Ressourcen-, aber auch Leistungsqualitäten zu beurteilen. Nachfolgend einige Inputs; die Liste ist natürlich bei weitem nicht abschließend:

Qualität der MT- oder LLM-Übersetzung

Vergleichen Sie die Qualität verschiedener MT-/LLM-Engines, indem Sie die durchschnittliche Bearbeitungszeit und Levenshtein-Distanz der Aufgaben/Segmente betrachten, die mit den entsprechenden Ressourcen vorübersetzt wurden. Ausgehend von den gewonnenen Erkenntnissen können Sie beispielsweise auch Ihre Rabattstaffelung für den Einkauf schärfen, sodass diese exakt auf die verwendeten Sprachressourcen abgestimmt sind.

Qualität einer Sprachressource

Vergleichen Sie die durchschnittliche Bearbeitungszeit von Aufgaben, die mit einer bestimmten Sprachressource vorübersetzt wurden, bevor und nachdem Sie sie in der TM Maintenance oder über einen Re-Import zur Bereinigung bearbeitet haben.

Eignung einer Sprachressource für einen bestimmten Kunden oder ein bestimmtes Fachgebiet

Finden Sie heraus, welche LLM-Ressourcen sich für einen bestimmten Kunden oder ein bestimmtes Fachgebiet am besten eignet, indem Sie für ähnliche Texte, die aber mit verschiedenen Ressourcen übersetzt wurden, die Nachbearbeitungszeit und Levenshtein-Distanz analysieren.

Effizienz eines Linguisten

Prüfen Sie, wie unterschiedlich stark Ihre Linguisten die maschinell vorübersetzten Segmente bearbeiten und wie viel Zeit sie auf diese Arbeit verwenden, indem Sie im erweiterten Filter einen Benutzerfilter setzen. Auf diese Weise werden jeweils diejenigen Werte angezeigt, die sich auf alle Segmente beziehen, die der im Filter eingetragene Benutzer als letzter im jeweiligen Workflow-Schritt gespeichert hat. Eine zu geringe Nachbearbeitungszeit könnte beispielsweise bedeuten, dass ein Post-Editor seine Arbeit nicht gewissenhaft ausführt, während eine sehr hohe Bearbeitungszeit darauf hinweisen könnte, dass der Post-Editor (zu) viele und möglicherweise auch unnötige Änderungen vornimmt, insbesondere, wenn gleichzeitig auch die Levenshtein-Distanz auffällig hoch ist.

Messen der effektiven Bearbeitungszeit

Verrechnen Sie Ihre Dienstleistungen mit einer akkuraten Exaktheit, indem Sie genau diejenige Bearbeitungszeit verrechnen, die von translate5 gemessen wurde.