Average Levenshtein

distance

Die The Levenshtein -Distanz (auch Editierdistanz) zwischen zwei Zeichenketten ist die minimale Anzahl einfügender, löschender und ersetzender Operationen, um die erste Zeichenkette in die zweite umzuwandeln. Benannt ist die Distanz nach dem russischen Wissenschaftler Wladimir Lewenstein (engl. Levenshtein), der sie 1965 einführte (vgl. Levenshtein-Distanz auf Wikipedia). translate5 misst standardmäßig in jedem Workflow die durchschnittliche Levenshtein-Distanz. Die implementierte Messung entspricht den auf dieser Website dargestellten Formeln; der dort verfügbare Rechner kann zu Vergleichs- und Überprüfungszwecken verwendet werden.

Levenshtein-Distanz auf Segmentebene

In translate5 wird die Levenshtein-Distanz je Segment berechnet und als Durchschnittswert über alle gefilterten Segmente auf Aufgabenebene im Bereich „Aufgaben“ zur Abfrage zur Verfügung gestellt. Das heißt, Sie können jederzeit die durchschnittliche Levenshtein-Distanz einer einzigen oder auch aller Aufgaben, die der aktuellen Filterung entsprechen, abfragen. Oder auch über eine Untermenge der Segmente einer oder mehrerer Aufgaben, wenn die Aufgabenliste nach TQE-Wert, Match-Rate oder nach der/den für die Vorübersetzung verwendeten Sprachressource(n) oder -typen gefiltert wird. Und das für unterschiedliche Zeitpunkte und Zeitspannen innerhalb des Projekts.

translate5 misst die Levenshtein-Distanz:

• vor Beginn des Workflows,
• innerhalb eines Workflow-Schritts,
• seit Import/Vorübersetzung und
• nach Ende des Workflows.

Dabei werden die Segmentstände folgender Zeitpunkte/-spannen miteinander verglichen:

distance (also called edit distance) between two character strings is the minimum number of insert, delete and replace operations to convert the first character string into the second. The distance is named after Russian scientist Wladimir Lewenstein (Levenshtein), who introduced it in 1965 (see Levenshtein distance on Wikipedia). translate5 by default measures the average Levenshtein distance in every project and task. The implemented measurement method corresponds to the formulas described on this website; the calculator available there can be used for comparison and verification purposes.

Levenshtein distance at segment level

In translate5, the Levenshtein distance is calculated for each segment and made available for querying as an average value across all filtered segments at task level in the task list. This means that you can at any time query the average Levenshtein distance of a single task or all tasks that match the current filtering. Or also of a subset of the segments of one or more tasks if the task list is filtered by TQE value, match rate or by language resource(s) or types used for the pre-translation. And all of this for different points in time and time spans within the project.

translate5 measures the Levenshtein distance:

• before the start of the workflow,
• within one workflow step,
• since import/pre-translation and
• after the end of the workflow.

The segment contents of the following points in time/spans are compared with each other:

 Measuring points in translate5

• Initial state – content of the target segment after import, i.e. after pre-translation (via translation memory, machine translation or LLM. The pre-translation can also take place subsequently, after the import / in the running project), or in the case of bilingual source files (e.g. XLIFF) in the software that generates the bilingual files. Target segments can be empty if no pre-translation has been carried out. This empty state is then used as a reference value for the measurement since import/pre-translation in the case of human translation.
• Current state – changes since import/pre-translation: The difference between the content after the pre-translation or import (initial state) and the most recent change to the current workflow step is calculated here. This also applies if the target segment was empty after the import (as it was not pre-translated). In such cases, the Levenshtein distance after the first processing corresponds exactly to its segment length, as all characters in the target segment were newly inserted during human translation.
• Difference state – changes between two consecutive workflow steps: The distance between the most recent change in the current workflow step and the most recent change in the previous workflow step is measured here. If there is no preceding step (e.g. for the very first workflow step), the measured value corresponds to the value since import/pre-translation.

Calculation and weighting

The average Levenshtein distance is always a mean value weighted by the number of segments, even if segments of more than one task are included in the calculation. Here is an example to illustrate this: 

Berechnung und Gewichtung

Die durchschnittliche Levenshtein-Distanz versteht sich immer als nach Segmentzahl gewichteter Mittelwert, auch wenn die Segmente von mehr als einer Aufgabe in die Berechnung miteinfließen. Hierzu ein Beispiel zur Veranschaulichung: 

Die durchschnittliche Levenshtein-Distanz über Aufgabe A und Aufgabe B berechnet sich wie folgtThe average Levenshtein distance from task A and task B combined is calculated as follows:

4 + 3 + 2 + 6 + 4 + 2 + 4 = 25

25 / 7 =3,5714

Es wird also die Summe aller Levenshtein-Distanzen gebildet, um diese danach durch die kumulierte Anzahl aller Segmente zu teilen.

The sum of all Levenshtein distances is therefore calculated and then divided by the added-up number of all segments.

 Statistic types

The following graphic visualizes the different points in time/time periods for which the Levenshtein distance is measured. 

Image Added

The colour coding of the cells in the graphic above is also used in the table below, in which the various statistics are explained with examples:

 Statistiktypen

Die nachfolgende Grafik visualisiert die unterschiedlichen Zeitpunkte/-spannen, für welche die Levenshtein-Distanz gemessen wird. 

Image Removed

Die Farbmarkierung der Zellen in der Grafik oben werden in der untenstehenden Tabelle wieder aufgenommen, in der die verschiedenen Statistiken mit Beispiel erläutert werden:

 

Zeitpunkt/Zeitspanne	Erläuterung	Beispiel (ohne Filter gesetzt)	Beispieltext nach Bearbeitung
vor Beginn des Workflows Anchor pre_workflow pre_workflow	Zeigt die durchschnittliche Levenshtein-Distanz, die aufgrund von Änderungen zustande kam, die vor Beginn des Workflows angebracht wurden, z.B. wenn die Projektmanager/innen vor der Zuweisung der Benutzer/innen Änderungen an den Segmenten vornehmen. Der Status „Aktueller Workflow-Schritt“ steht dabei auf „kein Workflow“. Hier wird der Zustand „vor Beginn des Workflows“, sprich noch außerhalb jeglicher Workflow-Schritte, untersucht. Konkret werden also die Segmentinhalte verglichen nach dem Aufgabenimport und vor dem Beginn des Workflows.		Shows the average Levenshtein distance as a result of the changes made before the start of the workflow, e.g. if the project managers made changes to the segments before assigning users. The “Current workflow step” status is set to “No workflow”. The state “before the beginning of the workflow”, i.e. outside any workflow steps, is analysed here. In concrete terms, the segment contents are compared between after the task import and before the start of the workflow.	The project manager changes the product name “Fit for fun” to “Fit4fun” in three places after  import with pre-translation, before assigning any jobs to users. → 4 characters deleted, 1 character changed. Levenshtein distance Der/die Projektmanager/in ändert, noch vor der Benutzerzuweisungen, nach dem Import mit Vorübersetzung an drei Stellen den Produktnamen „Fit for fun“ zu „Fit4fun“. → 4 Zeichen gelöscht, 1 Zeichen geändert. Levenshtein-Distanz = 3 x 5 = 15;Durchschnittliche Levenshtein-Distanz vor Beginn des Workflows Average Levenshtein distance before the beginning of the workflow = 3,75	Fit4fun, klein, smart und sofort einsatzbereit. Fit4fun passt in jede Tasche, trainiert überall. Mehr Bewegung im Alltag, ganz ohne Aufwand. Fit4fun ist dein schneller Boost für Kraft und Energie.
innerhalb eines Workflow-Schritts  within one workflow step Anchor in_workflow-step in_workflow-step Zeigt die durchschnittliche Levenshtein-Distanz innerhalb eines Workflow-Schritts zwischen den letzten Änderungen im vorangehenden Workflow-Schritt und der Version vor der abschließenden Speicherung des aktuellen Workflow-Schritts, also der allerletzten Bearbeitung, bevor der Workflow-Schritt abgeschlossen wurde.	Shows the average Levenshtein distance within a workflow step, i.e. between the last changes in the previous workflow step and the version before the last saving of the current workflow step, meaning the very last processing before the workflow step was finalized.	The translator post-edits a passage. → 11 characters added, 1 character changed Levenshtein distance = 12 Average Levenshtein distance within the “Translate” workflow step Der/die Übersetzer/in post-editiert eine Stelle. → 11 Zeichen hinzugefügt, 1 Zeichen geändert Levenshtein-Distanz = 12 Durchschnittliche Levenshtein-Distanz innerhalb des Workflow-Schritts „Übersetzen“ = 3	Fit4fun, klein, smart und sofort einsatzbereit. Fit4fun passt in jede Tasche, damit trainieren Sie überall. Mehr Bewegung im Alltag, ganz ohne Aufwand. Fit4fun ist dein schneller Boost für Kraft und Energie.
Image Removed	Segmente fließen für die Filterung innerhalb eines Workflow-Schritts dann in die Statistik ein, wenn sie zum Ende des Workflow-Schritts bearbeitbar waren bzw. zum Zeitpunkt des KPI-Aufrufs in aktuell bearbeitbaren Aufgaben bearbeitbar sind.
Image Removed	Werden Segmente, die editierbar (also nicht gesperrt) sind, innerhalb eines Workflow-Schritts nicht bearbeitet, fließen diese bei der Berechnung der Levenshtein-Distanz mit einer Levenshtein-Distanz von 0 in die Berechnung mit ein.
Image Removed	Wird ein Segment während eines bearbeitbaren Workflow-Schritts (oder im Status „Kein Workflow“ oder „Workflow abgeschlossen“) ent- oder gesperrt, dann werden entsperrte Segmente für diesen Workflow-Schritt (oder für den Status „Kein Workflow“ oder „Workflow abgeschlossen“) zu diesem Zeitpunkt neu in die Statistik geschrieben bzw. beim Sperren aus der Berechnung herausgenommen
Image Removed	Wenn kein Filter gesetzt ist, der die Ergebnisse auf einen einzigen bestimmten Workflow-Schritt einschränkt, dann zeigt der Wert „innerhalb eines Workflow-Schritts“ die durchschnittliche Distanz von vor dem Workflow-Schritt bis zur letzten Bearbeitung innerhalb des Workflow-Schritts an, aber gemittelt über alle Workflow-Schritte hinweg, die in der aktuellen Filterung enthalten sind. Es wird dann noch nicht für einen einzelnen Workflow-Schritt gemessen: Wenn also ein Filter so gesetzt ist, dass sowohl Workflow-Schritte vom Typ „Übersetzung“ und vom Typ „Lektorat“ berücksichtigt werden und für Segment 1 wurden in der Übersetzung 20 Zeichen verändert (Levenshtein-Distanz 20) und im Lektorat wurden für das Segment nochmal 10 Zeichen verändert, dann beträgt die Levenshtein-Distanz innerhalb eines Workflow-Schritts für Segment 1 den Wert 15 (insgesamt 30 Änderungen, geteilt durch zwei Jobs). Und in der Auswertung wird dann der so ermittelte Wert wiederum als Durchschnittswert für alle Segmente gebildet, die am Ende des Workflow-Schritts bzw. für den aktuellen Workflow-Schritt zum Zeitpunkt des KPI-Aufrufs bearbeitbar waren und der aktuellen Filterung entsprechen.
schneller Boost für Kraft und Energie.
Image Added Segments are included in the statistics for the filtering within one workflow step if they were editable at the end of the workflow step or are editable at the time of the KPI call. Image Added If editable (i.e. not locked) segments are not edited within a workflow step, they are included with a value of 0 in the calculation of the Levenshtein distance. Image Added If a segment is (un-)locked within an editable workflow step (or in the status “No workflow” or “Workflow finished”), they will be freshly entered into the statistics at this time or removed from the calculation when locking. Image Added If no filter is set that limits the results to a single specific workflow step, the value “within one workflow step” shows the average distance from before the workflow step to the last processing within the workflow step, but averaged over all workflow steps that are included in the current filtering. Measurement is not yet performed at the individual workflow-step level: So if a filter is set so that both workflow steps of type “Translate” and “Review” are taken into account and 20 characters were changed in the translation for segment 1 (Levenshtein distance 20) and another 10 characters were changed for the same segment during review, then the Levenshtein distance within one workflow step for segment 1 is 15 (a total of 30 changes, divided by two jobs). And in the statistics, the value determined in this way is then calculated as an average value for all segments that were editable at the end of the workflow step or for the current workflow step at the time of the KPI call and that correspond to the current filtering.
seit Import/Vorübersetzung  since import/pre-translation Anchor since_import_pre-translation since_import_pre-translation	Zeigt die durchschnittliche Levenshtein-Distanz seit Import/Vorübersetzung bis zur neuesten vorhandenen Bearbeitung.		Shows the average Levenshtein distance since import/pre-translation up to the latest edit.	The reviewer changes the formality of the textDer/die Lektor/in ändert die Formalität des Textes. → 7 Zeichen geändertcharacters changed, 1 Zeichen eingefügtcharacter inserted, 1 Zeichen gelöschtcharacter deleted Levenshtein -Distanz Lektorat distance “Review” = 9 Levenshtein -Distanz Übersetzung distance “Translate” = 12 Levenshtein -Distanz Projektmanager/in (vor Beginn des Workflowsdistance project manager (before the beginning of the workflow): 15 Total seit Import/Vorübersetzungsince import/pre-translation: 29 Änderungenchanges Durchschnittliche Levenshtein-Distanz seit Import/Vorübersetzung Average Levenshtein distance since import/pre-translation =7,25	Fit4fun, klein, smart und sofort einsatzbereit. Fit4fun passt in jede Tasche, damit trainierst du überall. Mehr Bewegung im Alltag, ganz ohne Aufwand. Fit4fun ist Ihr schneller Boost für Kraft und Energie.
Image Modified Hier werden keine Werte angezeigt, wenn im erweiterten Filter job-/workflowschrittbezogen gefiltert wird. Da durch diese Filter Teile der Gesamtbearbeitung eingeschränkt/ausgenommen werden, würde ein Gesamtwert seit Import/Vorübersetzung keinen Sinn ergebenNo values are displayed here if a job/workflow step-related filter is active in the advanced filters. As these filters restrict/exclude parts of the overall processing, a total value since import/pre-translation would not make any sense. Anchor job-related_filter job-related_filter Job-/workflowschrittbezogene Filter sind folgende: „Zugewiesene/r Benutzer/in“ „Workflow-Schritt-Typ“ „Workflow-Schritt“ „Status des Jobs“ Image Removed Segmente fließen dann in die Statistik seit Import/Vorübersetzung ein, wenn sie zum Zeitpunkt des KPI-Aufrufs durch PMs bearbeitbar sind. The following are job/workflow step-related filters: “Assigned user(s)” “Type of workflow step” “Workflow step” “Job assignment status” Image Added Segments are included in the statistics since import/pre-translation if they can be processed by PMs at the time of the KPI call. Image Added Attention: The distance from the start of the workflow is not identical to the sum of the distances of the individual workflow steps, as it is possible, for example, that a user in the “Review” step undoes changes that were made in the “Translate” step. Example:  State after import Image Removed Achtung: Die Distanz von Beginn des Workflows ist nicht identisch mit der Summe der Distanzen der einzelnen Workflow-Schritte, da es sein kann, dass z.B. ein/e Benutzer/in im Schritt „Lektorat“ Änderungen, die im Schritt „Übersetzung“ vorgenommen wurden, wieder rückgängig macht. Beispiel:  Stand nach Import: Heut’ ist so ein schöner Tag. Stand nach Übersetzung State after “Translate”: Heute ist solch ein schöner Tag. → Levenshtein -Distanz distance = 4 Stand nach Lektorat State after “Review”: Heut ist so ein schöner Tag. → Levenshtein -Distanz zur Übersetzungdistance in relation to the translation: 4; Levenshtein -Distanz zum distance in relation to the Import = 1 (und nicht not 5 ).
nach Ende des Workflows after the end of the workflow Anchor post_workflow post_workflow	Zeigt die durchschnittliche Levenshtein-Distanz der Änderungen, die ein/e Projektmanager/in nach Abschluss des Workflows („Aktueller Workflow-Schritt“ steht auf „Workflow abgeschlossen“) noch angebracht hat. Analog zu „innerhalb eines Workflow-Schritts“ wird hier der Stand nach der letzten Bearbeitung eines Segments „nach Ende des Workflows“ verglichen mit dem jüngsten Stand des allerletzten Workflow-Schritts.		Shows the average Levenshtein distance of the changes that a project manager has applied after the workflow has been finished (“Current workflow step” is set to “Workflow finished”). Similar to “within one workflow step”, the status after the last processing of a segment “after the end of the workflow” is compared here with the most recent status of the very last workflow step.	At the client’s request, the project manager adds “Go” to the product name after the workflow has been completed, i.e. after the reviewer has delivered. → 6 characters added Levenshtein distance = 6 Average Levenshtein distance after the end of the  workflow Der/die Projektmanager/in ergänzt, auf Wunsch des/der Kund/in, nach Abschluss des Workflows; also nachdem der/die Lektor/in geliefert hat, den Produktnamen um „Go“. → 6 Zeichen hinzugefügt Levenshtein-Distanz = 6 Durchschnittliche Levenshtein-Distanz nach Ende des Workflows = 1,5	Fit4funGo: Klein, smart und sofort einsatzbereit. Fit4funGo passt in jede Tasche, damit trainierst du überall. Mehr Bewegung im Alltag, ganz ohne Aufwand. Fit4funGo ist Ihr schneller Boost für Kraft und Energie.

Statistiken je Benutzer/in

Die Zuordnung der Levenshtein-Distanz zu den Benutzer/innen funktioniert so, dass für alle Benutzer/innen die Workflow-Rolle ihres jeweiligen Jobs genommen und für diesen Workflow-Schritt je Benutzer/in die Levenshtein-Distanz eingetragen wird. Der/die für die Änderungen in einem Segment Verantwortliche ergibt sich daraus, wer das Segment innerhalb des Workflow-Schritts als letzter gespeichert hat.

Benutzerfilter

Wird für die Auswertung der Levenshtein-Distanz im erweiterten Filter der Aufgabenübersicht der Benutzerfilter gesetzt, gilt die Berechnung für jene Aufgabensegmente, denen der/die Benutzer/in zugewiesen ist und in denen er/sie innerhalb eines Workflow-Schritts als letzte/r das Segment gespeichert hat. Dabei wird die Levenshtein-Distanz immer im Vergleich zum Zustand beim Start des Workflow-Schritts berechnet, unabhängig davon, welche der Änderungen der/die Benutzer/in selbst angebracht hat. Der Grund dafür, dass alle Änderungen innerhalb eines Workflow-Schritts dem/der zuletzt aktive/n Benutzer/in angerechnet werden, ist, dass diejenige Person, der/die ein Segment innerhalb eines Workflow-Schritts speichert, damit die Verantwortung für den finalen Segmentzustand übernimmt.

Messung bei Wiederholungen

Die Levenshtein-Distanz fließt für jede Wiederholung so ein, wie sie beim Mastersegment berechnet wurde.

Umgang mit Wiederholungen, die via Wiederholungseditor bearbeitet werden

Je nach Einstellungen im Wiederholungseditor können Wiederholungen innerhalb einer Aufgabe automatisch oder halbautomatisch mit Entscheidung durch die Benutzer/innen übernommen werden. Die Levenshtein-Distanz wird für die unterschiedlichen Einstellungsmöglichkeiten wie folgt gemessen:

• Bearbeitung des Mastersegments, also desjenigen Segments, dessen Inhalt nach Bestätigung in die zu 100% wiederholenden Segmente übernommen wird: normale Messung der Levenshtein-Distanz.
• Übernahme eines sich zu 100% wiederholenden Segmentinhalts mit Entscheidung durch den/die Benutzer/in (Einstellung „Bei jeder Wiederholung einzeln entscheiden“): Levenshtein-Distanz des Mastersegments wird auf die auto-propagierten Segmente übertragen.
• Automatische Übernahme der sich zu 100% wiederholenden Segmente, ohne Entscheidung durch den/die Benutzer/in (Einstellung „Immer automatisch setzen“): Levenshtein-Distanz des Mastersegments wird auf die auto-propagierten Segmente übertragen.
• Keine Auto-Propagierung bei Einstellung „Nie automatisch setzen“: Normale Messung der Levenshtein-Distanz bei manueller Bearbeitung der sich wiederholenden Segmente.

Durchschnittliche Nachbearbeitungszeit

In translate5 wird für jedes Segment die Bearbeitungszeit gemessen und als Durchschnittswert über alle gefilterten Segmente auf Aufgabenebene zur Abfrage zur Verfügung gestellt. Das heißt, Sie können jederzeit die durchschnittliche Nachbearbeitungszeit einer einzigen oder auch aller Aufgaben, die der aktuellen Filterung entsprechen, abfragen. Oder auch über eine Untermenge der Segmente einer oder mehrerer Aufgaben, wenn die Aufgabenliste nach TQE-Wert, Match-Rate oder nach der/den für die Vorübersetzung verwendeten Sprachressource(n) oder -typen gefiltert wird. Und das für unterschiedliche Zeitpunkte und Zeitspannen innerhalb des Projekts.

Berechnung und Gewichtung

Die durchschnittliche Nachbearbeitungszeit ist diejenige Zeit, während der ein/e oder mehrere Benutzer/innen ein Segment in translate5 bearbeitet/n, geteilt durch alle bearbeitbaren Segmente. Die Bearbeitungen können von Benutzer/innen innerhalb des Workflow-Schritts durchgeführt werden, aber auch von den Projektmanager/innen, die zwischendurch Änderungen an den Segmenten vornehmen.

Die Zeitmessung startet beim Öffnen eines Segments zur Bearbeitung und endet, wenn das Segment wieder gespeichert wird. Wird das Segment über ESC oder Image Removed verlassen, also ohne Änderungen geschlossen, wird keine Zeitmessung vermerkt.

Statistics per user

The assignment of the Levenshtein distance to users works in such a way that the workflow role of their respective job is taken for all users and the Levenshtein distance is entered for each user for this workflow step. The person responsible for the changes in a segment is determined by who was the last user to save the segment within the workflow step.

User filters

If a user filter is set for the evaluation of the Levenshtein distance in the advanced filter of the task overview, the calculation applies to those task segments to which the user is assigned and where they were the last person to save the segment. The Levenshtein distance is always calculated in comparison to the situation at the beginning of the workflow step, regardless of which changes the user has applied. The reason why all changes within a workflow step are credited to the last active user is that the person who saves a segment within a workflow step takes responsibility for the final segment status.

Treatment of repetitions

The Levenshtein distance is calculated for each repeated segment as it was calculated for the master segment.

Treatment of repetitions edited via the repetition editor

Depending on the settings used in the repetition editor, repetitions within a task can be taken over automatically or semi-automatically with a decision by the user. The Levenshtein distance is calculated as follows for the different setting options:

• Editing of the master segment, i.e. the segment whose content is transferred to the 100% repeating segments after confirmation: normal calculation of the Levenshtein distance.
• Adoption of 100% repetitive segment content with decision by the user (“Decide individually for each repetition” setting): Levenshtein distance of the master segment is transferred to the auto-propagated segments.
• Automatic adoption of the 100% repeating segments, without a decision by the user (“Always replace automatically” setting): Levenshtein distance of the master segment is transferred to the auto-propagated segments.
• No auto propagation with setting “Never replace automatically”: Normal calculation of the Levenshtein distance after manual editing of each repeating segment.

Average post-editing time

In translate5, the processing time for each segment is measured and made available for querying at task level as an average value across all filtered segments. This means that you can query the average post-editing time of a single task or all tasks that match the current filtering at any time. Or also of a subset of the segments of one or more tasks if the task list is filtered by TQE value, match rate or by language resource(s) or types used for the pre-translation. And all of this for different points in time and time spans within the project.

Calculation and weighting

The average post-editing time is the time during which one or more user(s) edit a segment in translate5, divided by all editable segments. Editing can be carried out by users within the workflow step, but also by project managers who make changes to the segments in between.

The time measurement starts when a segment is opened for editing and ends when the segment is saved again. If a segment is left via ESC or Image Added, i.e. closed without any changes, no post-editing time is recorded.

translate5 measures the post-editing time:

• before the beginning of the workflow,
• within one workflow step,
• since import/pre-translation and
• after the end of the workflow.

Dauerhaft gesperrte Segmente fließen nie in die Statistik mit ein, während gesperrte Segmente nach/vor Sperrung einfließen. Auch Segmente ohne Übersetzung/Bearbeitung fließen in die Statistik mit ein.

Bleibt ein Segment offen, ohne dass daran gearbeitet, es also weder gelesen noch editiert wird (z.B. weil sich die betreffende Person einen Kaffee kochen gegangen ist), wird die Zeit dennoch weiter gemessen. translate5 geht dann davon aus, dass es sich auch um Recherchezeit handeln könnte und notiert sie deshalb mit.

Wenn eine Aufgabe nur durchgelesen und keine Änderungen angebracht wird, also auch keine Segmente zur Bearbeitung geöffnet werden, wird keine Nachbearbeitungszeit erfasst, also bleibt jene Statistik für die entsprechenden Benutzer/innen auf 0.

translate5 misst die Nachbearbeitungszeit:

• vor Beginn des Workflows,
• innerhalb eines Workflow-Schritts,
• seit Import/Vorübersetzung und
• nach Ende des Workflows.

vor Beginn des Workflowsinnerhalb eines Workflow-Schritts

Zeitpunkt/Zeitspanne	Erläuterung
Anchor
pre_workflow_pe-time	pre_workflow_pe-time	Zeigt die Zeit, die für Änderungen vor Beginn des Workflows aufgewendet wurden, z.B. wenn die Projektmanager/innen in der Zeitspanne zwischen dem Aufgabenimport und der Workflowzuweisung an die Benutzer/innen Änderungen an den Segmenten vornehmen.
Anchor
in_workflow-step_pe-time	in_workflow-step_pe-time	Zeigt die durchschnittliche Nachbearbeitungszeit innerhalb eines Workflow-Schritts, also der Zeit während der das Segment bearbeitet wurde, solange der Status des jeweiligen Workflow-Schritts auf „offen“ steht.	seit Import/Vorübersetzung Anchor since_import_pre-translation_pe-time since_import_pre-translation_pe-time	Zeigt die durchschnittliche Nachbearbeitungszeit vom Aufgabenimport beginnend, bis zum aktuellen Zustand (das enthält bei abgeschlossenen Workflows auch Änderungen nach dem Ende des WorkflowsShows the average post-editing time starting from task import up to the current status (for finished workflows, this also includes changes after the end of the workflow). Image Modified Segmente fließen für die Filterung von Beginn des Workflows dann in die Statistik ein, wenn sie zum Zeitpunkt des KPI-Aufrufs bearbeitbar sind. Segments are included in the statistics for filtering from the start of the workflow if they are editable at the time of the KPI call.
after the end of the workflownach Ende des Workflows Anchor post_workflow_pe-time post_workflow_pe-time	Zeigt die durchschnittliche Nachbearbeitungszeit für Änderungen, die die Projektmanager/innen nach Abschluss des Workflows (Workflow-Status steht auf „Workflow abgeschlossen“) noch durchgeführt haben.

Umgang mit Wiederholungen, die via Wiederholungseditor bearbeitet werden

Je nach Einstellungen im Wiederholungseditor können Wiederholungen innerhalb einer Aufgabe automatisch oder halbautomatisch mit Entscheidung durch den/die Benutzer/in übernommen werden. Die Nachbearbeitungszeit wird für die unterschiedlichen Einstellungsmöglichkeiten wie folgt gemessen:

• Bearbeitung des Mastersegments, also desjenigen Segments, dessen Inhalt nach Bestätigung in die zu 100% wiederholenden Segmente übernommen wird: Normale Zeitmessung, solange das Segment zur Bearbeitung geöffnet ist.
• Übernahme eines sich zu 100% wiederholenden Segmentinhalts mit Entscheidung durch den/die Benutzer/in (Einstellung „Bei jeder Wiederholung einzeln entscheiden“): Die im Wiederholungseditor verbrachte Zeit geteilt durch die Anzahl der sich wiederholenden Segmente.
• Automatische Übernahme der sich zu 100% wiederholenden Segmente, ohne Entscheidung durch den/die Benutzer/in (Einstellung „Immer automatisch setzen“): Nachbearbeitungszeit für diese Segmente = 0.
• Keine Auto-Propagierung bei Einstellung „Nie automatisch setzen“: Normale Messung der Nachbearbeitungszeit bei manueller Bearbeitung der sich wiederholenden Segmente.

Treatment of repetitions edited via the repetition editor

Depending on the settings used in the repetition editor, repetitions within a task can be accepted automatically or semi-automatically with a decision by the user. The post-editing time is calculated as follows for the different setting options:

• Editing the master segment, i.e. the segment whose content is transferred to the 100% repeating segments after confirmation: Normal time measurement as long as the segment is open for processing.
• Adoption of 100% repetitive segment content with decision by the user (“Decide individually for each repetition” setting): The time spent in the repetition editor divided by the number of repeated segments.
• Automatic adoption of the 100% repeating segments, without a decision by the user (“Always replace automatically” setting): Post-editing time for these segments = 0.
• No auto propagation with setting “Never replace automatically”: Normal measurement of the post-editing time for manual editing of each repeating segment.

Available filters

Anchor
usable_filters usable_filters

Die The Levenshtein -Distanz und Nachbearbeitungszeit können für diverse Filterszenarien abgefragt werden. Dabei kann mit den Spaltenfiltern (einer oder mehrere miteinander kombiniert), aber auch mit dem erweiterten Filter (ebenfalls zusätzlich mit Spaltenfiltern kombinierbar) eine umfangreiche Anzahl an Szenarien dargestellt werden. Je nachdem, für welchen Zeitpunkt oder für welche Zeitspanne eine Auswertung angezeigt werden soll, sind gewisse Filtermöglichkeiten nicht zulässig, respektive liefern keine Resultate, da sie konzeptionell keinen Sinn ergeben (z.B. Filterung auf einen Workflow-Schritt-Typ für eine Messung seit Import/Vorübersetzung).

Die nachfolgende Matrix zeigt, welche Filteroptionen des erweiterten Filters und der Spaltenfilter je Auswertungstyp verwendet werden können:

Erweiterter Filter

Image Removed

Spaltenfilter

Image Removed

Bei der Filterung nach dem/der Projektmanager/in der Aufgabe beziehen sich die Werte auf alle Aufgaben, für die der/die gefilterte Benutzer/in als PM zuständig ist. Also nicht diejenigen, in denen der/die gefilterte PM einen Job zugewiesen hat oder Segmente editiert hat.

Analog verhält es sich bei den Spalten „Aktueller Workflow-Schritt“ und „Status“ (also Status der Aufgabe).

Wenn in der Aufgabenliste kein Benutzerfilter gesetzt ist, wird die Nachbearbeitungszeit, respektive die Levenshtein-Distanz eines Segments berechnet, indem alle Bearbeitungszeiten aller Benutzer/innen innerhalb eines Workflow-Schritts einschließlich der PM-Bearbeitungen addiert werden.

Wurde für den/die Workflow-Schritt(e) eine Filterung festgelegt, werden nur die Nachbearbeitungszeiten, respektive Levenshtein-Distanzen innerhalb des/der gefilterten Workflow-Schritt(e)s berücksichtigt. Sie werden aber trotzdem für alle Workflow-Schritte addiert für die Berechnung „seit Import/Vorübersetzung“. Und für die Berechnung „innerhalb eines Workflow-Schritts“ werden die Zeiten innerhalb eines Workflow-Schritts addiert, der Durchschnitt für alle Segmente innerhalb des Workflow-Schritts berechnet und dann über alle Workflow-Schritte in der Filterung hinweg wiederum der Durchschnitt pro Workflow-Schritt berechnet.

Ein Filter auf der Spalte „Aktueller Workflow-Schritt“ entspricht nicht der Filteroption „Workflow-Schritt“ im erweiterten Filter, sondern zeigt lediglich diejenigen Aufgaben, in denen dieser Workflow-Schritt aktiv ist. Dahingegen holt die Filteroption „Workflow-Schritte“ im erweiterten Filter alle im Dropdown ausgewählten Workflow-Schritte, die der Auswahl (und einer allfälligen zusätzlichen Filterung) entsprechen.

Ein Beispiel zur Veranschaulichung:

Es gibt 5 Aufgaben, allesamt mit dem Standard-Workflow Übersetzung → Lektorat.

Zwei der Aufgaben sind bereits abgeschlossen; in zwei der anderen Aufgaben ist aktuell der Workflow-Schritt „Übersetzung“ offen, in der fünften Aufgabe ist der Workflow-Schritt „Lektorat“ offen.

Wird jetzt im Spaltenfilter auf „Aktueller Workflow-Schritt“ = Übersetzung gefiltert, erscheinen nur die zwei Aufgaben, bei denen der Status des Workflow-Schritts „Übersetzung“ auf „offen“ steht in den Filterresultaten.

Wird hingegen im erweiterten Filter unter „Workflow-Schritt“ die Option „Übersetzung“ gewählt, erscheinen alle fünf Aufgaben in den Filterresultaten, da sie alle einen Schritt „Übersetzung“ beinhalten.

Ein Filter auf der Spalte „Status der Aufgabe“ entspricht nicht der Filteroption „Workflow-Status“ im erweiterten Filter, sondern zeigt lediglich diejenigen Aufgaben, die aktuell diesen Status zeigen.

Achtung: Auch gelöschte Jobzuweisungen werden in den Statistiken berücksichtigt. Wird beispielsweise einer Koordinatorengruppe eine Kundenzuweisung entfernt, werden alle Jobs der Gruppe für diesen Kunden entfernt. Dann fehlt den betreffenden Aufgaben der Übersetzungsschritt, der entsprechend auch über die Filterung nicht auswählbar ist. In der Statistik für die Filterung wird er allerdings miteinbezogen.

Verhalten bei inkonsistenten Workflows

Kommt es aufgrund von manuellen Statusanpassungen durch den/die PM zu einem inkonsistenten Workflow, bei dem beispielsweise ein Übersetzungsschritt nach dem Lektorat-Schritt wieder geöffnet wurde, werden Änderungen und Nachbearbeitungszeit dennoch immer demjenigen Workflow-Schritt zugerechnet, zu dem der Job gehört, der dem/der editierenden Benutzer/in zugewiesen ist.

So werden jegliche Änderungen, die ein/e Benutzer/in anbringt, respektive die Zeit, die der/die Benutzer/in dafür aufwendet, dem/der der Job „Übersetzung“ zugewiesen ist, immer dem Workflow-Schritt Übersetzung angerechnet, selbst wenn das Editieren erst im nachträglich wieder geöffneten Übersetzungsjob stattfindet.

Auch wenn ein/e PM ohne zugewiesenen Job während des laufenden Workflows Änderungen anbringt, werden diese Änderungen und die entsprechende Bearbeitungszeit dem aktuell für die Aufgabe registrierten Workflow-Schritt angerechnet.

distance and post-editing time can be queried for various filter scenarios. An extensive number of combinations can be displayed with the column filters (one or more combined with each other), but also with the advanced filters (can also be combined with column filters). Depending on the point in time or time period for which an evaluation is to be displayed, certain filter options are not permitted or do not deliver any results as they do not make sense conceptually (e.g. filtering on a workflow step type for a measurement since import/pre-translation).

The following matrix shows which filter options of the advanced filters and the column filters can be used for each evaluation type:

Advanced filters

Image Added

Column filter

Image Added

Behaviour with inconsistent workflows

If manual status adjustments by the PM result in an inconsistent workflow, for example if a translation step is reopened after the review step, changes and post-editing time are still always allocated to the workflow step to which the job assigned to the editing user belongs.

This means that any changes made by a user, or the time spent by the user to whom the “Translate” job is assigned, are always counted towards the translation workflow step, even if the editing only takes place later on in the workflow, after the translation job was reopened.

If a PM without an assigned job makes changes during the ongoing workflow, these changes and the corresponding processing time are added to the workflow step currently open in the task.

Use case examples

Measuring the post-editing time and the Levenshtein distance offers extensive possibilities for evaluating various key figures in the translation process and assessing both resource and performance quality. Here are a few examples; the list is of course by no means exhaustive:

Quality of the machine or LLM translation

Compare the quality of different MT/LLM engines by looking at the average processing time and Levenshtein distance of the tasks/segments that were pre-translated with the corresponding resources. Based on the knowledge gained, you can, for example, also sharpen your discount scale for procurement so that it is precisely tailored to the language resources used.

Quality of a language resource

Compare the average processing time of tasks that have been pre-translated with a specific language resource before and after you have worked on them in TM Maintenance or via a re-import for clean-up.

Suitability of a language resource for a specific client or specialist field

Find out which LLM resources are best suited for a particular client or specialist field by analysing the post-editing time and Levenshtein distance for similar texts translated with different resources.

Efficiency of linguists

Check to what extent your linguists edit the machine-translated segments, and how much time they spend on this work by setting a user filter in the advanced filter. In this way, only those values are displayed that relate to all segments that the filtered user saved as the last one in the respective workflow step. For example, a very low post-editing time could mean that a user is not carrying out their work conscientiously, while a very high post-editing time could mean that a user is making (too) many and possibly unnecessary changes, especially if the average Levenshtein distance is conspicuously high at the same time.

Measuring the actual processing time

Bill your services with pinpoint accuracy by charging for the exact processing time measured by translate5

Anwendungsmöglichkeiten

Die Messung der Nachbearbeitungszeit und der Levenshtein-Distanz birgt umfassende Möglichkeiten, verschiedene Kennzahlen im Übersetzungsprozess zu evaluieren und Ressourcen-, aber auch Leistungsqualitäten zu beurteilen. Nachfolgend einige Beispiele; die Liste ist natürlich bei weitem nicht abschließend:

Qualität der MT- oder LLM-Übersetzung

Vergleichen Sie die Qualität verschiedener MT-/LLM-Engines, indem Sie die durchschnittliche Bearbeitungszeit und Levenshtein-Distanz der Aufgaben/Segmente betrachten, die mit den entsprechenden Ressourcen vorübersetzt wurden. Ausgehend von den gewonnenen Erkenntnissen können Sie beispielsweise auch Ihre Rabattstaffelung für den Einkauf schärfen, sodass diese exakt auf die verwendeten Sprachressourcen abgestimmt sind.

Qualität einer Sprachressource

Vergleichen Sie die durchschnittliche Bearbeitungszeit von Aufgaben, die mit einer bestimmten Sprachressource vorübersetzt wurden, bevor und nachdem Sie sie in der TM Maintenance oder über einen Re-Import zur Bereinigung bearbeitet haben.

Eignung einer Sprachressource für einen bestimmten Kunden oder ein bestimmtes Fachgebiet

Finden Sie heraus, welche LLM-Ressourcen sich für einen bestimmten Kunden oder ein bestimmtes Fachgebiet am besten eignen, indem Sie für ähnliche Texte, die aber mit verschiedenen Ressourcen übersetzt wurden, die Nachbearbeitungszeit und Levenshtein-Distanz analysieren.

Effizienz der Linguist/innen

Prüfen Sie, wie unterschiedlich stark Ihre Linguist/innen die maschinell vorübersetzten Segmente bearbeiten und wie viel Zeit sie auf diese Arbeit verwenden, indem Sie im erweiterten Filter einen Benutzerfilter setzen. Auf diese Weise werden jeweils diejenigen Werte angezeigt, die sich auf alle Segmente beziehen, die der/die im Filter eingetragene Benutzer/in als letzte/r im jeweiligen Workflow-Schritt gespeichert hat. Eine zu geringe Nachbearbeitungszeit könnte beispielsweise bedeuten, dass ein/e Post-Editor/in seine/ihre Arbeit nicht gewissenhaft ausführt, während eine sehr hohe Bearbeitungszeit darauf hinweisen könnte, dass der/die Post-Editor/in (zu) viele und möglicherweise auch unnötige Änderungen vornimmt, insbesondere, wenn gleichzeitig auch die durchschnittliche Levenshtein-Distanz auffällig hoch ist.

Messen der effektiven Bearbeitungszeit

Verrechnen Sie Ihre Dienstleistungen mit akkurater Exaktheit, indem Sie genau diejenige Bearbeitungszeit verrechnen, die von translate5 gemessen wurde.