Versionierung
Aktuelle Version von translate5 7.35.5 Changelogs nachgeführt bis Version 7.25.0
translate5 misst standardmäßig in jedem Workflow die Levenshtein-Distanz wie auch die Post-editing-Zeit. Beide Werte können jederzeit und bei Bedarf mit Filterung in der Aufgabenübersicht aufgerufen werden.
Levenshtein-Distanz
Die Levenshtein-Distanz (auch Editierdistanz) zwischen zwei Zeichenketten ist die minimale Anzahl einfügender, löschender und ersetzender Operationen, um die erste Zeichenkette in die zweite umzuwandeln. Benannt ist die Distanz nach dem russischen Wissenschaftler Wladimir Lewenstein (engl. Levenshtein), der sie 1965 einführte (vgl. Levenshtein-Distanz auf Wikipedia).
Die Formel für die Berechnung der Levenshtein-Distanz ist – vereinfacht – wie folgt:
Durchschnittliche Levenshtein-Distanz
Die Formel für die Berechnung der durchschnittlichen Levenshtein-Distanz in translate5 ist wie folgt:
Durchschnittliche Nachbearbeitungszeit
Die durchschnittliche Nachbearbeitungszeit ist diejenige Zeit, während der ein oder mehrere Benutzer ein Segment in translate5 bearbeitet. Das können Benutzer innerhalb eines Workflow-Schritts sein, aber auch ein Projektmanager, der zwischendurch Änderungen an einem Segment vornimmt.
Die Formel für die Berechnung der durchschnittlichen Nachbearbeitungszeit in translate5 ist wie folgt:
| Die Zeitmessung startet beim Öffnen eines Segments zur Bearbeitung und endet, wenn das Segment wieder gespeichert/geschlossen wird. |
|---|
Gemessene Werte
In translate5 werden die Levenshtein-Distanz je Segment berechnet sowie die Nachbearbeitungszeit gemessen und als durchschnittliche Änderungsschritte, respektive als durchschnittliche Zeitangabe auf Aufgabenebene zur Abfrage zur Verfügung gestellt. Das heißt, Sie können jederzeit die durchschnittliche Nachbearbeitungszeit und Levenshtein-Distanz einer einzigen oder auch aller Aufgaben im Durchschnitt, die der aktuellen Filterung entsprechen. Oder auch über eine Untermenge der Segmente einer oder mehrerer Aufgaben, wenn die Aufgabenliste nach TQE-Wert, Match-Rate oder nach der/den für die Vorübersetzung verwendeten Sprachressource(n) oder -typen gefiltert wird, abrufen, für unterschiedliche Zeitpunkte und Zeitspannen innerhalb des Projekts:
Abrufbare Auswertungen mit Erläuterung
Levenshtein-Distanz
Zur Veranschaulichung der Auswertungen, respektive wie die Levenshtein-Distanz gemessen wird, werden nachfolgend Beispiele verwendet. Der zugrundeliegende aus vier Segmenten bestehende Text ist der folgende:
Fit for fun: Klein, smart und sofort einsatzbereit.
Fit for fun passt in jede Tasche, trainiert überall.
Mehr Bewegung im Alltag, ganz ohne Aufwand.
Fit for fun ist dein schneller Boost für Kraft und Energie.
| Zeitpunkt/Zeitspanne | Erläuterung | Beispiel (ohne Filter gesetzt) | Beispieltext nach Bearbeitung | ||
|---|---|---|---|---|---|
vor Beginn des Workflows: | Zeigt die durchschnittliche Levenshtein-Distanz, die aufgrund von Änderungen zustande kam, die vor Beginn des Workflows angebracht wurden, z.B. wenn der Projektmanager vor der Zuweisung eines Benutzers Änderungen an den Segmenten vornimmt. | Der Projektmanager ändert, bevor er jegliche Benutzerzuweisungen vornimmt, nach der automatischen Vorübersetzung an drei Stellen den Produktnamen „Fit for fun“ auf „Fit4fun“. → 4 Zeichen geändert, 1 Zeichen gelöscht. Levenshtein-Distanz = 3 x 5 = 15; Durchschnittliche Levenshtein-Distanz vor Beginn des Workflows = 3.75 | Fit4fun: Klein, smart und sofort einsatzbereit. Fit4fun passt in jede Tasche, trainiert überall. Mehr Bewegung im Alltag, ganz ohne Aufwand. Fit4fun ist dein schneller Boost für Kraft und Energie. | ||
| innerhalb eines Workflow-Schritts: | Zeigt die durchschnittliche Levenshtein-Distanz innerhalb eines Workflow-Schrittes zwischen der Version vor der Bearbeitung innerhalb eines Workflow-Schrittes und der letzten Bearbeitung innerhalb des Workflow-Schrittes.
| Der Übersetzer post-editiert eine Stelle. → 11 Zeichen hinzugefügt, 1 Zeichen geändert Levenshtein-Distanz = 12 Durchschnittliche Levenshtein-Distanz innerhalb des Workflow-Schritts „Übersetzen“ = 3 | Fit4fun: Klein, smart und sofort einsatzbereit. Fit4fun passt in jede Tasche, damit trainieren Sie überall. Mehr Bewegung im Alltag, ganz ohne Aufwand. Fit4fun ist dein schneller Boost für Kraft und Energie. | ||
| ab Beginn des Workflows: | Zeigt die durchschnittliche Levenshtein-Distanz vom Beginn des Workflows zwischen der Version des Segments zu Beginn des Workflows und seiner letzten vorhandenen Bearbeitung. | Der Revisor ändert die Formalität des Textes. → 4 Zeichen geändert, 1 Zeichen gelöscht, 3 Zeichen hinzugefügt Levenshtein-Distanz Revisor = 8 Levenshtein-Distanz Übersetzer = 13 Total ab Beginn des Workflows: 19 Änderungen Durchschnittliche Levenshtein-Distanz ab Beginn des Workflows = 4.75 | Fit4fun: Klein, smart und sofort einsatzbereit. Fit4fun passt in jede Tasche, damit trainierst du überall. Mehr Bewegung im Alltag, ganz ohne Aufwand. Fit4fun ist Ihr schneller Boost für Kraft und Energie. | ||
| nach Ende des Workflows: | Zeigt die durchschnittliche Levenshtein-Distanz der Änderungen, die ein Projektmanager nach Abschluss des Workflows (Workflow-Status steht auf „finished“) noch angebracht hat. | Der Projektmanager ergänzt, auf Wunsch des Kunden, nach Abschluss des Workflows; also nachdem der Revisor geliefert hat, den Produktnamen um Go. → 6 Zeichen hinzugefügt Levenshtein-Distanz = 6 Levenshtein-Distanz nach Ende des Workflows = 6 | Fit4funGo: Klein, smart und sofort einsatzbereit. Fit4funGo passt in jede Tasche, damit trainierst du überall. Mehr Bewegung im Alltag, ganz ohne Aufwand. Fit4funGo ist Ihr schneller Boost für Kraft und Energie.
|
 | Werden Segmente, die editierbar (also nicht gesperrt) sind, innerhalb eines Workflow-Schrittes nicht editiert, fließen diese bei der Berechnung der Levenshtein-Distanz mit einer Levenshtein-Distanz von 0 in die Berechnung mit ein. |
|---|---|
| Wird für die Auswertung der Levenshtein-Distanz ein Benutzerfilter gesetzt, gilt die Berechnung für jene Aufgaben, in welche der betreffende Benutzer involviert war. Dabei werden auch Bearbeitungen anderer Benutzer (auch Projektmanager) mitgerechnet, wenn diese innerhalb eines gleichen Workflow-Schritts ebenfalls Segmente editiert haben. |
| Wenn die Segmente vorübersetzt wurden, gilt die Vorübersetzung als erste Version, und der Übersetzungsschritt wird bei der Levenshtein-Berechnung berücksichtigt. Wurden die Segmente hingegen manuell übersetzt (keine Vorübersetzung), wird der Übersetzungsschritt bei der Levenshtein-Berechnung nicht berücksichtigt, und die manuelle Übersetzung gilt als erste Version. |
| Inline-Tags werden bei der Berechnung der Levenshtein-Distanz wie Zeichen behandelt:
MQM-Tags fließen nicht in die Berechnung mit ein. |
| Durchschnittliche Levenshtein-Distanz = 0 Bringt ein Benutzer Änderungen an, die genau die Änderungen eines vorangehenden Benutzers rückgängig macht, hebt das die Levenshtein-Distanz für das/die betroffenen Segmente auf, respektive sie steht auf Null. Beispiel: Fit4funGo: Klein, smart und sofort einsatzbereit. Version nach Übersetzung: Fit4funGo: Klein, smart und stets sofort einsatzbereit. → Levenshtein-Distanz innerhalb Workflow-Schritt, Filter auf Übersetzung = 6 (6 Hinzufügungen) Version nach Revision: Fit4funGo: Klein, smart und sofort einsatzbereit. → Levenshtein-Distanz innerhalb Worflow-Schritt, Filter auf Revision = 6 (6 Löschungen) Levenshtein-Distanz ab Beginn des Workflows: 0 (kein Filter oder Filter auf Übersetzung und Revision) |
Nachbearbeitungszeit
| Zeitpunkt/Zeitspanne | Erläuterung |
|---|---|
vor Beginn des Workflows: | Zeigt die Zeit, die für Änderungen vor Beginn des Workflows aufgewendet wurden, z.B. wenn der Projektmanager vor der Zuweisung eines Benutzers Änderungen an den Segmenten vornimmt. |
| innerhalb eines Workflow-Schritts: | Zeigt die durchschnittliche Nachbearbeitungszeit innerhalb eines Workflow-Schrittes zwischen der Version vor der Bearbeitung innerhalb eines Workflow-Schrittes und der letzten Bearbeitung innerhalb des Workflow-Schrittes. |
| ab Beginn des Workflows: | Zeigt die durchschnittliche Nachbearbeitungszeit vom Beginn des Workflows zwischen der Version des Segments zu Beginn des Workflows und seiner letzten vorhandenen Bearbeitung. |
| nach Ende des Workflows: | Zeigt die durchschnittliche Nachbearbeitungszeit für Änderungen, die ein Projektmanager nach Abschluss des Workflows (Workflow-Status steht auf „finished“) noch durchgeführt hat. |
| Wenn auch reine Lesezeit eines Segments gemessen werden soll, während der am Segmentinhalt keine Änderungen vorgenommen werden, müssen die Benutzer so instruiert werden, dass sie jedes Segment zur Bearbeitung öffnen und mit der Tastenkombination STRG + ENTER zum nächsten Segment springen und so auch dieses öffnen, wobei damit das aktuelle Segment inhaltlich unverändert mit neuem Status gespeichert wird. Auf diese Weise kann der Statuswechsel wie auch die Bearbeitungszeit des jeweiligen Segments gemessen werden. |
|---|---|
| Bleibt ein Segment offen, ohne dass daran gearbeitet, es also weder gelesen noch editiert wird (z.B. weil sich die betreffende Person einen Kaffee kochen gegangen ist), wird die Zeit dennoch weiter gemessen. translate5 geht dann davon aus, dass es sich auch um Recherchezeit handeln könnte und trackt sie deshalb mit. |
Basiseinheit
Als Basiseinheit gelten grundsätzlich die Segmente der Aufgaben. Sind Segmente zu einer bestimmten Zeit des Workflows gesperrt, zählen sie wie folgt (nicht) mit:
- Berechnung der Werte von Beginn des Workflows an: Es werden ausschließlich diejenigen Segmente berücksichtigt, die zum Zeitpunkt der Auswertung nicht gesperrt sind.
- Berechnung der Werte innerhalb eines Workflow-Schritts: Es werden diejenigen Segmente berücksichtigt, die während des betreffenden Workflow-Schritts bearbeitbar waren (und daher auch bearbeitet werden konnten).
| Wird ein Segment zunächst in einem Workflowschritt bearbeitet und während des Workflowschritts vom PM gesperrt, zählen die bis zur Sperrung erfassten Werte mit. Wenn es während des Workflowschritts nicht bearbeitet und irgendwann während des Workflowschritts gesperrt wurde, zählt es nicht mit. |
|---|
Auswertungen anzeigen
- Navigieren Sie in die Aufgabenliste.
- Setzen Sie den gewünschten Filter, damit Ihnen genau die auf diejenigen Projekte passende Auswertung angezeigt wird, die Sie interessiert.
Das kann ein Spaltenfilter sein, erweiterter Filter, oder aber auch eine Kombination von beidem; Sie können beliebig viele verschiedene Filter miteinander kombinieren, um genau die gewünschten Aufgaben herauszufiltern. - Klicken Sie auf den Button „Auswertungen“ anzeigen oberhalb der Aufgabenliste.
| Benötigen Sie nur die Auswertungen für eine einzige Aufgabe, so bietet sich eine Filterung über die Aufgaben-ID-Spalte an. Die Auswahl von Aufgaben via Checkbox-Spalte oder auch einfach die Selektion einer Aufgabenzeile hat keinen Einfluss auf die KPI-Auswertung. |
|---|---|
| Wenn in der Aufgabenübersicht kein Benutzerfilter gesetzt ist, wird die Nachbearbeitungszeit eines Segments berechnet, indem alle Bearbeitungszeiten aller Benutzer innerhalb eines Workflow-Schritts einschließlich der PM-Bearbeitungen addiert werden. Wurde für den/die Workflow-Schritt(e) eine Filterung festgelegt, werden nur die Nachbearbeitungszeiten innerhalb des/der gefilterten Workflow-Schritt(e)s berücksichtigt. Sie werden aber trotzdem für alle Workflow-Schritte addiert für die Berechnung 'ab Beginn des Workflows'. Und für die Berechnung 'innerhalb eines Workflowschritts' werden die Zeiten innerhalb eines Workflowschritts addiert, der Durchschnitt für alle Segmente innerhalb des Workflowschritts berechnet und dann über alle Workflowschritte in der Filterung hinweg wiederum der Durchschnitt pro Workflowschritt berechnet. |
| Wenn einer oder mehrere der Filter „Matchrate“, „Ressourcentyp“ oder „Sprachressourcen“ verwendet werden, werden nur diejenigen Segmente berücksichtigt, die dieser Filterung entsprechen. |
| Wenn auf die für die Vorübersetzung verwendete Sprachressource gefiltert wird, wird die als erste für die Vorübersetzung verwendete Sprachressource berücksichtigt – auch dann, wenn der Benutzer anschließend manuell etwas anderes aus dem Fuzzy-Match-Panel übernimmt. |
Auswertungen außerhalb translate5 weiterbearbeiten
Die Möglichkeit, Filter zu kombinieren reicht Ihnen nicht aus, um genau auf diejenigen Auswertungen zu kommen, die Sie benötigen? Dann können Sie die Auswertungen jederzeit auch exportieren und z.B. in Excel weiterbearbeiten. Klicken Sie dazu auf „Meta-Daten exportieren“ und Sie erhalten in Kürze eine herunterladbare Excel-Datei, die alle in der aktuellen Filterung enthaltenen Spalten und deren Werte beinhaltet:
Anwendungsmöglichkeiten
Die Messung der Nachbearbeitungszeit und der Levenshtein-Distanz birgt umfassende Möglichkeiten, verschiedene Kennzahlen im Übersetzungsprozess zu evaluieren und Ressourcen-, aber auch Leistungsqualitäten zu beurteilen. Nachfolgend einige Inputs; die Liste ist natürlich bei weitem nicht abschließend:
Qualität der MT- oder LLM-Übersetzung
Vergleichen Sie die Qualität verschiedener MT-/LLM-Engines, indem Sie die durchschnittliche Bearbeitungszeit und Levenshtein-Distanz der Aufgaben/Segmente betrachten, die mit den entsprechenden Ressourcen vorübersetzt wurden. Ausgehend von den gewonnenen Erkenntnissen können Sie beispielsweise auch Ihre Rabattstaffelung für den Einkauf schärfen, sodass diese exakt auf die verwendeten Sprachressourcen abgestimmt sind.
Qualität einer Sprachressource
Vergleichen Sie die durchschnittliche Bearbeitungszeit von Aufgaben, die mit einer bestimmten Sprachressource vorübersetzt wurden, bevor und nachdem Sie sie in der TM Maintenance oder über einen Re-Import zur Bereinigung bearbeitet haben.
Eignung einer Sprachressource für einen bestimmten Kunden oder ein bestimmtes Fachgebiet
Finden Sie heraus, welche LLM-Ressourcen sich für einen bestimmten Kunden oder ein bestimmtes Fachgebiet am besten eignet, indem Sie für ähnliche Texte, die aber mit verschiedenen Ressourcen übersetzt wurden, die Nachbearbeitungszeit und Levenshtein-Distanz analysieren.
Effizienz eines Linguisten
Prüfen Sie, wie unterschiedlich stark Ihre Linguisten die maschinell vorübersetzten Segmente bearbeiten und wie viel Zeit sie auf diese Arbeit verwenden. Eine tiefe Nachbearbeitungszeit könnte beispielsweise bedeuten, dass ein Post-Editor seine Arbeit nicht gewissenhaft ausführt, während eine sehr hohe Bearbeitungszeit darauf hinweisen könnte, dass der Post-Editor (zu) viele und möglicherweise auch unnötige Änderungen vornimmt.
Messen der effektiven Bearbeitungszeit
Verrechnen Sie Ihre Dienstleistungen mit einer akkuraten Exaktheit, indem Sie genau diejenige Bearbeitungszeit verrechnen, die von translate5 gemessen wurde.