translate5 misst standardmäßig in jedem Workflow die durchschnittliche Levenshtein-Distanz wie auch die aufgewendete Nachbearbeitungszeit. Beide Werte können jederzeit und bei Bedarf mit Filterung in der Aufgabenübersicht abgerufen werden.
Levenshtein-Distanz
Die Levenshtein-Distanz (auch Editierdistanz) zwischen zwei Zeichenketten ist die minimale Anzahl einfügender, löschender und ersetzender Operationen, um die erste Zeichenkette in die zweite umzuwandeln. Benannt ist die Distanz nach dem russischen Wissenschaftler Wladimir Lewenstein (engl. Levenshtein), der sie 1965 einführte (vgl. Levenshtein-Distanz auf Wikipedia). Die in translate5 implementierte Messung der Levenshtein-Distanz entspricht den auf dieser Website dargestellten Formeln; der dort verfügbare Rechner kann zu Vergleichs- und Überprüfungszwecken verwendet werden.
Die Formel für die Berechnung der Levenshtein-Distanz ist – vereinfacht – wie folgt:
Durchschnittliche Levenshtein-Distanz
Die Formel für die Berechnung der durchschnittlichen Levenshtein-Distanz in translate5 ist wie folgt:
Durchschnittliche Nachbearbeitungszeit
Die durchschnittliche Nachbearbeitungszeit ist diejenige Zeit, während der ein oder mehrere Benutzer ein Segment in translate5 bearbeitet, geteilt durch alle bearbeitbaren Segmente. Die Bearbeitungen können von Benutzern innerhalb des Workflowschritts durchgeführt werden, aber auch von einem Projektmanager, der zwischendurch Änderungen an den Segmenten vornimmt.
Die Formel für die Berechnung der durchschnittlichen Nachbearbeitungszeit in translate5 ist wie folgt:
| Die Zeitmessung startet beim Öffnen eines Segments zur Bearbeitung und endet, wenn das Segment wieder gespeichert wird. Wird das Segment über ESC oder |
|---|
verlassen, also ohne Änderungen geschlossen, wird keine Zeitmessung vermerkt.Gemessene Werte
In translate5 wird die Levenshtein-Distanz je Segment berechnet sowie die Nachbearbeitungszeit je Segment gemessen und als durchschnittliche Änderungsschritte, respektive als durchschnittliche Zeitangabe auf Aufgabenebene zur Abfrage zur Verfügung gestellt. Das heißt, Sie können jederzeit die durchschnittliche Nachbearbeitungszeit und Levenshtein-Distanz einer einzigen oder auch aller Aufgaben, die der aktuellen Filterung entsprechen, abfragen. Oder auch über eine Untermenge der Segmente einer oder mehrerer Aufgaben, wenn die Aufgabenliste nach TQE-Wert, Match-Rate oder nach der/den für die Vorübersetzung verwendeten Sprachressource(n) oder -typen gefiltert wird. Und das für unterschiedliche Zeitpunkte und Zeitspannen innerhalb des Projekts:
Abrufbare Auswertungen mit Erläuterung
Levenshtein-Distanz
Zur Veranschaulichung der Auswertungen, respektive, wie die Levenshtein-Distanz gemessen wird, wird nachfolgender Text bestehend aus vier Segmenten verwendet:
Fit for fun: Klein, smart und sofort einsatzbereit.
Fit for fun passt in jede Tasche, trainiert überall.
Mehr Bewegung im Alltag, ganz ohne Aufwand.
Fit for fun ist dein schneller Boost für Kraft und Energie.
| Zeitpunkt/Zeitspanne | Erläuterung | Beispiel (ohne Filter gesetzt) | Beispieltext nach Bearbeitung | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
vor Beginn des Workflows: | Zeigt die durchschnittliche Levenshtein-Distanz, die aufgrund von Änderungen zustande kam, die vor Beginn des Workflows angebracht wurden, z.B. wenn der Projektmanager vor der Zuweisung eines Benutzers Änderungen an den Segmenten vornimmt („Aktueller Workflow-Schritt“ steht auf „kein Workflow“) .
Hier wird also der Zustand „vor Beginn des Workflows“, sprich noch ausserhalb jeglicher Workflowschritte, untersucht. Konkret werden also die Segmentinhalte verglichen zwischen dem Zeitpunkt, bevor Änderungen angebracht wurden und dem Zeitpunkt, bevor der Workflow beginnt, also ein Benutzer die Segmente innerhalb eines Workflowschritts bearbeitet. | Der Projektmanager ändert, bevor er jegliche Benutzerzuweisungen vornimmt, nach der automatischen Vorübersetzung an drei Stellen den Produktnamen „Fit for fun“ auf „Fit4fun“. → 4 Zeichen gelöscht, 1 Zeichen geändert. Levenshtein-Distanz = 3 x 5 = 15; Durchschnittliche Levenshtein-Distanz vor Beginn des Workflows = 3,75 | Fit4fun: Klein, smart und sofort einsatzbereit. Fit4fun passt in jede Tasche, trainiert überall. Mehr Bewegung im Alltag, ganz ohne Aufwand. Fit4fun ist dein schneller Boost für Kraft und Energie. | ||||||||
| innerhalb eines Workflow-Schritts: | Zeigt die durchschnittliche Levenshtein-Distanz innerhalb eines Workflow-Schrittes zwischen der Version bevor ein Benutzer die erste Bearbeitung innerhalb eines Jobs vorgenommen hat und der Version vor der abschliessenden Speicherung des Jobs, also der allerletzten Bearbeitung, bevor der Job abgeschlossen wurde.
| Der Übersetzer post-editiert eine Stelle. → 11 Zeichen hinzugefügt, 1 Zeichen geändert Levenshtein-Distanz = 12 Durchschnittliche Levenshtein-Distanz innerhalb des Workflow-Schritts „Übersetzen“ = 3 | Fit4fun: Klein, smart und sofort einsatzbereit. Fit4fun passt in jede Tasche, damit trainieren Sie überall. Mehr Bewegung im Alltag, ganz ohne Aufwand. Fit4fun ist dein schneller Boost für Kraft und Energie. | ||||||||
| ab Beginn des Workflows: | Zeigt die durchschnittliche Levenshtein-Distanz vom Beginn des Workflows zwischen der Version des Segments zu Beginn des Workflows und seiner letzten vorhandenen Bearbeitung.
| Der Revisor ändert die Formalität des Textes. → 4 Zeichen geändert, 1 Zeichen gelöscht Levenshtein-Distanz Revisor = 5 Levenshtein-Distanz Übersetzer = 12 Total ab Beginn des Workflows: 10 Änderungen Durchschnittliche Levenshtein-Distanz ab Beginn des Workflows = 2,5 | Fit4fun: Klein, smart und sofort einsatzbereit. Fit4fun passt in jede Tasche, damit trainierst du überall. Mehr Bewegung im Alltag, ganz ohne Aufwand. Fit4fun ist Ihr schneller Boost für Kraft und Energie. | ||||||||
| nach Ende des Workflows: | Zeigt die durchschnittliche Levenshtein-Distanz der Änderungen, die ein Projektmanager nach Abschluss des Workflows („Aktueller Workflow-Schritt“ steht auf „Workflow abgeschlossen“) noch angebracht hat. Analog zu „innerhalb eines Workflow-Schritts“ wird für der Zustand nach der letzten Bearbeitung eines Segments mit dem Zustand bevor Änderungen „nach Ende des Workflows“ gemacht wurden verglichen. | Der Projektmanager ergänzt, auf Wunsch des Kunden, nach Abschluss des Workflows; also nachdem der Revisor geliefert hat, den Produktnamen um Go. → 6 Zeichen hinzugefügt Levenshtein-Distanz = 6 Durchschnittliche Levenshtein-Distanz nach Ende des Workflows = 1,5 | Fit4funGo: Klein, smart und sofort einsatzbereit. Fit4funGo passt in jede Tasche, damit trainierst du überall. Mehr Bewegung im Alltag, ganz ohne Aufwand. Fit4funGo ist Ihr schneller Boost für Kraft und Energie.
|
| Die Levenshtein-Distanz wird immer zu Beginn eines Workflowschritts für diesen Workflowschritt mit 0 in die Statistik einbezogen (damit zu jedem Zeitpunkt der Abfrage der zu diesem Zeitpunkt korrekte Durchschnitt ermittelt wird). |
|---|---|
 | Werden Segmente, die editierbar (also nicht gesperrt) sind, innerhalb eines Workflowschritts nicht editiert, fließen diese bei der Berechnung der Levenshtein-Distanz mit einer Levenshtein-Distanz von 0 in die Berechnung mit ein. |
| Blockierte Segmente fließen nie in die Statistik mit ein. |
| Die Zuordnung der Levenshtein-Distanz zu einem Benutzer funktioniert so, dass für alle Benutzer die Workflowrolle ihres jeweiligen Jobs genommen und für diesen Workflowschritt je Benutzer die Levenshtein-Distanz eingetragen wird. Der für die Änderungen in einem Segment verantwortliche Benutzer ergibt sich daraus, wer das Segment innerhalb des Workflowschritts als letzter gespeichert hat. |
| Auswirkungen Benutzerfilter: Wird für die Auswertung der Levenshtein-Distanz im erweiterten Filter der Aufgabenübersicht der Benutzerfilter gesetzt, gilt die Berechnung für jene Aufgabensegmente, denen der Benutzer zugewiesen ist und in denen er innerhalb eines Workflowschritts als letzter das Segment gespeichert hat. Dabei wird die Levenshtein-Distanz immer im Vergleich zum Zustand zum Start des Workflow-Schritts berechnet, unabhängig davon, welche der Änderungen die Benutzer selbst durchgeführt haben und welche andere Benutzer. |
| Bei einem inkonsistenten Workflow, also z.B. wenn ein PM, der nicht im Workflow zugewiesen ist und er Änderungen anbringt, wird der aktuell in der Anwendung für die Aufgabe registrierte Workflowschritt verwendet (der so bleibt wie er war, als er das letzte Mal konsistent war). Für alle anderen Benutzer wird die Workflowrolle ihres Jobs genommen (wie sonst auch). Aktuell kann ein PM dem ein Workflowschritt zugewiesen ist, nur editieren, wenn der Status des Jobs, dem er zugewiesen ist, auf "offen" steht. Künftig wird auch ein solcher PM jederzeit während des Workflows Jobs bearbeiten können, egal, ob er dafür zugewiesen ist oder nicht. |
| Wenn die Segmente vorübersetzt wurden, gilt die Vorübersetzung als erste Version, und der Übersetzungsschritt wird bei der Levenshtein-Berechnung berücksichtigt. Wurden die Segmente hingegen manuell übersetzt (keine Vorübersetzung), wird der Übersetzungsschritt bei der Levenshtein-Berechnung nicht berücksichtigt, und die manuelle Übersetzung gilt als erste Version. |
| Inline-Tags werden bei der Berechnung der Levenshtein-Distanz wie Zeichen behandelt:
MQM-Tags fließen nicht in die Berechnung mit ein. |
| Durchschnittliche Levenshtein-Distanz = 0 Bringt ein Benutzer Änderungen an, die genau die Änderungen eines vorangehenden Benutzers rückgängig macht, hebt das die Levenshtein-Distanz für das/die betroffenen Segmente auf, respektive sie steht auf Null. Beispiel: Fit4funGo: Klein, smart und sofort einsatzbereit. Version nach Übersetzung: Fit4funGo: Klein, smart und stets sofort einsatzbereit. → Levenshtein-Distanz innerhalb Workflow-Schritt, Filter auf Übersetzung = 6 (6 Hinzufügungen) Version nach Revision: Fit4funGo: Klein, smart und sofort einsatzbereit. → Levenshtein-Distanz innerhalb Worflow-Schritt, Filter auf Revision = 6 (6 Löschungen) Levenshtein-Distanz ab Beginn des Workflows: 0 (kein Filter oder Filter auf Übersetzung und Revision) |
Nachbearbeitungszeit
| Zeitpunkt/Zeitspanne | Erläuterung | ||
|---|---|---|---|
vor Beginn des Workflows: | Zeigt die Zeit, die für Änderungen vor Beginn des Workflows aufgewendet wurden, z.B. wenn der Projektmanager vor der Zuweisung eines Benutzers Änderungen an den Segmenten vornimmt. | ||
| innerhalb eines Workflow-Schritts: | Zeigt die durchschnittliche Nachbearbeitungszeit innerhalb eines Workflow-Schrittes zwischen der Version vor der Bearbeitung innerhalb eines Workflow-Schrittes und der letzten Bearbeitung innerhalb des Workflow-Schrittes. | ||
| ab Beginn des Workflows: | Zeigt die durchschnittliche Nachbearbeitungszeit vom Beginn des Workflows zwischen der Version des Segments zu Beginn des Workflows und seiner letzten vorhandenen Bearbeitung.
| ||
| nach Ende des Workflows: | Zeigt die durchschnittliche Nachbearbeitungszeit für Änderungen, die ein Projektmanager nach Abschluss des Workflows (Workflow-Status steht auf „finished“) noch durchgeführt hat. |
| Blockierte Segmente fließen nie in die Statistik mit ein. |
|---|---|
| Die Zuordnung der Nachbearbeitungszeit zu einem Benutzer funktioniert so, dass für alle Benutzer die Workflowrolle ihres jeweiligen Jobs genommen und für diesem Workflowschritt die Nachbearbeitungszeit eingetragen wird. |
| Wenn auch reine Lesezeit eines Segments gemessen werden soll, während der am Segmentinhalt keine Änderungen vorgenommen werden, müssen die Benutzer so instruiert werden, dass sie jedes Segment zur Bearbeitung öffnen und mit der Tastenkombination STRG + ENTER zum nächsten Segment springen und so auch dieses öffnen, wobei damit das aktuelle Segment inhaltlich unverändert mit neuem Status gespeichert wird. Auf diese Weise kann der Statuswechsel wie auch die Bearbeitungszeit des jeweiligen Segments gemessen werden. |
| Bleibt ein Segment offen, ohne dass daran gearbeitet, es also weder gelesen noch editiert wird (z.B. weil sich die betreffende Person einen Kaffee kochen gegangen ist), wird die Zeit dennoch weiter gemessen. translate5 geht dann davon aus, dass es sich auch um Recherchezeit handeln könnte und trackt sie deshalb mit. |
Umgang mit Wiederholungen
Anwendbare Filter
Je nachdem, für welchen Zeitpunkt oder für welche Zeitspanne eine Auswertung angezeigt werden soll, sind im erweiterten Filter gewisse Filtermöglichkeiten zugelassen oder nicht, resp. liefern keine Resultate, da die Datengrundlage die Resultate verfälschen würde. Die Nachfolgende Matrix zeigt, welche Filteroptionen des erweiterten Filter je Auswertungstyp verwendet werden können:
| Das Setzen von Häkchen in der Checkbox-Spalte hat keinen Einfluss auf die Filterung. |
|---|---|
| Bei der Filterung nach dem Projektmanager der Aufgabe beziehen sich die Werte auf alle Aufgaben, für die der gefilterte Benutzer als PM zuständig ist. Also nicht diejenigen, in denen der gefilterte PM einen Job zugewiesen hat oder Segmente editiert hat. Und analog bei der Spalte "Aktueller Workflowschritt" und "Status" (also Status der Aufgabe). |
| Ein Filter auf der Spalte "Aktueller Workflowschritt" entspricht nicht der Filteroption "Workflow-Schritt" im erweiterten Filter, sondern zeigt lediglich diejenigen Aufgabgen, in denen dieser Workflow-Schritt aktiv ist. |
| Ein Filter auf der Spalte "Status der Aufgabe" entspricht nicht der Filteroption "Workflow-Status" im erweiterten Filter, sondern zeigt lediglich diejenigen Aufgaben, die aktuell diesen Status zeigen. |
Basiseinheit
Als Basiseinheit gelten grundsätzlich die Segmente der Aufgaben. Sind Segmente zu einer bestimmten Zeit des Workflows gesperrt, zählen sie wie folgt (nicht) mit:
- Berechnung der Werte von Beginn des Workflows an: Es werden ausschließlich diejenigen Segmente berücksichtigt, die zum Zeitpunkt der Auswertung nicht gesperrt sind.
- Berechnung der Werte innerhalb eines Workflow-Schritts: Es werden diejenigen Segmente berücksichtigt, die während des betreffenden Workflow-Schritts bearbeitbar waren (und daher auch bearbeitet werden konnten).
| Segmente fließen für die Filterung innerhalb eines Workflowschritts dann in die Statistik ein, wenn sie zum Ende des Workflowsschritts bearbeitbar waren oder zum Zeitpunkt des KPI-Aufrufs bearbeitbar sind. Wird ein Segment während eines Workflowschritts (oder in No worklfow oder in Workflow abgeschlossen) ent- oder gesperrt, dann werden entsperrte Segmente für diesen Workflowsschritt zu diesem Zeitpunkt neu in die Statistik geschrieben bzw. beim Sperren aus der Berechnung entfernt. |
|---|
Auswertungen anzeigen
- Navigieren Sie in die Aufgabenliste.
- Setzen Sie den gewünschten Filter, damit Ihnen genau die auf diejenigen Projekte passende Auswertung angezeigt wird, die Sie interessiert.
Das kann ein Spaltenfilter sein, erweiterter Filter, oder aber auch eine Kombination von beidem; Sie können beliebig viele verschiedene Filter miteinander kombinieren, um genau die gewünschten Aufgaben herauszufiltern. - Klicken Sie auf den Button „Auswertungen“ anzeigen oberhalb der Aufgabenliste.
| Benötigen Sie nur die Auswertungen für eine einzige Aufgabe, so bietet sich eine Filterung über die Aufgaben-ID-Spalte an. Die Auswahl von Aufgaben via Checkbox-Spalte oder auch einfach die Selektion einer Aufgabenzeile hat keinen Einfluss auf die KPI-Auswertung. |
|---|---|
| Wenn in der Aufgabenübersicht kein Benutzerfilter gesetzt ist, wird die Nachbearbeitungszeit eines Segments berechnet, indem alle Bearbeitungszeiten aller Benutzer innerhalb eines Workflow-Schritts einschließlich der PM-Bearbeitungen addiert werden. Wurde für den/die Workflow-Schritt(e) eine Filterung festgelegt, werden nur die Nachbearbeitungszeiten innerhalb des/der gefilterten Workflow-Schritt(e)s berücksichtigt. Sie werden aber trotzdem für alle Workflow-Schritte addiert für die Berechnung 'ab Beginn des Workflows'. Und für die Berechnung 'innerhalb eines Workflowschritts' werden die Zeiten innerhalb eines Workflowschritts addiert, der Durchschnitt für alle Segmente innerhalb des Workflowschritts berechnet und dann über alle Workflowschritte in der Filterung hinweg wiederum der Durchschnitt pro Workflowschritt berechnet. |
| Wenn einer oder mehrere der Filter „Matchrate“, „Ressourcentyp“ oder „Sprachressourcen“ verwendet werden, werden nur diejenigen Segmente berücksichtigt, die dieser Filterung entsprechen. |
| Wenn auf die für die Vorübersetzung verwendete Sprachressource gefiltert wird, wird die als erste für die Vorübersetzung verwendete Sprachressource berücksichtigt – auch dann, wenn der Benutzer anschließend manuell etwas anderes aus dem Fuzzy-Match-Panel übernimmt. |
Auswertungen außerhalb translate5 weiterbearbeiten
Die Möglichkeit, Filter zu kombinieren reicht Ihnen nicht aus, um genau auf diejenigen Auswertungen zu kommen, die Sie benötigen? Dann können Sie die Auswertungen jederzeit auch exportieren und z.B. in Excel weiterbearbeiten. Klicken Sie dazu auf „Meta-Daten exportieren“ und Sie erhalten in Kürze eine herunterladbare Excel-Datei, die alle in der aktuellen Filterung enthaltenen Spalten und deren Werte beinhaltet:
Anwendungsmöglichkeiten
Die Messung der Nachbearbeitungszeit und der Levenshtein-Distanz birgt umfassende Möglichkeiten, verschiedene Kennzahlen im Übersetzungsprozess zu evaluieren und Ressourcen-, aber auch Leistungsqualitäten zu beurteilen. Nachfolgend einige Inputs; die Liste ist natürlich bei weitem nicht abschließend:
Qualität der MT- oder LLM-Übersetzung
Vergleichen Sie die Qualität verschiedener MT-/LLM-Engines, indem Sie die durchschnittliche Bearbeitungszeit und Levenshtein-Distanz der Aufgaben/Segmente betrachten, die mit den entsprechenden Ressourcen vorübersetzt wurden. Ausgehend von den gewonnenen Erkenntnissen können Sie beispielsweise auch Ihre Rabattstaffelung für den Einkauf schärfen, sodass diese exakt auf die verwendeten Sprachressourcen abgestimmt sind.
Qualität einer Sprachressource
Vergleichen Sie die durchschnittliche Bearbeitungszeit von Aufgaben, die mit einer bestimmten Sprachressource vorübersetzt wurden, bevor und nachdem Sie sie in der TM Maintenance oder über einen Re-Import zur Bereinigung bearbeitet haben.
Eignung einer Sprachressource für einen bestimmten Kunden oder ein bestimmtes Fachgebiet
Finden Sie heraus, welche LLM-Ressourcen sich für einen bestimmten Kunden oder ein bestimmtes Fachgebiet am besten eignet, indem Sie für ähnliche Texte, die aber mit verschiedenen Ressourcen übersetzt wurden, die Nachbearbeitungszeit und Levenshtein-Distanz analysieren.
Effizienz eines Linguisten
Prüfen Sie, wie unterschiedlich stark Ihre Linguisten die maschinell vorübersetzten Segmente bearbeiten und wie viel Zeit sie auf diese Arbeit verwenden, indem Sie im erweiterten Filter einen Benutzerfilter setzen. Auf diese Weise werden jeweils diejenigen Werte angezeigt, die dem entsprechen, was der im Filter eingetragene Benutzer als letzter im jeweiligen Workflowschritt gespeichert hat. Eine zu geringe Nachbearbeitungszeit könnte beispielsweise bedeuten, dass ein Post-Editor seine Arbeit nicht gewissenhaft ausführt, während eine sehr hohe Bearbeitungszeit darauf hinweisen könnte, dass der Post-Editor (zu) viele und möglicherweise auch unnötige Änderungen vornimmt, insbesondere, wenn gleichzeitig auch die Levenshtein-Distanz auffällig hoch ist.
| Diejenigen Segmente, die in einem Workflowschritt bearbeitbar waren, aber nicht bearbeitet wurden, zählen jeweils in die Berechnung für diejenigen Benutzer mit, der die Aufgabe als letzter abgeschlossen hat. |
|---|
Messen der effektiven Bearbeitungszeit
Verrechnen Sie Ihre Dienstleistungen mit einer akkuraten Exaktheit, indem Sie genau diejenige Bearbeitungszeit verrechnen, die von translate5 gemessen wurde.