With over 20 years of experience, we transform your digital presence. We specialize in website and E-Shop development, SEO and Digital Marketing, ERP software and smart automation that take your business to the next level.
Address:
154 Egnatia Street, Thessaloniki 546 36
Phone:
+30 231 231 4095
E-mail:
hello@twodots.gr
Ready for the next step?;
Το OmegaUse‑OfficeVal μετρά ποιότητα, χρόνο και κόστος σε 100 εργασίες Office, δείχνοντας γιατί οι AI agents χρειάζονται usability checks και ανθρώπινο έλεγχο.
Ένας AI agent μπορεί να φτιάξει ένα αρχείο σε λίγα λεπτά και με ελάχιστο κόστος. Αυτό όμως δεν σημαίνει ότι το αρχείο είναι σωστό, χρηστικό ή έτοιμο να παραδοθεί σε πελάτη. Το OmegaUse‑OfficeVal, ένα νέο ανοικτό benchmark για πολύωρες εργασίες γραφείου, επιχειρεί να μετρήσει ακριβώς αυτή τη διαφορά: όχι αν το μοντέλο έκανε μερικά σωστά clicks, αλλά αν το τελικό Word, Excel, PowerPoint ή PDF αξίζει πραγματικά για τον άνθρωπο που το ζήτησε.
Για επαγγελματίες, e‑commerce ομάδες και marketers, το μήνυμα είναι πρακτικό. Η ταχύτητα και το χαμηλό inference cost είναι σημαντικά, αλλά δεν αποτελούν από μόνα τους απόδειξη παραγωγικότητας. Αν ένα παραδοτέο χρειάζεται εκτεταμένο έλεγχο, διόρθωση μορφοποίησης ή ανακατασκευή, μέρος της θεωρητικής εξοικονόμησης επιστρέφει ως ανθρώπινο κόστος. Γι’ αυτό η υιοθέτηση AI ως «πρώτης πρόσληψης» χρειάζεται σαφή όρια ρόλου και acceptance criteria, όχι μόνο χαμηλό κόστος εκτέλεσης.
Σύντομη απάντηση: το OmegaUse‑OfficeVal δείχνει ότι οι αξιολογημένοι AI agents είναι φθηνότεροι και συνήθως ταχύτεροι από τη συγκεκριμένη ανθρώπινη baseline, αλλά υστερούν στην ποιότητα του τελικού Office artifact. Για μια επιχείρηση, η σωστή μονάδα μέτρησης δεν είναι τα clicks ή τα tokens· είναι το αρχείο που ανοίγει, παραμένει επεξεργάσιμο, καλύπτει τις απαιτήσεις και δεν μεταφέρει κρυφό χρόνο επισκευής στον εργαζόμενο.
Το benchmark περιλαμβάνει 100 εργασίες μεγάλης διάρκειας, βασισμένες σε αιτήματα επαγγελματιών και προσαρμοσμένες με διαδικασία προστασίας ιδιωτικότητας. Κάθε εργασία δίνει στον agent μια οδηγία υψηλού επιπέδου και ένα ή περισσότερα αρχεία εισόδου. Το ζητούμενο είναι ένα τελικό παραδοτέο, όπως επεξεργασμένο έγγραφο, spreadsheet, παρουσίαση ή PDF.
Η επιλογή του τελικού artifact ως μονάδας αξιολόγησης είναι κρίσιμη. Ο agent μπορεί να εργαστεί με GUI, scripts, APIs ή υβριδικό τρόπο. Δεν βαθμολογείται επειδή ακολούθησε μια συγκεκριμένη διαδρομή, αλλά επειδή παρέδωσε κάτι σωστό, ανοιγόμενο, επεξεργάσιμο και χρήσιμο. Πρόκειται για πολύ πιο κοντινή προσομοίωση της πραγματικής ανάθεσης εργασίας.
Τέσσερις φακοί αξιολόγησης ενός Office agent
Μετρά αν ο agent ακολούθησε βήματα, έκανε clicks ή ολοκλήρωσε μια προβλεπόμενη διαδρομή. Είναι χρήσιμη για debugging, όχι αρκετή για αποδοχή παραδοτέου.
Ελέγχει αν το DOCX, XLSX, PPTX ή PDF είναι έγκυρο, επεξεργάσιμο, πλήρες και χωρίς ανεπιθύμητες αλλαγές που απαιτούν ανθρώπινη επισκευή.
Απορρίπτει ολόκληρη την εργασία όταν αποτύχει ένα κρίσιμο check, όπως άνοιγμα αρχείου, δυνατότητα επεξεργασίας ή διατήρηση της δομής.
Σταθμίζει τις απαιτήσεις που ολοκληρώθηκαν και τις ανεπιθύμητες αλλαγές που αυξάνουν τον χρόνο ή το κόστος ανθρώπινης επισκευής.
Κατά μέσο όρο, οι εργασίες απαιτούν 2,32 ώρες ανθρώπινης εργασίας, με διάμεσο 2,03 ώρες και μέγιστο 8,35 ώρες. Άρα δεν μιλάμε για σύντομες εντολές τύπου «άλλαξε το χρώμα ενός κελιού», αλλά για workflows όπου ο σχεδιασμός, η συνέπεια και ο έλεγχος λαθών πρέπει να διατηρούνται για μεγάλο διάστημα.
Η ομάδα ξεκίνησε με 1.715 εργασίες που πρότειναν επαγγελματίες. Μετά τον πρώτο έλεγχο για πραγματική επιχειρησιακή ανάγκη, σαφή περιγραφή και συγκεκριμένο παραδοτέο, έμειναν 595. Τρεις senior experts αξιολόγησαν ανεξάρτητα αν κάθε εργασία ήταν αρκετά σύνθετη και μεγάλης διάρκειας αλλά ταυτόχρονα εφικτή για άνθρωπο. Όταν τουλάχιστον δύο συμφωνούσαν, η εργασία περνούσε στο επόμενο στάδιο. Έτσι σχηματίστηκε pool 282 υποψηφίων και τελικά επιλέχθηκαν 100.
Οι οδηγίες αποπροσωποποιήθηκαν χωρίς να χαθεί η αρχική πρόθεση, ενώ αφαιρέθηκαν υποκειμενικές απαιτήσεις που δεν θα μπορούσαν να ελεγχθούν αξιόπιστα. Τα αρχεία εισόδου ανακατασκευάστηκαν με βοήθεια LLM και διορθώθηκαν χειροκίνητα για ρεαλισμό, ιδιωτικότητα, copyright και συνέπεια. Η τελική αποδοχή απαιτούσε ομόφωνη έγκριση τριών senior experts.
Αυτή η διαδικασία έχει αξία για κάθε ομάδα που χτίζει δικό της AI evaluation set: τα καλά tests δεν είναι μια τυχαία συλλογή prompts. Η ίδια αρχή εξηγεί γιατί τα AI benchmarks χρειάζονται διαφάνεια για το dataset, το scoring και τις αποτυχίες που κρύβονται πίσω από έναν μέσο όρο. Χρειάζονται σαφές αποτέλεσμα, ελεγχόμενα inputs, απομάκρυνση ευαίσθητων δεδομένων και κριτήρια που μπορούν να εφαρμοστούν επαναληπτικά.
Οι 100 εργασίες συνοδεύονται από 220 αρχεία εισόδου και απαιτούν 115 αρχεία εξόδου. Στα inputs περιλαμβάνονται 77 εικόνες, 63 DOCX, 31 PPTX, 25 XLSX, 14 PDF και 10 αρχεία video ή audio. Στα outputs εμφανίζονται 48 DOCX, 40 PPTX, 24 XLSX και 3 PDF. Η κατανομή δεν εξισορροπήθηκε τεχνητά· διατηρήθηκε ώστε να αντανακλά τις ανάγκες που εμφανίστηκαν στη συλλογή.
Αυτό εξηγεί γιατί μια επίδειξη πάνω σε καθαρό κείμενο δεν αρκεί για να αποδείξει office automation. Ένα πραγματικό αίτημα μπορεί να είναι σύντομο, ενώ οι κρίσιμες λεπτομέρειες βρίσκονται σε εικόνες, video ή ενσωματωμένα στοιχεία ενός εγγράφου. Ο agent πρέπει να καταλάβει το υλικό και ταυτόχρονα να προστατέψει δομή, τύπους, layout και δυνατότητα επεξεργασίας.
Η ταξινομία καλύπτει προθέσεις όπως reformat, restructure, annotate, extract, compute και beautify, σε πεδία όπως ακαδημαϊκά έγγραφα, εκπαίδευση, οικονομικά δεδομένα, τεχνολογία, διοικητικές εργασίες και business operations. Για ένα e‑commerce ή marketing τμήμα, αυτά αντιστοιχούν σε γνώριμες ανάγκες: αναδιοργάνωση report, υπολογισμούς σε φύλλα εργασίας, παραγωγή deck και καθαρισμό υλικού για παράδοση.
Κάθε εργασία συνδέεται με δύο σήματα: τον χρόνο ανθρώπινης εργασίας και ένα task price proxy. Ο χρόνος μετρήθηκε από 20 annotators με βασικές δεξιότητες office suite. Τουλάχιστον δύο άνθρωποι ολοκλήρωσαν κάθε εργασία χωρίς βοήθεια LLM. Όταν οι χρόνοι διέφεραν σημαντικά, ανατέθηκε και τρίτη εκτέλεση. Ο τελικός χρόνος ήταν ο μέσος όρος των δύο συντομότερων έγκυρων προσπαθειών.
Το price proxy προήλθε άμεσα από practitioners για περίπου το 20% των εργασιών, όταν υπήρχε αξιόπιστη προηγούμενη εμπειρία outsourcing. Για τις υπόλοιπες, τρεις ειδικοί έδωσαν ανεξάρτητες εκτιμήσεις με βάση κατηγορία εργασίας, πολυπλοκότητα και τυπική αμοιβή. Η μέθοδος aggregation περιόριζε την επίδραση μιας καθαρής ακραίας εκτίμησης.
Η μέση τιμή proxy ήταν 6,86 δολάρια και η διάμεσος 5,11 δολάρια. Οι συγγραφείς παρουσιάζουν τις τιμές σε USD, μετατρέποντας τα CNY με ισοτιμία 1 CNY προς 0,14609 USD, υπολογισμένη ως μέσος όρος 180 ημερών από 19 Ιανουαρίου έως 16 Ιουλίου 2026. Αυτά τα ποσά δεν είναι παγκόσμιος τιμοκατάλογος εργασίας· είναι annotations του συγκεκριμένου benchmark και πρέπει να διαβάζονται μέσα σε αυτό το πλαίσιο.
Το OmegaUse‑OfficeVal αποφεύγει τόσο την αποκλειστική ανθρώπινη βαθμολόγηση όσο και το LLM‑as‑judge. Χρησιμοποιεί code-based verifiers που προκύπτουν από λεπτομερή rubrics, αναθεωρούνται από experts και βαθμονομούνται συγκρίνοντας ανθρώπινες κρίσεις με τα αποτελέσματα του κώδικα.
Υπάρχουν δύο διαστάσεις. Η πρώτη ελέγχει αν το artifact είναι έγκυρο, ανοίγει, παραμένει επεξεργάσιμο και μπορεί να χρησιμοποιηθεί πρακτικά. Η δεύτερη ελέγχει τις απαιτήσεις της συγκεκριμένης εργασίας, επιβραβεύοντας όσα ολοκληρώθηκαν και αφαιρώντας βάρος για ανεπιθύμητες αλλαγές που αυξάνουν την ανάγκη επισκευής.
Συνολικά υπάρχουν 219 usability checks, κατά μέσο όρο 2,19 ανά εργασία, και 2.009 task-completion checks, κατά μέσο όρο 20,09. Αν αποτύχει έστω ένα usability check, η εργασία παίρνει μηδενικό σκορ. Μόνο ένα χρηστικό παραδοτέο περνά στη σταθμισμένη βαθμολόγηση ολοκλήρωσης. Για τις επιχειρήσεις, αυτή είναι εύλογη λογική: ένα «σχεδόν σωστό» spreadsheet που δεν ανοίγει δεν έχει σχεδόν αξία.
Αξιολογήθηκαν τα GLM‑5.2, Qwen3.7‑Plus, Kimi K2.6, DeepSeek‑V4‑Pro και MiniMax M3, με ανθρώπινη baseline την καλύτερη υποβολή junior worker ανά εργασία. Ο άνθρωπος πέτυχε συνολικό score 27,79. Το καλύτερο μοντέλο, GLM‑5.2, έφτασε 17,91, ενώ Qwen3.7‑Plus, Kimi K2.6, DeepSeek‑V4‑Pro και MiniMax M3 σημείωσαν αντίστοιχα 17,51, 17,00, 14,48 και 13,82.
Στον μέσο χρόνο ανά εργασία ο άνθρωπος χρειάστηκε 2,324 ώρες. Τα μοντέλα κυμάνθηκαν από 0,184 ώρες για το DeepSeek‑V4‑Pro έως 2,275 ώρες για το MiniMax M3. Το μέσο κόστος ανά εργασία ήταν 6,8560 δολάρια για την ανθρώπινη proxy baseline, έναντι 1,4823 για GLM‑5.2, 0,2152 για Qwen3.7‑Plus, 0,7719 για Kimi K2.6, 0,6111 για DeepSeek‑V4‑Pro και 1,7572 για MiniMax M3.
Το συμπέρασμα των δεδομένων δεν είναι ότι οι agents «δεν αξίζουν». Είναι ότι η αποτελεσματικότητά τους έχει δύο διαφορετικούς άξονες. Είναι ήδη φθηνότεροι και γενικά ταχύτεροι, αλλά αυτή η υπεροχή δεν έχει μετατραπεί σε ανθρώπινη ποιότητα παραδοτέου. Η επιλογή μόνο με βάση token cost ή latency μπορεί επομένως να οδηγήσει σε λάθος επιχειρησιακή απόφαση.
Ποιότητα, χρόνος και κόστος δεν δίνουν την ίδια κατάταξη
Οι τέσσερις τιμές προέρχονται από τον πίνακα κύριων αποτελεσμάτων της εργασίας και αφορούν αποκλειστικά το συγκεκριμένο benchmark και scaffold.
Η καλύτερη υποβολή junior worker ανά εργασία αποτέλεσε την ανθρώπινη baseline ποιότητας.
Το GLM‑5.2 είχε την υψηλότερη μέση ποιότητα ανάμεσα στους πέντε αξιολογημένους agents.
Το Qwen3.7‑Plus είχε το χαμηλότερο μέσο inference cost ανά εργασία.
Το DeepSeek‑V4‑Pro είχε τον χαμηλότερο μέσο χρόνο ανά εργασία.
Οι ερευνητές αναφέρουν score, time-weighted score και price-weighted score. Έτσι φαίνεται όχι μόνο πόσο καλά τα πήγε ένα μοντέλο κατά μέσο όρο, αλλά και πόσο ανθρώπινο χρόνο ή task value καλύπτουν οι επιτυχίες του. Το μοντέλο με το καλύτερο απλό average δεν είναι υποχρεωτικά εκείνο που κερδίζει στις οικονομικά σημαντικότερες εργασίες.
Το GLM‑5.2 είχε το υψηλότερο απλό score των μοντέλων, ενώ το Qwen3.7‑Plus είχε υψηλότερο time-weighted score, 34,73 έναντι 30,13, και price-weighted score 106,50 έναντι 93,51. Οι αριθμοί δεν αποτελούν απευθείας πρόβλεψη ROI για μια εταιρεία, αλλά αποδεικνύουν ότι η κατάταξη αλλάζει όταν αλλάζει το βάρος της αξιολόγησης.
Για μια ομάδα marketing αυτό σημαίνει ότι τα tests πρέπει να αντικατοπτρίζουν το πραγματικό portfolio εργασιών. Ένα model που πετυχαίνει πολλές μικρές διορθώσεις μπορεί να έχει καλό average, αλλά να αποτυγχάνει σε ένα κρίσιμο quarterly report. Αντίστροφα, ένα ακριβότερο run ίσως αξίζει όταν προστατεύει ένα υψηλής σημασίας παραδοτέο.
Η κατανομή των scores δείχνει τη διαφορά αξιοπιστίας. Οι άνθρωποι είχαν το μεγαλύτερο ποσοστό εργασιών πάνω από 50, στο 21%, και το μικρότερο ποσοστό μηδενικών αποτελεσμάτων, στο 29%. Το GLM‑5.2 είχε 14% εργασίες πάνω από 50. Το Qwen3.7‑Plus είχε το χαμηλότερο zero-score rate μεταξύ των LLM agents, 38%, γεγονός που οι συγγραφείς ερμηνεύουν ως μεγαλύτερη ανθεκτικότητα στην παραγωγή μερικής προόδου.
Για DeepSeek‑V4‑Pro και MiniMax M3, τα zero-score rates ήταν 50% και 51%. Επειδή η usability πύλη μηδενίζει μη χρηστικά artifacts, αυτά τα ποσοστά φωτίζουν ένα πρόβλημα που κρύβεται πίσω από εντυπωσιακά demos: το αρχείο μπορεί να υπάρχει αλλά να μην αποτελεί ασφαλή παράδοση.
Παράλληλα, οι βαθμολογίες μειώνονταν όσο αυξανόταν ο ανθρώπινος χρόνος της εργασίας, τόσο για τους ανθρώπους όσο και για τα LLMs, με εντονότερη πτώση στα μοντέλα. Οι συγγραφείς συνδέουν το μοτίβο με παρατεταμένο planning, λεπτομερή χειρισμό αρχείων και περισσότερες ευκαιρίες συσσώρευσης δομικών σφαλμάτων.
Η πρώτη αλλαγή είναι να οριστεί το παραδοτέο πριν από το prompt. Η ομάδα πρέπει να περιγράφει τι σημαίνει «ανοίγει», «παραμένει επεξεργάσιμο», «δεν χάλασε τύπους ή layout» και «καλύπτει όλες τις απαιτήσεις». Αυτά μπορούν να μετατραπούν σε acceptance checks, ακόμη κι αν δεν υπάρχει πλήρως αυτοματοποιημένος verifier.
Η δεύτερη είναι ο διαχωρισμός usability και completeness. Πρώτα ελέγχεται αν το artifact μπορεί να χρησιμοποιηθεί χωρίς επικίνδυνη επισκευή. Μετά βαθμολογείται η πληρότητα. Η τρίτη είναι η καταγραφή repair time. Αν ένας εργαζόμενος χρειάζεται σαράντα λεπτά για να διορθώσει ένα φθηνό AI output, ο χρόνος αυτός ανήκει στο πραγματικό κόστος. Σε αυτό το σημείο βοηθά μια σαφής διαδικασία για το ποιος αναλαμβάνει όταν μια αυτοματοποίηση αποτυγχάνει.
Η τέταρτη είναι η στάθμιση με business value. Οι κρίσιμες εργασίες δεν πρέπει να χάνονται μέσα στον μέσο όρο. Ένα evaluation set για e‑commerce μπορεί να δώσει μεγαλύτερο βάρος σε finance reports, catalog operations ή decks που φεύγουν σε πελάτες, αρκεί τα βάρη να προέρχονται από πραγματικές προτεραιότητες και όχι από αυθαίρετες υποθέσεις.
Το benchmark δεν αποτελεί έτοιμη πολιτική προμηθειών. Δίνει όμως έναν πρακτικό σκελετό acceptance testing για ομάδες που αυτοματοποιούν έγγραφα, φύλλα εργασίας, παρουσιάσεις ή PDF.
Checklist αποδοχής για Office AI workflows
Χτίστε το evaluation set από αντιπροσωπευτικά DOCX, XLSX, PPTX και PDF της ομάδας, αφού αφαιρέσετε προσωπικά και εμπιστευτικά δεδομένα.
Απορρίψτε αυτόματα αρχεία που δεν ανοίγουν, χάνουν τύπους ή δομή, δεν παραμένουν επεξεργάσιμα ή χαλούν κρίσιμα layouts.
Βαθμολογήστε χωριστά όσα ολοκληρώθηκαν και τις ανεπιθύμητες αλλαγές που αυξάνουν τον χρόνο επισκευής ή τον επιχειρησιακό κίνδυνο.
Μετρήστε τον χρόνο ανθρώπινου ελέγχου, διόρθωσης και επανεκτέλεσης μαζί με το inference cost, ώστε η οικονομία να μην εμφανίζεται τεχνητά διογκωμένη.
Δώστε μεγαλύτερο βάρος σε artifacts που επηρεάζουν πελάτες, οικονομικές αποφάσεις, καμπάνιες ή κανονιστικές υποχρεώσεις.
Απαιτήστε τελικό owner για κρίσιμες παραδόσεις και επαναλάβετε τα ίδια tests όταν αλλάζει μοντέλο, prompt, εργαλείο ή πρότυπο αρχείου.
Το OmegaUse‑OfficeVal δεν αποδεικνύει ότι ένα συγκεκριμένο μοντέλο θα έχει την ίδια επίδοση στο δικό σας περιβάλλον. Δοκιμάζει συγκεκριμένα μοντέλα, με συγκεκριμένο scaffold και 100 συγκεκριμένες εργασίες. Παρέχει όμως ένα ισχυρό πρότυπο μέτρησης: πραγματικά αιτήματα, τελικά artifacts, usability gate, task-level rubrics και οικονομικά βάρη.
Η ασφαλής υιοθέτηση σήμερα μοιάζει περισσότερο με ελεγχόμενη συνεργασία ανθρώπου και agent παρά με τυφλή αντικατάσταση. Αυτό συμπληρώνει την ευρύτερη εικόνα για την AI στην εργασία και τις ελληνικές επιχειρήσεις, όπου η πραγματική αξία εξαρτάται από διαδικασίες, δεξιότητες και υπεύθυνη επίβλεψη. Οι agents μπορούν να μειώσουν χρόνο και inference cost, αλλά τα αποτελέσματα του benchmark δείχνουν ότι ο τελικός ποιοτικός έλεγχος παραμένει ουσιώδης, ειδικά σε πολύωρες εργασίες όπου τα λάθη συσσωρεύονται.
Για έναν ιδιοκτήτη επιχείρησης, η ερώτηση δεν είναι απλώς «πόσο γρήγορα έφτιαξε το αρχείο;». Είναι «πόση χρήσιμη δουλειά παρέδωσε, πόση επισκευή χρειάστηκε και ποια ήταν η αξία της εργασίας που ολοκλήρωσε;». Εκεί μετακινείται η συζήτηση από το AI demo στη μετρήσιμη παραγωγικότητα. Για τις μικρές ομάδες, η ίδια λογική ισχύει όταν η AI αντιμετωπίζεται ως πρώτη πρόσληψη: ο ρόλος της χρειάζεται στόχους, όρια και έλεγχο ποιότητας.
Η απόφαση για παραγωγή
Μην εγκρίνετε έναν Office agent μόνο επειδή είναι γρήγορος ή φθηνός.
Απαιτήστε χρηστικό artifact, task-specific έλεγχο, καταγραφή repair time και σαφή ανθρώπινο owner. Αν ένα αρχείο δεν είναι έτοιμο να παραδοθεί ή χρειάζεται ακριβή ανακατασκευή, το χαμηλό inference cost δεν ισοδυναμεί με παραγωγικότητα.
Business automation and AI from TWO DOTS
Μετατρέψτε τα Office AI demos σε ελεγχόμενα workflows.
Η TWO DOTS σχεδιάζει αυτοματισμούς με acceptance criteria, ανθρώπινα σημεία έγκρισης, έλεγχο παραδοτέων και μετρήσιμο κόστος επισκευής για έγγραφα, reports και επαναλαμβανόμενες λειτουργίες.
Frequently Asked Questions (FAQs)
Είναι ανοικτό benchmark με 100 πολύωρες εργασίες Office, τελικά παραδοτέα, ανθρώπινο χρόνο, task price proxy, λεπτομερή rubrics και code-based verifiers.
Αξιολογεί το τελικό DOCX, XLSX, PPTX ή PDF ως artifact: αν ανοίγει, παραμένει επεξεργάσιμο, καλύπτει τις απαιτήσεις και δεν περιέχει ζημιές που αυξάνουν τον ανθρώπινο χρόνο επισκευής.
Ο μέσος ανθρώπινος χρόνος είναι 2,32 ώρες, η διάμεσος 2,03 ώρες και το μέγιστο 8,35 ώρες.
Επειδή το benchmark αντιμετωπίζει τη χρηστικότητα ως πύλη. Αν το artifact δεν ανοίγει, δεν είναι επεξεργάσιμο ή αποτυγχάνει άλλο κρίσιμο check, δεν θεωρείται αξιοποιήσιμο παραδοτέο.
Ναι, στο συγκεκριμένο setup όλοι οι αξιολογημένοι agents ήταν φθηνότεροι και γενικά ταχύτεροι, αλλά υστερούσαν στην ποιότητα του παραδοτέου.
Το GLM‑5.2 είχε το υψηλότερο απλό score μεταξύ των μοντέλων, 17,91, έναντι 27,79 της ανθρώπινης baseline.
Όχι άμεσα. Τα scores αφορούν τα συγκεκριμένα tasks, μοντέλα και scaffold. Μια εταιρεία πρέπει να επαναλάβει τη μεθοδολογία στα δικά της αρχεία, κόστη, κινδύνους και χρόνους επισκευής.
Πρώτα ελέγχεται αν το αρχείο είναι χρηστικό και ασφαλές για επεξεργασία. Έπειτα μετρώνται η πληρότητα, οι ανεπιθύμητες αλλαγές, ο χρόνος επισκευής και η επιχειρησιακή αξία της εργασίας.
