Με πάνω από 20 χρόνια εμπειρίας, μεταμορφώνουμε την ψηφιακή σας παρουσία. Εξειδικευόμαστε στην κατασκευή ιστοσελίδων και E-Shop, το SEO και το Digital Marketing, τα ERP λογισμικά και τους έξυπνους αυτοματισμούς που απογειώνουν την επιχείρησή σας.
Διεύθυνση:
Εγνατία 154, Θεσσαλονίκη 546 36
Τηλέφωνο:
+30 231 231 4095
E-mail:
hello@twodots.gr
Έτοιμοι για το επόμενο βήμα;
Το DreamBench-SWE δείχνει γιατί η μνήμη AI agents χρειάζεται provenance, σωστό scope, retrieval gates και εκτελέσιμη επαλήθευση.
Το DreamBench-SWE δείχνει ότι η περισσότερη μνήμη δεν κάνει αυτόματα έναν AI agent πιο αξιόπιστο. Σε εργασίες κώδικα που συνεχίζονται σε πολλές συνεδρίες, η αξία βρίσκεται στη μνημονική υγιεινή: σωστή προέλευση, περιορισμένο scope, αναγνώριση παρωχημένων στοιχείων, ασφαλής ανάκτηση και εκτελέσιμη επαλήθευση της τελικής αλλαγής.
Ένας AI agent μπορεί να θυμάται πολλά και παρ’ όλα αυτά να κάνει χειρότερη δουλειά. Μπορεί να ανασύρει μια παλιά αρχιτεκτονική απόφαση που έχει ακυρωθεί, να εφαρμόσει παρατήρηση reviewer σε λάθος module ή να μετατρέψει μια αβέβαιη διάγνωση σε μόνιμο κανόνα. Το πρόβλημα δεν είναι μόνο πόση μνήμη διαθέτει το σύστημα, αλλά αν θυμάται το σωστό στοιχείο, με τη σωστή προέλευση, στο σωστό πλαίσιο και τη σωστή στιγμή.
Αυτό επιχειρεί να μετρήσει το DreamBench-SWE, ένα benchmark για τη μνημονική υγιεινή software agents που εργάζονται σε διαδοχικές συνεδρίες. Δεν είναι γενική κατάταξη προϊόντων μνήμης και δεν αποδεικνύει ότι μία αρχιτεκτονική είναι καθολικά ανώτερη. Προτείνει όμως αυστηρό τρόπο να ελεγχθεί αν η μνήμη οδηγεί σε πραγματικά σωστή εργασία πάνω σε κώδικα. Η διάκριση έχει πρακτική αξία για τις λειτουργικές αστοχίες AI agents στην παραγωγή, όπου ένα πειστικό αποτέλεσμα δεν αρκεί χωρίς έλεγχο της διαδρομής.
Οι σύγχρονοι software agents δεν περιορίζονται πάντα σε ένα prompt και μία απάντηση. Επιστρέφουν στο ίδιο repository, διαβάζουν προηγούμενες αλλαγές, λαμβάνουν feedback και συνεχίζουν εργασίες που ξεκίνησαν ώρες ή ημέρες πριν. Σε αυτό το περιβάλλον, πληροφορίες που απουσιάζουν από το τρέχον context μπορεί να είναι αναγκαίες: ένα generated file δεν πρέπει να τροποποιηθεί απευθείας, ένας κανόνας αφορά μόνο ένα module ή μια παλιά υπόθεση έχει αντικατασταθεί από νεότερη απόφαση.
Η απλή αποθήκευση όλων των προηγούμενων δεδομένων δεν λύνει το πρόβλημα. Η ανάκτηση παρόμοιου αλλά παρωχημένου στοιχείου μπορεί να οδηγήσει σε λάθος patch. Η υπεργενίκευση ενός σχολίου μπορεί να επηρεάσει άσχετα τμήματα του κώδικα. Μια αποτυχημένη δοκιμή που οφειλόταν σε αστάθεια μπορεί να αποθηκευτεί λανθασμένα ως αιτιώδης κανόνας.
Αυτή η πειθαρχία αφορά το πλήρες agent system, όχι μόνο το μοντέλο. Το harness, το event store, το consolidation layer και η πολιτική ανάκτησης καθορίζουν τι θα εμφανιστεί στην επόμενη συνεδρία. Γι’ αυτό η διακυβέρνηση των enterprise AI harnesses πρέπει να σχεδιάζεται ως μέρος της αρχιτεκτονικής και όχι ως μεταγενέστερο checklist.
Πολλά benchmarks εξετάζουν αν ένα μοντέλο ανακαλεί πληροφορίες από μεγάλη συνομιλία ή αν απαντά σωστά σε ερωτήσεις. Εδώ η απαίτηση είναι αυστηρότερη. Κάθε trap εκτείνεται σε συνεδρίες S1, S2 και S3. Η κρίσιμη πληροφορία εμφανίζεται νωρίτερα, δεν μπορεί να συναχθεί αξιόπιστα από το τελευταίο prompt και δεν υπάρχει στο filesystem του wake agent όταν φτάνει η τελική εργασία.
Η τελική απάντηση δεν βαθμολογείται από γλωσσικό κριτή που αποφασίζει αν «ακούγεται σωστή». Ο agent πρέπει να κάνει πραγματική αλλαγή σε repository και η επιτυχία ελέγχεται από κρυφό, εκτελέσιμο oracle. Ένα trap μπορεί να απαιτεί την κατά γράμμα επανάληψη ενός ιδιωτικού marker που είχε δοθεί σε προηγούμενη συνεδρία. Αν η μνήμη δεν το ανακτήσει σωστά, ο κώδικας αποτυγχάνει, ακόμη κι αν η εξήγηση του μοντέλου είναι πειστική.
Η λογική αυτή συνδέει τη μνήμη με επιχειρησιακό αποτέλεσμα. Για μια ομάδα που αναπτύσσει agents, το ερώτημα δεν είναι μόνο «βρήκε σχετικό απόσπασμα;», αλλά «χρησιμοποίησε την κατάλληλη απόδειξη και παρήγαγε αλλαγή που πέρασε τον ανεξάρτητο έλεγχο;». Είναι η ίδια αρχή που κάνει τα behavioral tests των AI agents ισχυρότερα από ένα μεμονωμένο success score.
Το benchmark είναι σκόπιμα στενό. Εστιάζει στη συνέχεια software εργασιών και σε κρυφές, μη συναγώγιμες πληροφορίες. Αυτή η στενότητα βοηθά την αιτιώδη ερμηνεία: όταν το oracle αποτυγχάνει, η ομάδα μπορεί να εξετάσει αν έφταιξε η απουσία μνήμης, το retrieval, το scope, η παλαίωση ή η χρήση της ανακτημένης απόδειξης.
Το DreamBench-SWE οργανώνει παθολογίες ειδικά για software engineering. Περιλαμβάνει παρωχημένα αρχιτεκτονικά δεδομένα, όρια generated files, feedback περιορισμένο σε συγκεκριμένο scope, ψευδή συμπεράσματα από failures και περιπτώσεις όπου ο agent πρέπει να απέχει επειδή δεν έχει επαρκή απόδειξη. Αυτές οι παγίδες μοιάζουν με αποφάσεις που εμφανίζονται σε πραγματικά τεχνικά workflows.
Στο v2 καταγράφηκαν IrrelevantImportRate 1434/3024, OverscopeRate 378/2268, RepeatedErrorRate 1512/2646 και StaleUseRate 756/3780. Οι αριθμοί δεν είναι γενικά ποσοστά αποτυχίας όλων των agents. Αφορούν το συγκεκριμένο πειραματικό σύνολο και χρησιμεύουν για να εξηγήσουν πού σπάει κάθε συνθήκη.
Η διάκριση μεταξύ σχετικότητας και εγκυρότητας είναι ιδιαίτερα σημαντική. Ένα embedding μπορεί να βρει το πιο όμοιο απόσπασμα, αλλά η ομοιότητα δεν αποδεικνύει ότι το απόσπασμα είναι πρόσφατο, εξουσιοδοτημένο ή εφαρμόσιμο στο τρέχον scope. Ένα υβριδικό AI search με λέξεις, embeddings και fallbacks μπορεί να βελτιώσει την ανάκτηση, όμως η τελική απόφαση χρειάζεται policy signals πέρα από similarity.
Οι ερευνητές χρησιμοποιούν reference probe με κύκλο wake, sleep και read. Ο όρος «sleep» περιγράφει offline επεξεργασία πάνω στα logs και στη μνήμη, όχι βιολογική αναλογία. Η βασική αρχή είναι ότι τα raw episodes δεν καταστρέφονται. Prompts, κατάσταση repository, tool calls, outputs, diffs, feedback, memory reads και αποτελέσματα παραμένουν ως ελέγξιμη απόδειξη.
Πάνω σε αυτή τη βάση δημιουργούνται typed memories με provenance. Μια derived μνήμη μπορεί να επισημανθεί ως stale, να αντικατασταθεί ή να αποκλειστεί από την ανάκτηση χωρίς να διαγράφεται το αρχικό επεισόδιο. Όταν μια σύνοψη αποδειχθεί λανθασμένη, η ομάδα μπορεί να επιστρέψει στην πρωτογενή απόδειξη αντί να εξαρτάται από μια αδιαφανή περίληψη.
Raw episode store
Κρατά το αρχικό prompt, τα tool calls, τα outputs, τα diffs, το feedback και το outcome. Είναι η αμετάβλητη βάση για audit και επανέλεγχο.
Typed derived memory
Μετατρέπει επεισόδια σε facts ή rules με provenance, scope, χρόνο, confidence και status, χωρίς να αντικαθιστά την πρωτογενή πηγή.
Retrieval gate
Αποφασίζει τι επιτρέπεται να φτάσει στο context της συγκεκριμένης εργασίας και μπλοκάρει stale, άσχετη ή υπερβολικά ευρεία μνήμη.
Το retrieval gate δεν βελτιστοποιεί απλώς τη μέγιστη ανάκληση. Εξισορροπεί χρήσιμη μνήμη και επιβλαβή εισαγωγή. Στην πράξη, μια ώριμη μνήμη πρέπει να γνωρίζει όχι μόνο τι να εμφανίσει, αλλά και τι να κρατήσει έξω από το context. Η απόφαση αυτή ανήκει στο harness και πρέπει να είναι παρατηρήσιμη, όπως και τα υπόλοιπα επίπεδα ενός AI agent harness με ελεγχόμενο κόστος και σαφή όρια.
Στο scaled v2 fold, το typed-plus-raw reference probe πέτυχε 95 από 180 δοκιμές, ενώ το ισχυρό verbatim event memory πέτυχε 89 από 180. Η clustered ανάλυση έδωσε p=0,518 και Holm-adjusted p=1. Η αριθμητική διαφορά έξι επιτυχιών δεν τεκμηριώνει υπεροχή, ενώ η μη απόρριψη της μηδενικής υπόθεσης δεν αποδεικνύει ισοδυναμία.
Το v2 αποκάλυψε επίσης περιορισμούς στα constructs C9 και C10, όπου η baseline χωρίς μνήμη δεν άφηνε αρκετό headroom. Άρα το benchmark δεν δικαιολογεί ευρύ ισχυρισμό ότι μετρά κάθε μορφή «anti-hoarding» συμπεριφοράς με τον ίδιο βαθμό εγκυρότητας.
Το v2.1 σχεδιάστηκε ως χωριστό preregistered successor audit και πάγωσε πριν από την επιθεώρηση των αποτελεσμάτων. Ολοκλήρωσε 360/360 work units και 720/720 S3 cells σε τέσσερις συνθήκες.
S3 Pass@1 στο χωριστό v2.1 successor audit
Ακριβή αποτελέσματα των τεσσάρων admissible conditions· όχι γενική κατάταξη προϊόντων ή αρχιτεκτονικών μνήμης.
Οι τρεις διαθέσιμες συγκρίσεις απέναντι στη συνθήκη χωρίς μνήμη απέρριψαν τη μηδενική υπόθεση μετά τη διόρθωση Holm. Αυτό υποστηρίζει ότι το benchmark διακρίνει memory-bearing συνθήκες από τη συγκεκριμένη baseline και περιγράφει την απόδοση της ακριβούς hosted ρύθμισης που δοκιμάστηκε. Δεν αποδεικνύει ότι η Mem0 είναι γενικά καλύτερη ούτε ότι συγκεκριμένος μηχανισμός προκάλεσε τη διαφορά.
Οι preregistered mechanism comparisons δεν ήταν διαθέσιμες επειδή οι αντίστοιχες conditions απορρίφθηκαν πριν από την αξιολόγηση λόγω μη συμμόρφωσης. Η σύγκριση literal storage με verbatim memory ήταν μη επιβεβαιωτική και ευαίσθητη στην ανάλυση, ενώ η σύγκριση με το reference probe δεν απέρριψε. Το τίμιο συμπέρασμα είναι benchmark discrimination και ένα περιορισμένο external-system profile.
Ένα benchmark μνήμης κινδυνεύει να μετρήσει κάτι διαφορετικό από αυτό που δηλώνει. Ο agent μπορεί να βρει το μυστικό στοιχείο μέσα στο repository, να το έχει συναντήσει κατά την προεκπαίδευση ή να επωφεληθεί από διαρροή ανάμεσα στις συνθήκες. Το DreamBench-SWE χρησιμοποιεί κρυπτογραφικά τυχαία injected tokens, απομόνωση των scored artifacts από τον wake agent και contamination checks. Η μελέτη δηλώνει filesystem isolation, όχι απόλυτη network isolation.
Η ανάλυση γίνεται σε επίπεδο trap-cluster και όχι με αφελή συγκέντρωση όλων των cells σαν να ήταν ανεξάρτητα. Στο v2 χρησιμοποιήθηκαν 60 traps, τρία seeds και 1.890 condition-level result files. Πολλαπλά outcomes από το ίδιο trap μοιράζονται κοινή δομή· αν μετρηθούν ως πλήρως ανεξάρτητα, η στατιστική βεβαιότητα μπορεί να φανεί μεγαλύτερη από όσο είναι.
Το admission funnel ελέγχει αν ένα trap είναι έγκυρο πριν συμβάλει στα confirmatory claims. Οι συγγραφείς αναφέρουν 30 authored, 30 dry-valid, 30 live-valid και 30 admitted traps στο σχετικό fold. Στο successor audit, conditions που δεν πέρασαν τις παγωμένες προϋποθέσεις συμμόρφωσης αποκλείστηκαν πριν εξεταστεί η απόδοσή τους. Έτσι προέκυψαν «μη διαθέσιμες» συγκρίσεις, αντί να αλλάξουν οι κανόνες αφού έγιναν γνωστά τα αποτελέσματα.
Για μια εταιρική ομάδα, αυτό μεταφράζεται σε τρεις αρχές: έγκριση test cases πριν από το run, αμετάβλητα acceptance criteria και καταγραφή των άκυρων ή μη συμμορφούμενων conditions. Η πρακτική συμπληρώνει τον έλεγχο attribution: όταν ένας agent αποτυγχάνει, χρειάζεται να ξεχωρίσουμε ποιο component παρήγαγε το πρώτο αποφασιστικό λάθος.
Η μελέτη δεν δίνει έτοιμο εταιρικό framework, αλλά τα ευρήματα υποστηρίζουν καθαρή αρχιτεκτονική ευθυνών. Το event store κρατά αμετάβλητα τα raw επεισόδια. Το consolidation layer δημιουργεί summaries ή typed facts χωρίς να αντικαθιστά την πρωτογενή πηγή. Ένα policy layer χειρίζεται scope, εμπιστοσύνη, λήξη και supersession. Τέλος, το retrieval layer αποφασίζει τι επιτρέπεται να μπει στο context για τη συγκεκριμένη εργασία.
Κάθε μνήμη που μπορεί να ενεργοποιήσει write action χρειάζεται ελάχιστο συμβόλαιο: source event, timestamp, subject, scope, confidence, status και σύνδεση με τυχόν superseding fact. Αν λείπει το scope, η ασφαλής συμπεριφορά είναι να μην εφαρμοστεί ο κανόνας σε ευρύτερο πεδίο. Αν δύο facts συγκρούονται, το σύστημα πρέπει να ζητήσει επιβεβαίωση ή να ακολουθήσει σαφή κανόνα προτεραιότητας, όχι να επιλέξει το πιο παρόμοιο embedding.
Χρειάζεται επίσης χωριστό audit log για τις αναγνώσεις μνήμης. Δεν αρκεί να γνωρίζει η ομάδα τι αποθηκεύτηκε· πρέπει να βλέπει τι ανακτήθηκε πριν από μια αλλαγή, τι απορρίφθηκε από το gate και ποια πηγή επηρέασε το τελικό action. Αυτή η ορατότητα ξεχωρίζει αστοχία μοντέλου από αστοχία retrieval ή λάθος consolidation.
Gate πριν η μνήμη ενεργοποιήσει write action
Μια ανάμνηση χωρίς provenance, scope ή status δεν είναι έγκυρος επιχειρησιακός κανόνας.
Μπλοκάρετε την αυτονομία όταν η πηγή δεν είναι ελέγξιμη, όταν υπάρχει νεότερο conflicting fact ή όταν το retrieval gate δεν μπορεί να αιτιολογήσει γιατί η μνήμη αφορά τη συγκεκριμένη εργασία. Επιτρέψτε action μόνο μαζί με ανεξάρτητο verifier και αναστρέψιμη διαδρομή.
Τα δικαιώματα πρέπει να ακολουθούν το ίδιο scope. Μνήμη που προέρχεται από customer-support ticket δεν πρέπει να αποκτά εξουσία πάνω σε global CRM policy. Η αρχιτεκτονική των δυναμικών δικαιωμάτων ελάχιστης πρόσβασης περιορίζει credentials, διάρκεια και blast radius, ενώ το agentic AI security stack συνδέει identity, data, runtime και monitoring controls.
Η υιοθέτηση εξωτερικής μνήμης δεν πρέπει να ξεκινά από το πόσα tokens ή vectors χωρά. Ξεκινά από τις αποτυχίες που θέλει να αποτρέψει η ομάδα. Χρειάζονται σενάρια όπου νεότερη οδηγία ακυρώνει παλιότερη, ένα feedback ισχύει μόνο σε περιορισμένο scope και η σωστή ενέργεια απαιτεί ακριβές στοιχείο από προηγούμενη συνεδρία.
Επτά βήματα για pilot μνήμης AI agent
Διαλέξτε ένα συγκεκριμένο workflow, τα συστήματα που διαβάζει ή γράφει ο agent και τις συνέπειες μιας stale ή overscoped μνήμης.
Προσθέστε superseded οδηγίες, scoped feedback, generated-file boundaries, irrelevant context και περιπτώσεις όπου η σωστή ενέργεια είναι αποχή.
Ορίστε tests, policy checks ή deterministic validations πριν από τα runs, ώστε η επιτυχία να μη βαθμολογείται από πειστική γλώσσα.
Συνδέστε κάθε derived memory με το raw event, χρόνο, subject, scope, confidence, status και τυχόν νεότερο fact που την ακυρώνει.
Καταγράψτε stale use, overscope, irrelevant import και repeated error αντί να κρύβονται μέσα σε ένα συνολικό pass rate.
Κρατήστε τι ανακτήθηκε, τι μπλοκαρίστηκε, ποια πηγή επηρέασε την απόφαση, ποιο write έγινε και ποιο oracle το επαλήθευσε.
Αυξήστε autonomy μόνο αν task success, harmful retrieval, latency, κόστος, auditability και rollback παραμένουν αποδεκτά σε επαναλαμβανόμενα runs.
Αυτή η διαδικασία μετατρέπει τη μνήμη από feature demo σε ελεγχόμενο υποσύστημα. Ειδικά όταν ο agent γράφει κώδικα, ενημερώνει CRM ή αλλάζει περιεχόμενο, η ποιότητα της ανάκτησης πρέπει να συνδέεται με σαφή όρια και δυνατότητα αναδρομικού ελέγχου. Η αξιολόγηση ενός terminal agent ως πλήρους συστήματος προσφέρει χρήσιμο πρότυπο: model, harness, runtime, verifier και permissions αναφέρονται μαζί.
Η μελέτη περιλαμβάνει διαγνωστικά κόστους. Στο v2 αναφέρει κόστος ανά επιτυχημένη εργασία 0,0356 δολάρια για raw-only reference probe, 0,0383 για hybrid και 0,0395 για B5. Οι τιμές αφορούν το συγκεκριμένο πείραμα, τις συγκεκριμένες υλοποιήσεις και την περίοδο εκτέλεσης. Δεν είναι τρέχων τιμοκατάλογος ή πρόβλεψη παραγωγικού κόστους.
Το χρήσιμο μάθημα είναι μεθοδολογικό: το κόστος πρέπει να συσχετίζεται με επιτυχείς εργασίες, όχι μόνο με το κόστος κάθε κλήσης. Μια φθηνότερη λύση που εισάγει stale οδηγίες μπορεί να δημιουργήσει downstream κόστος σε review, rollback και διόρθωση. Για σωστή απόφαση χρειάζονται μαζί success rate, harmful-retrieval metrics, latency, auditability και λειτουργικό κόστος.
Η μνήμη είναι και επιφάνεια επίθεσης. Το OWASP ASI06 περιγράφει memory and context poisoning: μη αξιόπιστο περιεχόμενο μπορεί να παραμείνει, να ανακτηθεί αργότερα και να επηρεάσει planning ή tool use. Γι’ αυτό ingestion validation, separation, provenance, read logs και δυνατότητα ανάκλησης δεν είναι μόνο ποιοτικά χαρακτηριστικά· είναι security controls.
Το NIST AI RMF Generative AI Profile τοποθετεί testing, evaluation, verification και validation μέσα σε συνεχή διαχείριση ρίσκου. Για έναν memory-bearing agent, αυτό σημαίνει ότι η ομάδα πρέπει να ελέγχει το πλήρες lifecycle της μνήμης: εισαγωγή, consolidation, ανάκτηση, χρήση, λήξη, διόρθωση και διαγραφή όπου απαιτείται από την πολιτική δεδομένων.
Η εργασία χρησιμοποιεί έναν wake model και δεν αποδεικνύει μεταφορά των αποτελεσμάτων σε άλλα μοντέλα. Το benchmark είναι ελεγχόμενο και εστιάζει σε συγκεκριμένες παθολογίες software engineering. Η απομόνωση αφορά το filesystem, όχι πλήρη network isolation. Οι baseline υλοποιήσεις είναι οριοθετημένες και δεν αντιπροσωπεύουν κάθε πιθανή μορφή των αντίστοιχων αρχιτεκτονικών.
Η hosted Mem0 condition είναι μία ακριβής pinned literal-storage διαμόρφωση. Δεν δικαιολογεί claims για όλο το προϊόν, άλλες ρυθμίσεις ή μελλοντικές εκδόσεις. Η μη απόρριψη μιας διαφοράς δεν σημαίνει ισοδυναμία, ενώ αριθμητική υπεροχή χωρίς confirmatory σύγκριση δεν γίνεται γενική κατάταξη.
Ορισμένες διαγνωστικές ετικέτες είναι εργαλεία ανάλυσης και όχι καθολικοί ορισμοί «καλής μνήμης». Μια επιχείρηση πρέπει να προσαρμόσει traps, oracles και scopes στις δικές της διαδικασίες αντί να αντιγράψει μηχανικά το benchmark. Για e-commerce ή CRM, για παράδειγμα, μια προσωρινή εξαίρεση πελάτη και μια μόνιμη πολιτική χρειάζονται διαφορετικό subject, scope, authority και expiry.
Το στρατηγικό συμπέρασμα είναι καθαρό: η μνήμη ενός AI agent είναι σύστημα αποφάσεων, όχι απλή αποθήκη. Αξιόπιστη λειτουργία απαιτεί πρωτογενή αποδεικτικά στοιχεία, typed αναπαραστάσεις με provenance, κανόνες supersession, ελεγχόμενη ανάκτηση, περιορισμένα δικαιώματα και tests που μετρούν την τελική ενέργεια. Το ώριμο επόμενο βήμα δεν είναι να δώσετε στον agent «όλη την ιστορία», αλλά να ορίσετε ποια ιστορία θεωρείται έγκυρη, πότε παύει να ισχύει και πώς αποδεικνύεται ότι χρησιμοποιήθηκε σωστά.
Από τη μνήμη agent σε ελεγχόμενο επιχειρηματικό workflow
Η TWO DOTS χαρτογραφεί το use case, οργανώνει ασφαλή pilots και συνδέει AI agents, εταιρικά δεδομένα, policy controls, monitoring και ανθρώπινο handoff πριν η μνήμη αποκτήσει πραγματικά side effects.
Συχνές ερωτήσεις
Είναι benchmark πολλαπλών συνεδριών για software agents. Ελέγχει αν στοιχεία από προηγούμενες συνεδρίες χρησιμοποιούνται σωστά σε μεταγενέστερες αλλαγές κώδικα που βαθμολογούνται με κρυφά, εκτελέσιμα oracles.
Σημαίνει ότι η μνήμη διατηρεί τεκμηριωμένη πληροφορία, αποφεύγει stale ή άσχετα στοιχεία, σέβεται το scope, αναγνωρίζει supersession και επιτρέπει στον agent να απέχει όταν οι αποδείξεις δεν επαρκούν.
Όχι. Μία συγκεκριμένη pinned hosted literal-storage ρύθμιση πέτυχε 97/180 στο v2.1, αλλά η μελέτη περιορίζει το claim σε αυτό το configuration και δεν τεκμηριώνει γενική υπεροχή προϊόντος ή μηχανισμού.
Στο v2 είχε 95/180 έναντι 89/180, αλλά η στατιστική σύγκριση δεν απέρριψε τη μηδενική υπόθεση. Στο v2.1 οι επιτυχίες ήταν 83/180 και 82/180 αντίστοιχα. Αυτά δεν αποδεικνύουν υπεροχή ή ισοδυναμία.
Για να μετρηθεί αν η μνήμη οδήγησε σε λειτουργικά σωστή αλλαγή κώδικα και όχι απλώς σε πειστική γλωσσική απάντηση. Το κρυφό oracle μειώνει τον κίνδυνο άμεσης προσαρμογής στη λύση.
Διατηρούν την πρωτογενή απόδειξη πίσω από κάθε derived μνήμη. Έτσι η ομάδα μπορεί να ελέγξει μια σύνοψη, να διορθώσει λάθος consolidation και να κρατήσει audit trail χωρίς να χάσει το αρχικό γεγονός.
Η μελέτη δεν αποδεικνύει άμεση μεταφορά. Οι αρχές provenance, scope, supersession και executable validation μπορούν να καθοδηγήσουν εταιρικά tests, αλλά χρειάζονται traps και oracles ειδικά για το εκάστοτε workflow.
Μαζί με το task success πρέπει να καταγράφει stale use, overscope, irrelevant retrieval, επανάληψη παλιών λαθών, δυνατότητα αποχής, latency, κόστος ανά επιτυχή εργασία και auditability.
