С повече от 20 години опит ние променяме вашето цифрово присъствие. Специализирани сме в разработването на уебсайтове и електронни магазини, SEO и цифров маркетинг, ERP софтуер и интелигентна автоматизация, които извеждат бизнеса ви на следващото ниво.
Адрес:
Егнатия 154, Солун 546 36
Телефон:
+30 231 231 4095
Електронна поща:
[email protected]
Готови ли сте за следващата стъпка?;
Η μέθοδος SSKG μεταφέρει την απόφαση έξω από το LLM και δημιουργεί ελεγχόμενες, διαγνώσιμες προσομοιώσεις μαθητών με σαφή όρια.
Απάντηση πρώτα: το SSKG δείχνει ότι ένα ισχυρό LLM δεν γίνεται πιστός «μαθητής» μόνο επειδή το prompt τού ζητά να παίξει έναν ρόλο. Στη μελέτη, τρία μοντέλα απάντησαν σωστά στο 96,8% έως 100% των θεμάτων, ακόμη και όταν υποτίθεται ότι προσομοίωναν σοβαρά κενά γνώσης.
Η λύση μεταφέρει την κρίσιμη απόφαση έξω από το LLM: ένα Stochastic Student Knowledge Graph δειγματοληπτεί πρώτα τι γνωρίζει το προφίλ, ποιο βήμα απέτυχε και ποια απάντηση προκύπτει. Μόνο μετά το μοντέλο αναλαμβάνει την αφήγηση μιας συμβατής εξήγησης. Για ομάδες AI, το πρακτικό μάθημα είναι ευρύτερο: τα όρια, οι καταστάσεις και τα outcomes πρέπει να επιβάλλονται από ελεγχόμενο σύστημα, όχι από role prompt.
Το Stochastic Student Knowledge Graph, ή SSKG, είναι μια πιθανοτική αναπαράσταση του τι μπορεί να γνωρίζει ένας προσομοιωμένος μαθητής σε συγκεκριμένη χρονική στιγμή. Κάθε λεπτομερής μονάδα γνώσης έχει δική της πιθανότητα mastery και κάθε ερώτηση αντιστοιχίζεται στην αλυσίδα μονάδων που απαιτούνται για να λυθεί.
Όταν έρχεται ένα θέμα, η απάντηση δεν αφήνεται στην εσωτερική ικανότητα του γλωσσικού μοντέλου. Ένας αναλυτικός sampler ελέγχει την απαιτούμενη αλυσίδα, καταγράφει επιτυχία ή αποτυχία ανά βήμα, αποφασίζει το τελικό outcome και αποδίδει αιτία στο πρώτο ουσιαστικό λάθος. Το LLM χρησιμοποιείται στη συνέχεια ως γλωσσικός renderer της ήδη αποφασισμένης συμπεριφοράς.
Η αλλαγή μοιάζει μικρή, αλλά είναι αρχιτεκτονική. Το prompt παύει να είναι ο μοναδικός μηχανισμός ελέγχου. Το SSKG γίνεται εξωτερικό state model με καταγεγραμμένα inputs, πιθανοτικές αποφάσεις και αναπαραγώγιμο seed. Αυτή η διάκριση ανάμεσα σε απόφαση και αφήγηση είναι η βασική αξία της εργασίας.
Role prompt
Το LLM αποφασίζει και την απάντηση και την εξήγηση. Η πραγματική του ικανότητα διαρρέει στον ρόλο και συμπιέζει όλα τα προφίλ κοντά στο 100%.
Εξωτερικό state model
Το SSKG δειγματοληπτεί mastery ανά μονάδα γνώσης, αποφασίζει το outcome και καταγράφει το πρώτο βήμα που απέτυχε.
Γλωσσική απόδοση
Το LLM αφηγείται μόνο αποτέλεσμα που έχει ήδη καθοριστεί, με rationale συμβατό με retrieval ή execution failure.
Τα συνθετικά δεδομένα μαθητών είναι χρήσιμα για cold-start εκπαίδευση knowledge-tracing συστημάτων, stress tests έξυπνων tutors και πιλοτικό έλεγχο ερωτήσεων πριν φτάσουν σε πραγματικούς μαθητές. Η συλλογή πραγματικών εκπαιδευτικών δεδομένων είναι αργή και συνοδεύεται από πρακτικούς, δεοντολογικούς και ιδιωτικούς περιορισμούς. Ένα LLM φαίνεται ελκυστική εναλλακτική επειδή λύνει προβλήματα και παράγει πειστικές εξηγήσεις.
Ακριβώς αυτή η ικανότητα γίνεται πηγή αστοχίας. Η μελέτη έδωσε 379 θέματα SAT Algebra σε Gemini 3.1 Flash Lite, Claude Haiku 4.5 και GPT-5.4-mini, με πέντε διαφορετικά προφίλ μαθητών. Παρά τις οδηγίες για σχεδόν άριστη, μέση, χαμηλή ή εντοπισμένα ελλιπή γνώση, τα μοντέλα έμειναν στο 96,8% έως 100% ακρίβεια.
Τα δύο προφίλ με δομημένα κενά δεν διακρίνονταν στατιστικά από το προφίλ υψηλής γνώσης για κανένα μοντέλο. Το LLM «ήξερε» να λύνει το θέμα και το role prompt δεν κατάφερε να περιορίσει αξιόπιστα αυτή την ικανότητα. Η ίδια παγίδα εμφανίζεται όταν επιχειρηματικά tests ζητούν από έναν agent να υποδυθεί αρχάριο χρήστη, περιορισμένο υπάλληλο ή ανυπόμονο πελάτη χωρίς να επιβάλλουν πραγματικούς περιορισμούς.
Το εύρημα συνδέεται με το behavioral testing για AI agents: μια πειστική απάντηση δεν αρκεί για να αποδείξει ότι το σύστημα ακολούθησε το ζητούμενο state, τα δικαιώματα και τη διαδρομή.
Το SSKG χωρίζει τη ροή σε δύο στάδια. Στο πρώτο δεν γίνεται κλήση σε LLM. Για κάθε ερώτηση εξετάζεται η αλυσίδα γνώσης, γίνονται καταγεγραμμένες Bernoulli δειγματοληψίες και αποφασίζεται αν το προφίλ γνωρίζει και εκτελεί σωστά κάθε απαιτούμενο βήμα.
Σε αποτυχία, το σύστημα αποθηκεύει το first_failed_triple_id и failure_kind. Έτσι ξεχωρίζει αν έλειπε η γνώση, δηλαδή retrieval failure, ή αν η γνώση υπήρχε αλλά εφαρμόστηκε λανθασμένα, δηλαδή execution slip. Όπου υπάρχει επαληθευμένο distractor mapping, το αποτυχημένο βήμα οδηγεί στη συγκεκριμένη λάθος επιλογή που θα προκαλούσε.
Στο δεύτερο στάδιο, το LLM λαμβάνει την ερώτηση, το ήδη αποφασισμένο αποτέλεσμα και το trace. Η αποστολή του είναι περιορισμένη: να γράψει πρωτοπρόσωπη αιτιολόγηση που συμφωνεί με αυτά. Στις 1.895 narrations του arm-d, η τελική απάντηση της αφήγησης ταίριαξε με την απόφαση του sampler σε όλες τις περιπτώσεις.
Η αρχή είναι χρήσιμη και πέρα από την εκπαίδευση. Όταν ένα AI workflow έχει όρια ποσού, scopes πρόσβασης, κανόνες απορρήτου ή υποχρεωτικό human approval, ο deterministic ή probabilistic controller πρέπει να επιβάλλει το outcome. Το LLM μπορεί να εξηγεί, να συνοψίζει και να καθοδηγεί τον χρήστη, αλλά δεν πρέπει να εφευρίσκει τα όρια.
Οι ερευνητές κατασκεύασαν ένα Curriculum Knowledge Graph από ανοικτό βιβλίο άλγεβρας. Το κείμενο χωρίστηκε σε κεφάλαια και ενότητες, καθαρίστηκε και μετατράπηκε σε τριάδες της μορφής subject–predicate–object με LLM-assisted διαδικασία και ανθρώπινη επαλήθευση. Το τελικό γράφημα περιείχε 864 τριάδες σε δέκα κεφάλαια.
Οι 163 διαφορετικοί predicates ταξινομήθηκαν σε τρεις λειτουργικούς τύπους: 461 definitional τριάδες, 302 procedural και 101 relational. Η ταξινόμηση δεν είναι διακοσμητική. Ένας ξεχασμένος ορισμός δεν πρέπει να «βυθίζει» μηχανικά κάθε ερώτηση όπως μια αποτυχία σε υπολογιστική διαδικασία ή η επιλογή λανθασμένης μεθόδου.
Στο arm-c, οι definitional αστοχίες παύουν να είναι chain-fatal και μπορούν να εμφανίζονται ως αβεβαιότητα στην αφήγηση. Οι procedural και relational μονάδες παραμένουν ενεργές για την ορθότητα. Αυτή η taxonomy awareness παρήγαγε τη μεγαλύτερη αλλαγή της ablation ladder, με αύξηση ακρίβειας 14,0 έως 19,5 ποσοστιαίων μονάδων από το arm-b στο arm-c.
Η προσέγγιση θυμίζει γιατί τα knowledge graphs χρειάζονται σαφείς σχέσεις και επαλήθευση: η δομή έχει αξία μόνο όταν κάθε μονάδα διατηρεί προέλευση, θέση στο curriculum και συγκεκριμένο ρόλο στη λήψη απόφασης.
Για κάθε θέμα SAT, ένας LLM-assisted annotator διάβασε εκφώνηση, επιλογές και επίσημη λύση και συνέδεσε κάθε βήμα με συγκεκριμένη τριάδα του γραφήματος. Άνθρωποι επαλήθευσαν ότι οι τριάδες δικαιολογούν τα βήματα, ότι η αλυσίδα είναι πλήρης και ότι δεν περιέχει περιττές μονάδες. Αναγκαία βήματα που δεν καλύπτονταν από το γράφημα καταγράφηκαν ρητά ως gaps.
Το paper χρησιμοποιεί ως παράδειγμα ένα πρόβλημα κόστους καυσίμου. Η λύση απαιτεί πρώτα μετατροπή τιμής ανά γαλόνι σε κόστος ανά μίλι και μετά μετάφραση μιας πρότασης σε εξίσωση. Αποτυχία στη μετατροπή μονάδων οδηγεί σε διαφορετικό distractor από λανθασμένη μετάφραση του δεξιού μέλους. Έτσι το συνθετικό λάθος αποκτά αιτία και όχι απλώς τυχαία λάθος ετικέτα.
Τα distractor maps χτίστηκαν συντηρητικά. Κάθε βήμα εκτελέστηκε ξανά με ένα μόνο σκόπιμο λάθος και η αντιστοίχιση κρατήθηκε μόνο όταν αναπαρήγαγε ακριβώς μια λάθος επιλογή. Σύνθετα ή αδύναμα mappings απορρίφθηκαν ή σημειώθηκαν για επανεξέταση.
Το arm-d δεν άλλαξε την ακρίβεια σε σχέση με το arm-c: η διαφορά ήταν 0,0 ποσοστιαίες μονάδες για κάθε προφίλ. Πρόσθεσε όμως διαγνωστική αξία. Σε 19 από τα 1.895 records, ένα execution failure δρομολογήθηκε στον επαληθευμένο distractor αντί να επιλεγεί τυχαία μια λάθος απάντηση.
Η μελέτη ορίζει πέντε αρχέτυπα. Τα P1, P2 και P3 αντιστοιχούν σε σχεδόν άριστη, μέση και χαμηλή γνώση, με πιθανότητες mastery ανά τριάδα στα διαστήματα 0,85–0,99, 0,50–0,70 και 0,10–0,30. Δεν υπάρχει ένας μοναδικός βαθμός ικανότητας· κάθε προφίλ είναι διάνυσμα 864 πιθανοτήτων.
Τα P4 και P5 έχουν εντοπισμένα, συμπληρωματικά κενά. Το P4 είναι αδύναμο στα δύο πρώτα κεφάλαια, που καλύπτουν 214 τριάδες, και ισχυρότερο στα επόμενα. Το P5 έχει ισχυρές βάσεις αλλά αδυναμία στην ύλη των κεφαλαίων 3 έως 10.
Τα 379 θέματα χωρίστηκαν σύμφωνα με το footprint της αλυσίδας τους: 140 early-only, 143 mixed και 96 later-only. Αυτό επιτρέπει έλεγχο όχι μόνο της συνολικής ακρίβειας αλλά και του αν οι αποτυχίες συγκεντρώνονται πράγματι στην περιοχή όπου το προφίλ δηλώνει κενό.
Για AI προϊόντα, αυτή η λογική είναι ισχυρότερη από γενικές personas. Ένας agent δεν χρειάζεται να είναι απλώς «junior» ή «expert». Χρειάζεται ρητή αναπαράσταση για τα εργαλεία που επιτρέπεται να χρησιμοποιεί, τις πληροφορίες που γνωρίζει, τις ενέργειες που απαιτούν έγκριση και τις καταστάσεις όπου πρέπει να σταματά.
Η μέθοδος αξιολογήθηκε σε τέσσερα σωρευτικά arms. Το arm-a κάνει μία Bernoulli δειγματοληψία ανά τριάδα και αντιμετωπίζει όλες τις μονάδες ως ισοδύναμες. Αν κάποιο ενεργό βήμα αποτύχει, η απάντηση γίνεται λανθασμένη με guess floor 0,25.
Το arm-b χωρίζει τη γνώση από την εφαρμογή της. Πρώτα δειγματοληπτείται αν το προφίλ γνωρίζει την τριάδα και μετά αν κάνει slip κατά την εκτέλεση. Η πιθανότητα slip ορίστηκε στο 0,05, δηλαδή περίπου ένα απρόσεκτο λάθος ανά είκοσι γνωστά βήματα.
Το arm-c προσθέτει taxonomy awareness. Οι definitional μονάδες δεν αποφασίζουν πλέον μηχανικά την ορθότητα, ενώ procedural, relational και known-gap βήματα παραμένουν ενεργά. Το arm-d προσθέτει distractor routing χωρίς να μεταβάλλει το correctness.
Για κάθε ζεύγος θέματος και προφίλ, τα τέσσερα arms επαναχρησιμοποίησαν τις ίδιες τυχαίες δειγματοληψίες με κοινό καταγεγραμμένο seed. Έτσι οι διαφορές αποδίδονται στον πρόσθετο μηχανισμό και όχι σε διαφορετική τυχαιότητα. Αυτό είναι ένα καθαρό παράδειγμα experimental control που πρέπει να υπάρχει και σε production-like evals.
Με direct prompting, τα πέντε προφίλ του Gemini έδωσαν 100,0%, 99,7%, 96,8%, 100,0% και 100,0%. Τα άλλα δύο μοντέλα κινήθηκαν ακόμη πιο επίπεδα, μεταξύ 99,2% και 99,7%. Το profile label σχεδόν δεν επηρέασε τη συμπεριφορά.
Με SSKG, το arm-d παρήγαγε καθαρή monotone σειρά στα τρία ομοιόμορφα προφίλ: 85,2% για P1, 57,8% για P2 και 44,1% για P3. Η ακρίβεια δεν πρέπει να διαβαστεί ως «πτώση ποιότητας» του μοντέλου. Ο στόχος ήταν να διαχωριστούν αξιόπιστα τα επίπεδα mastery, κάτι που το direct prompting δεν πέτυχε.
Τέσσερα τεκμηριωμένα μεγέθη του SSKG
Οι τιμές αφορούν τη συγκεκριμένη προσομοίωση SAT Algebra και δεν αποτελούν εκτίμηση επίδοσης πραγματικών μαθητών.
Στα δομημένα κενά, το P4 πέτυχε 39,3% στα early-only, 39,9% στα mixed και 75,0% στα later-only θέματα. Το P5 είχε 70,0%, 48,3% και 62,5% αντίστοιχα. Η χαμηλότερη επίδοση του P5 στα mixed και όχι στα later-only εξηγείται από το μεγαλύτερο μήκος αλυσίδας: σε conjunctive μοντέλο, κάθε πρόσθετο αναγκαίο βήμα πολλαπλασιάζει άλλη μία πιθανότητα επιβίωσης.
Η προσοχή στα evaluation artifacts είναι κρίσιμη και σε άλλα AI benchmarks. Το K-Bench δείχνει γιατί η καλή απάντηση δεν ισοδυναμεί πάντα με σωστή δουλειά: το outcome πρέπει να συνδέεται με συγκεκριμένα traces και παραδοτέα.
Κάθε λάθος του arm-d φέρει το πρώτο triple που απέτυχε και το είδος της αποτυχίας. Για να ελέγξουν αν οι ετικέτες συνδέονται με παρατηρήσιμη συμπεριφορά, οι συγγραφείς εξέτασαν 525 ζεύγη τριάδας–προφίλ όπου η τριάδα εμφανιζόταν σε τουλάχιστον τρεις αλυσίδες.
Η mastery είχε Spearman συσχέτιση -0,459 με το error rate, με p περίπου 10-28. Σε επίπεδο μεμονωμένου θέματος, η χαμηλότερη mastery στην αλυσίδα συσχετίστηκε με το outcome κατά 0,318. Η δεύτερη σχέση είναι ασθενέστερη επειδή ένα μόνο bottleneck δεν περιγράφει πλήρως μια πολυβηματική conjunctive αλυσίδα.
Η διαγνωστική αξία προκύπτει εκ κατασκευής και όχι από εκ των υστέρων ερμηνεία του chain-of-thought. Το σύστημα γνωρίζει ποια τυχαία απόφαση άλλαξε το αποτέλεσμα. Αυτό είναι πολύ διαφορετικό από το να διαβάζει κανείς μια πειστική εξήγηση και να υποθέτει ότι εκθέτει πιστά τον πραγματικό μηχανισμό απόφασης.
Η ίδια αρχή είναι κρίσιμη όταν η AI επηρεάζει οικονομικά ή λειτουργικά συστήματα. Ένα audit trail για αποφάσεις AI πρέπει να βασίζεται σε καταγεγραμμένα inputs, policies και state transitions, όχι μόνο σε κείμενο που δημιουργήθηκε μετά το αποτέλεσμα.
Η εργασία αφορά εκπαιδευτική προσομοίωση και δεν αποδεικνύει ότι το SSKG μεταφέρεται αυτούσιο σε marketing, e-commerce ή customer support. Ως αρχιτεκτονική ένδειξη, όμως, εξηγεί γιατί ένα persona prompt δεν είναι αξιόπιστος ελεγκτής συμπεριφοράς.
Αν μια εταιρεία θέλει agent με συγκεκριμένο επίπεδο εμπειρίας, περιορισμένα δικαιώματα ή διαφορετική πρόσβαση σε δεδομένα, το προφίλ πρέπει να μεταφράζεται σε εκτελέσιμη κατάσταση: policy rules, tool scopes, state machine, versioned knowledge set και καταγεγραμμένα stop conditions. Η τεχνική για δυναμικά δικαιώματα ελάχιστης πρόσβασης στους AI agents είναι σχετικό παράδειγμα: η άδεια πρέπει να εφαρμόζεται από το σύστημα, όχι να ζητείται ευγενικά στο prompt.
Σε e-commerce test, για παράδειγμα, οι personas «νέος πελάτης», «VIP» και «χρήστης χωρίς άδεια επιστροφής» χρειάζονται διαφορετικά πραγματικά states. Το test harness πρέπει να ελέγχει ποια δεδομένα βλέπει κάθε persona, ποια actions ενεργοποιούνται, ποια όρια τιμής ισχύουν και πότε γίνεται human handoff. Διαφορετικά ο agent μπορεί να ακολουθεί το σωστό ύφος και τη λάθος επιχειρηματική πολιτική.
Τα synthetic traces χρειάζονται επίσης provenance και quality gates. Η συζήτηση για synthetic data και model collapse υπενθυμίζει ότι δεδομένα που φαίνονται πλούσια δεν γίνονται αξιόπιστα χωρίς σαφή πηγή, αξιολόγηση και σύνδεση με πραγματική συμπεριφορά.
Κανόνας απόφασης για AI personas
Μην εγκρίνετε rollout όταν η persona υπάρχει μόνο στο prompt
Go σημαίνει εκτελέσιμο state model, πραγματικά permission boundaries, seeded tests, traceable failure paths, ground-truth checks και human approval στα υψηλού ρίσκου actions. No-go σημαίνει πειστικό ύφος χωρίς ελεγχόμενη κατάσταση, logs ή validation απέναντι σε πραγματικούς χρήστες.
Από το persona prompt σε ελεγχόμενο simulator
Μετατρέψτε γενικούς ρόλους σε συγκεκριμένη γνώση, permissions, ιστορικό, όρια και διαθέσιμα εργαλεία που μπορεί να ελέγξει το σύστημα.
Για κάθε task, καταγράψτε ποια knowledge units, business rules και state transitions απαιτούνται για έγκυρο outcome.
Αφήστε deterministic ή probabilistic controller να αποφασίζει το αποτέλεσμα και περιορίστε το LLM στη γλωσσική απόδοση ή στην επιλογή μέσα σε ασφαλή όρια.
Μην αρκείστε σε success ή failure. Σημειώστε αν έλειπε πληροφορία, αν εφαρμόστηκε λάθος κανόνας ή αν απέτυχε συγκεκριμένο tool action.
Επαναλάβετε συγκρίσεις με ίδια τυχαιότητα, ίδια policy έκδοση και ίδιο dataset ώστε η μεταβολή να αποδίδεται στη σωστή αλλαγή.
Συγκρίνετε synthetic outcomes, error patterns και συχνότητες με consented, αντιπροσωπευτικά δεδομένα ή ελεγχόμενες human evaluations.
Ορίστε πότε ο simulator είναι επαρκής για test data, πότε χρειάζεται ανθρώπινη αναθεώρηση και πότε τα ευρήματα δεν επιτρέπεται να γενικευτούν.
Πριν από production χρήση, μια ομάδα μπορεί να εφαρμόσει τα τέσσερα ερωτήματα του RAIL για AI: είναι το αποτέλεσμα σχετικό, ακριβές, ερμηνεύσιμο και αξιόπιστο για το συγκεκριμένο context; Το NIST AI RMF Generative AI Profile προσθέτει την ανάγκη να τεκμηριώνονται ground truth, provenance, accuracy, representativeness και οι μέθοδοι TEVV.
Η κατασκευή του Curriculum Knowledge Graph, των solution chains και των distractor maps απαιτεί σημαντική ανθρώπινη εργασία. Η μελέτη εξετάζει ένα μόνο γνωστικό πεδίο, άλγεβρα SAT, και single-shot multiple-choice θέματα. Δεν καλύπτει διάλογο πολλών γύρων, μεταβολή mastery με τον χρόνο ή ανοιχτές απαντήσεις.
Τα πέντε προφίλ είναι αρχέτυπα με ανεξάρτητες πιθανότητες ανά τριάδα. Δεν προέκυψαν από longitudinal δεδομένα συγκεκριμένων μαθητών. Η monotone κλίση είναι χρήσιμη ιδιότητα του simulator, αλλά δεν αποτελεί απόδειξη ψυχομετρικού ρεαλισμού.
Δεν υπάρχει ακόμη επικύρωση απέναντι σε πραγματικές αποκρίσεις μαθητών ούτε άμεση σύγκριση του SSKG με όλες τις prompt-level, model-level και architecture-level εναλλακτικές. Οι ίδιοι οι συγγραφείς θέτουν ως επόμενο βήμα τη σύγκριση με Item Response Theory statistics και πραγματικά μοτίβα λαθών.
Επιπλέον, το arm-c βελτιώνει την ακρίβεια εν μέρει επειδή definitional failures παύουν να αλλάζουν το outcome. Αυτό είναι συνειδητή modeling επιλογή και όχι καθολικός νόμος μάθησης. Σε άλλο curriculum ή business domain, η taxonomy και η βαρύτητα κάθε state unit θα χρειαστούν νέα τεκμηρίωση.
Το SSKG μετατρέπει την προσομοίωση μαθητή από άσκηση role-playing σε ελεγχόμενη διαδικασία. Η γνώση αναπαρίσταται σε λεπτομερείς μονάδες, κάθε task γίνεται αλυσίδα απαιτήσεων, ο sampler αποφασίζει το αποτέλεσμα και το LLM χρησιμοποιείται για την αφήγηση χωρίς να μπορεί να αναιρέσει το προφίλ.
Στη συγκεκριμένη μελέτη, η αρχιτεκτονική αποκατέστησε monotone mastery gradient, εντοπισμένα κενά και diagnostic labels. Δεν απέδειξε ακόμη ότι οι synthetic students μοιάζουν με πραγματικούς μαθητές, και αυτό το όριο πρέπει να παραμένει ορατό.
Για ομάδες AI, το μήνυμα είναι πρακτικό: ένα prompt μπορεί να περιγράψει συμπεριφορά, αλλά δεν πρέπει να είναι ο μόνος μηχανισμός που την επιβάλλει. State models, permissions, seeded evals, traces και εξωτερική validation κάνουν τη συμπεριφορά μετρήσιμη. Το LLM είναι ισχυρότερο όταν του αναθέτουμε τη γλωσσική ευχέρεια και όχι ολόκληρη την πολιτική απόφασης.
Από το persona prompt σε ελεγχόμενο AI workflow
Σχεδιάστε AI agents με πραγματικά states, permissions και audit trails
Η TWO DOTS χαρτογραφεί business rules, tool scopes, verification gates, failure traces και human handoffs ώστε κάθε persona να αντιστοιχεί σε ελέγξιμη συμπεριφορά και όχι μόνο σε διαφορετικό ύφος.
Често задавани въпроси
Είναι ένα Stochastic Student Knowledge Graph που αναθέτει πιθανότητα mastery σε κάθε μονάδα γνώσης και δειγματοληπτεί τα απαιτούμενα βήματα μιας λύσης πριν κληθεί το LLM.
Τα ισχυρά LLMs συνέχισαν να λύνουν σχεδόν όλα τα θέματα σωστά, ακόμη και όταν το prompt περιέγραφε μαθητή με χαμηλή ή εντοπισμένα ελλιπή γνώση.
Χρησιμοποίησε 379 θέματα SAT Algebra, Curriculum Knowledge Graph 864 τριάδων σε δέκα κεφάλαια και πέντε αρχέτυπα mastery.
Ελέγχει την αλυσίδα γνώσης με καταγεγραμμένες πιθανοτικές δειγματοληψίες, αποφασίζει correctness και failure kind και μετά ζητά από LLM να γράψει συμβατή αιτιολόγηση.
Συνδέει μια επαληθευμένη execution αστοχία με τη συγκεκριμένη λάθος επιλογή που θα προκαλούσε. Δεν αλλάζει την ακρίβεια, αλλά κάνει το synthetic error πιο διαγνώσιμο.
Στα τρία ομοιόμορφα προφίλ, η ακρίβεια ακολούθησε καθαρή σειρά mastery: 85,2% για P1, 57,8% για P2 και 44,1% για P3.
Όχι. Η μελέτη δεν έχει ακόμη επικυρώσει τα synthetic accuracy και error patterns απέναντι σε πραγματικές αποκρίσεις μαθητών ή εξωτερικά IRT statistics.
Οι κρίσιμες αποφάσεις, τα permissions και τα stop conditions πρέπει να ελέγχονται από εξωτερικό state model και το LLM να χρησιμοποιείται μέσα σε αυτά τα όρια, όχι ως μοναδικός ελεγκτής.
Източници
