Με πάνω από 20 χρόνια εμπειρίας, μεταμορφώνουμε την ψηφιακή σας παρουσία. Εξειδικευόμαστε στην κατασκευή ιστοσελίδων και E-Shop, το SEO και το Digital Marketing, τα ERP λογισμικά και τους έξυπνους αυτοματισμούς που απογειώνουν την επιχείρησή σας.
Διεύθυνση:
Εγνατία 154, Θεσσαλονίκη 546 36
Τηλέφωνο:
+30 231 231 4095
E-mail:
hello@twodots.gr
Έτοιμοι για το επόμενο βήμα;
Το KDAF δείχνει γιατί η AI στα οικονομικά χρειάζεται audit trail, provenance και σκληρά όρια εταιρείας και περιόδου πέρα από τη σωστή απάντηση.
Στα οικονομικά, μια σωστή απάντηση από AI δεν αρκεί αν κανείς δεν μπορεί να αποδείξει πώς προέκυψε. Το KDAF δεν νίκησε το BM25 στην ορθότητα του FinanceBench, αλλά πέτυχε υψηλότερο citation traceability F1 και μηδενική διαρροή τεκμηρίων από άλλη εταιρεία. Το ώριμο συμπέρασμα δεν είναι «knowledge graph παντού»· είναι ότι accuracy, provenance, εταιρικά και χρονικά όρια, ανθρώπινος έλεγχος και λειτουργικό κόστος πρέπει να αξιολογούνται χωριστά.
Αυτό είναι το κεντρικό επιχείρημα της εργασίας Auditable by Construction. Ο συγγραφέας παρουσιάζει το Knowledge-Driven Analytics Framework (KDAF), μια μεθοδολογία έξι σταδίων για ontology-driven συστήματα γνώσης, μαζί με τον αλγόριθμο Context-Aware Relevance Propagation (CARP). Το ενδιαφέρον εύρημα είναι διπλό και ασυνήθιστα ειλικρινές: στη δοκιμή με 145 ερωτήσεις του FinanceBench, το KDAF δεν ξεπέρασε ουσιαστικά τα lexical baselines στην ορθότητα απάντησης. Ωστόσο, είχε την υψηλότερη ιχνηλασιμότητα παραπομπών και επέβαλε σαφέστερα όρια στο ποια evidence items μπορούσαν να περάσουν στο context.
Τα μεγάλα γλωσσικά μοντέλα μπορούν να γράφουν πειστικά, αλλά η πειστικότητα δεν ισοδυναμεί με ελεγκτική επάρκεια. Η εργασία συνδέει την ανάγκη τεκμηρίωσης με τις προσδοκίες model risk management: οι είσοδοι και οι έξοδοι πρέπει να είναι traceable, η λειτουργία του συστήματος να μπορεί να γίνει κατανοητή από ανεξάρτητο μέρος και τα αποτελέσματα να υπόκεινται σε effective challenge. Στην πράξη, μια οικονομική εξήγηση χωρίς αναγνωρίσιμη βάση δεν είναι απλώς λιγότερο χρήσιμη· μπορεί να είναι ακατάλληλη για λήψη απόφασης.
Η μελέτη προτείνει επομένως να αξιολογούμε το enterprise RAG σε δύο ξεχωριστούς άξονες. Ο πρώτος είναι η ορθότητα της τελικής απάντησης. Ο δεύτερος είναι η auditability: αν η απάντηση συνδέεται με αναγνωρίσιμα evidence identifiers, αν η διαδρομή ανάκτησης είναι καταγεγραμμένη και αν η προέλευση κάθε στοιχείου μπορεί να αναλυθεί. Το δεύτερο δεν υποκαθιστά το πρώτο. Προσθέτει την υποδομή που επιτρέπει σε άνθρωπο να ελέγξει το πρώτο.
Το πρώτο στάδιο είναι problem-centric scoping. Αντί η ομάδα να ξεκινήσει από διαθέσιμα δεδομένα ή από μια γενική φιλοδοξία για «AI στα οικονομικά», μετατρέπει συγκεκριμένες ανάγκες σε competency questions. Παραδείγματα του paper είναι η διερεύνηση αύξησης λειτουργικών εξόδων ή η αναζήτηση οδηγών πτώσης περιθωρίου. Οι ερωτήσεις αυτές ορίζουν τι πρέπει να μπορεί να απαντήσει η οντολογία και περιορίζουν τον κίνδυνο να δημιουργηθεί ένα τεχνικά εντυπωσιακό αλλά επιχειρησιακά ασύνδετο graph.
Στο δεύτερο στάδιο, οι competency questions αναλύονται σε entities, metrics και relationships, ώστε να σχηματιστεί ένα Minimum Viable Graph. Η λογική είναι να αντιμετωπιστεί το cold start με το μικρότερο σχήμα που μπορεί να υπηρετήσει μια πραγματική ερώτηση. Το scaffold μπορεί να ευθυγραμμιστεί με υπάρχουσες οντολογίες, όπως το Financial Industry Business Ontology, και να επικυρωθεί από subject-matter experts πριν μεγαλώσει.
Στο τρίτο στάδιο, το LLM δεν κάνει ανεξέλεγκτη εξαγωγή οντοτήτων. Λειτουργεί με schema constraints και αντιστοιχίζει περιεχόμενο από οικονομικές καταστάσεις, εσωτερικές αναφορές ή κανονιστικές καταθέσεις σε προϋπάρχουσες κατηγορίες. Νέες έννοιες μπορούν να οδηγήσουν σε εξέλιξη του σχήματος, αλλά η διαδικασία παραμένει δεμένη με τις ορισμένες επιχειρηματικές ανάγκες.
Το τέταρτο στάδιο προσθέτει contextual relevance και provenance. Μια σχέση μπορεί να δηλώνει αν ένα τεκμήριο είναι causal driver, supporting evidence ή απλή συσχέτιση, μαζί με confidence, validation status και προέλευση. Η μελέτη περιγράφει την portable σημασιολογία σε OWL/RDF και μια materialized property-graph μορφή για γρήγορο traversal. Είναι σημαντικό ότι οι πλήρεις contextual relevance τύποι παρουσιάζονται ως design-level στόχος: στο FinanceBench πείραμα υλοποιήθηκε μόνο το υποσύνολο entity anchoring και provenance, επειδή το benchmark δεν περιέχει το κατάλληλο narrative commentary.
Το πέμπτο στάδιο είναι hybrid knowledge validation. Αυτοματοποιημένοι έλεγχοι μπορούν να επιβάλλουν κανόνες συνέπειας, ενώ σχέσεις χαμηλής βεβαιότητας οδηγούνται σε pending validation για έλεγχο από domain experts. Οι αποφάσεις επιστρέφουν στον κύκλο βελτίωσης. Το σημείο δεν είναι ότι το ontology λύνει μόνο του το πρόβλημα ποιότητας, αλλά ότι δίνει δομή στο ποιος έλεγξε τι και με ποια κατάσταση.
Για business owners και οικονομικές ομάδες, αυτό μεταφράζεται σε governance που γίνεται μέρος της αρχιτεκτονικής. Η σωστή ερώτηση δεν είναι απλώς αν υπάρχει human in the loop. Χρειάζεται να είναι σαφές ποια ευρήματα απαιτούν έγκριση, ποιος έχει την αρμοδιότητα, πώς αποθηκεύεται η απόφαση και πότε ένα τεκμήριο παύει να θεωρείται έγκυρο. Αυτή είναι επιχειρησιακή ερμηνεία της μεθοδολογίας και όχι αποτέλεσμα που μετρήθηκε στο FinanceBench.
Το έκτο στάδιο είναι το Context-Aware Relevance Propagation. Το CARP αναγνωρίζει seed entities από την ερώτηση, επεκτείνεται σε πολλαπλά hops πάνω στο graph και χρησιμοποιεί ontology-defined βάρη σχέσεων, confidence και όρια ανά βάθος. Τα thresholds είναι δυναμικά: εξαρτώνται από το καλύτερο επιλέξιμο score σε κάθε βάθος, με κατώτατο όριο. Μετά το traversal, τελική κατάταξη συνδυάζει lexical similarity, propagation score, concept coverage και period coverage.
Η σχεδιαστική διαφορά βρίσκεται και στο output. Η ανάκτηση δεν επιστρέφει μόνο αποσπάσματα, αλλά trace με match reasons για τα seeds, typed traversal paths, αποφάσεις αποδοχής ή απόρριψης και end-to-end provenance. Όπως δείχνουν και οι αποτυχίες των AI search agents αφού έχουν ήδη βρει την απάντηση, η ανεύρεση evidence και η σωστή χρήση του είναι διαφορετικά προβλήματα. Έτσι ο reviewer μπορεί να δει όχι μόνο ποιο evidence χρησιμοποιήθηκε, αλλά και πώς έφθασε το σύστημα σε αυτό. Το paper αναγνωρίζει πάντως ότι στο τελικό ranking καταγράφονται ατομικά μόνο τα επιλεγμένα items, όχι κάθε επιλέξιμο item που έμεινε εκτός budget· αυτό παραμένει κενό του audit record.
Η proof-of-concept αξιολόγηση χρησιμοποίησε 145 untouched ερωτήσεις από το FinanceBench. Πέντε από τις αρχικές 150 είχαν χρησιμοποιηθεί για calibration της συμπεριφοράς company boundary και αποκλείστηκαν πριν από την instrumented αξιολόγηση. Όλα τα συστήματα αναζητούσαν στο ίδιο pool 189 προεξαγμένων evidence records. Αυτό κάνει τις συγκρίσεις μεταξύ των συστημάτων ελεγχόμενες, αλλά δεν προσομοιώνει open-corpus retrieval ή πλήρη αναζήτηση σε ολόκληρα filings.
Οι πέντε συνθήκες ήταν: LLM χωρίς context, BM25 πάνω σε κείμενο, concept-weighted lexical retrieval σε κείμενο και πίνακες, graph traversal χωρίς ontology και graph traversal με KDAF. Το ίδιο γενετικό μοντέλο, Qwen3-8B μέσω Ollama σε capped no-think ρύθμιση, χρησιμοποιήθηκε για όλες τις συνθήκες. Η αξιολόγηση περιλάμβανε correctness, citation traceability F1, reviewed correctness, latency και δομικές ιδιότητες των traces.
Χωρίς retrieval, η αυτόματη ορθότητα ήταν μόλις 0,041. Με retrieval, οι τέσσερις συνθήκες κινήθηκαν από 0,103 έως 0,117. Το BM25 και το lexical hybrid έφθασαν το 0,117, το KDAF το 0,110 και το ungrounded graph traversal το 0,103. Η ζευγαρωμένη διαφορά KDAF έναντι BM25 ήταν -0,007, με 95% confidence interval από -0,021 έως 0,000: μηδέν νίκες, μία ήττα και 144 ισοπαλίες.
Το paper δεν προσπαθεί να μετατρέψει αυτό το αποτέλεσμα σε νίκη. Η καθαρή του ερμηνεία είναι ότι οι συγκεκριμένες FinanceBench ερωτήσεις είναι κυρίως single-document evidence lookups μέσα σε μικρό candidate pool, όπου η lexical αντιστοίχιση είναι σχεδόν επαρκής. Για έναν οργανισμό που χρειάζεται μόνο document lookup, η επιπλέον graph δομή δεν δικαιολογείται από την ακρίβεια αυτής της δοκιμής. Η αξία της πρέπει να αναζητηθεί αλλού και να συγκριθεί με το κόστος κατασκευής της.
Στο citation traceability F1 η κατάταξη αντιστράφηκε. Το KDAF πέτυχε 0,515, έναντι 0,488 για graph traversal χωρίς ontology, 0,463 για BM25 και 0,418 για το lexical hybrid. Η διαφορά KDAF έναντι ungrounded graph traversal ήταν +0,027 με 95% confidence interval [0,006, 0,050], ενώ έναντι BM25 ήταν +0,052 με interval [0,024, 0,083]. Και τα δύο διαστήματα απέκλειαν το μηδέν στη συγκεκριμένη paired bootstrap αξιολόγηση.
Το KDAF σε τέσσερις επαληθευμένες μετρικές
Οι τιμές αφορούν μόνο το proof-of-concept FinanceBench setup με κοινό gold-derived evidence pool και δεν αποτελούν γενικό enterprise benchmark.
Το 0,515 δεν σημαίνει ότι οι παραπομπές μπορούν να γίνουν δεκτές χωρίς έλεγχο. Ο ίδιος ο συγγραφέας τονίζει ότι περίπου η μισή citation mass που χρειάζεται ένας reviewer ευθυγραμμίζεται με το authoritative set και ότι κανένα σύστημα δεν εξαλείφει το verification burden. Επιπλέον, η μέτρηση απαιτούσε exact evidence identifiers χωρίς normalization, άρα μια ουσιαστικά σωστή near-match παραπομπή μπορούσε να βαθμολογηθεί ως αποτυχία. Το κέρδος είναι συγκριτικό: πιο ελέγξιμη απόδοση πηγής, όχι αυτόματη συμμόρφωση.
BM25 στο συγκεκριμένο pool
Έφτασε correctness 0,117 και traceability F1 0,463 με χαμηλότερη median latency, αλλά δεν μπορούσε να εκφράσει εγγενώς company boundary.
KDAF στο ίδιο setup
Έφτασε correctness 0,110 και traceability F1 0,515, με πλήρες provenance chain και μηδενικό cross-company leakage.
Production επιλογή
Χρειάζεται hard entity και period filters, independent challenge, replayable logs και μέτρηση κόστους στο πραγματικό corpus πριν δικαιολογηθεί η ontology.
Στις graph συνθήκες, η subject company λειτουργούσε ως hard constraint. Το KDAF δεν επέλεξε κανένα evidence item από εταιρεία διαφορετική από εκείνη της ερώτησης: 0 από 426 επιλογές. Το BM25 εμφάνισε cross-entity leakage στο 16,8% των επιλογών του και το lexical hybrid στο 20,2%. Το ungrounded graph είχε επίσης μηδενική cross-company διαρροή, κάτι που δείχνει ότι αυτό το πλεονέκτημα προέρχεται από τη graph-structured entity discipline και όχι αποκλειστικά από τα ontology weights.
Η περίοδος αναφοράς δεν αντιμετωπίστηκε με την ίδια αυστηρότητα. Στο KDAF ήταν soft scoring component και όχι hard filter. Ως αποτέλεσμα, το 20,5% των KDAF selections ήταν off-period, χαμηλότερα από 23,0% για BM25, 25,3% για το hybrid και 28,2% για ungrounded traversal, αλλά ακόμη πολύ υψηλά για πραγματική οικονομική αναφορά. Η μελέτη προτείνει ρητά να γίνει η περίοδος hard eligibility constraint, όπως ήδη είναι η εταιρεία.
Το KDAF συνέθεσε το μεγαλύτερο context, με μέσο όρο 1.581 tokens έναντι 1.402 για το lexical hybrid, και είχε την υψηλότερη median end-to-end latency: περίπου 8,3 δευτερόλεπτα έναντι 6,6. Άρα δεν υποστηρίζεται ισχυρισμός ότι η structured retrieval έδωσε μικρότερο context. Το ίδιο το graph retrieval ήταν μόλις 4,1 milliseconds στη διάμεσο, κάτω από 0,1% του συνολικού χρόνου· η πρόσθετη καθυστέρηση αποδόθηκε στη generation πάνω σε μεγαλύτερο context.
Αυτό δημιουργεί ένα καθαρό business trade-off. Η ερώτηση δεν είναι αν το graph είναι «γρήγορο» αφηρημένα, αλλά αν η βελτίωση attribution και boundary control αξίζει τα επιπλέον tokens, τη μοντελοποίηση και το governance. Σε μια χαμηλού ρίσκου αναζήτηση εγγράφων ίσως όχι. Σε ροή όπου κάθε claim πρέπει να συνδεθεί με filing, σελίδα και evidence item, η traceability μπορεί να είναι βασική απαίτηση προϊόντος.
Απόφαση αρχιτεκτονικής
Επιλέξτε structured retrieval όταν ο reviewer πρέπει να ανακατασκευάζει entity, reporting period, filing, evidence identifier, traversal path και approval. Αν το workload είναι απλό lookup σε ένα γνωστό έγγραφο, δοκιμάστε πρώτα ένα ισχυρό lexical ή hybrid baseline και συγκρίνετε correctness, traceability, leakage, latency και κόστος στο δικό σας corpus.
Η αξιολόγηση έχει στενό πεδίο. Δεν περιλάμβανε dense-vector retriever ή δημοσιευμένα GraphRAG συστήματα. Το graph είχε 524 nodes και 1.852 edges, πολύ μικρότερο από enterprise deployment. Το benchmark ήταν ένα, το candidate pool μικρό και gold-derived, ενώ τα 145 questions παρήγαγαν πολλές ισοπαλίες στην correctness σύγκριση. Η γενίκευση σε άλλα μοντέλα δεν ελέγχθηκε και το reviewed correctness βασίστηκε σε Llama 3 χωρίς human agreement study.
Επιπλέον, παρότι το framework στοχεύει FP&A, το πείραμα αφορούσε public-filings question answering. Δεν αξιολόγησε planning data, variance structures ή narrative commentary. Τα causal, supporting και correlational relationship types του design δεν υλοποιήθηκαν στο benchmark graph. Η εργασία αναφέρει επίσης ότι FinQA και TAT-QA παρέμειναν diagnostic λόγω ασυμβατότητας στη granularity ή στα source identifiers. Συνεπώς, η μελέτη προσφέρει ισχυρό proof of mechanism για traceability μέσα στο συγκεκριμένο setup, όχι πλήρη απόδειξη enterprise ετοιμότητας.
Η πρακτική αξία του KDAF βρίσκεται στη σειρά των αποφάσεων που αναγκάζει μια ομάδα να κάνει πριν το μοντέλο αρχίσει να απαντά. Αυτή η σειρά μπορεί να χρησιμοποιηθεί ως pilot plan, ακόμη και αν το τελικό retrieval παραμείνει lexical ή hybrid.
Από την οικονομική απόφαση στο replayable audit trail
Ξεχωρίστε απλή αναζήτηση από forecast, variance explanation, budget recommendation ή compliance-sensitive χρήση. Η απαίτηση auditability πρέπει να ακολουθεί τη σημαντικότητα της απόφασης.
Καταγράψτε ποιες ερωτήσεις πρέπει να απαντά το σύστημα, ποιοι όροι χρειάζονται κοινό ορισμό και ποια απάντηση πρέπει να οδηγήσει σε ανθρώπινο escalation.
Δώστε μοναδικά IDs σε filing, σελίδα, πίνακα, περίοδο και evidence item. Χωρίς σταθερή ταυτότητα, κανένα retrieval trace δεν μπορεί να γίνει αξιόπιστο audit record.
Το KDAF έδειξε μηδενικό cross-company leakage αλλά 20,5% off-period evidence. Τα κρίσιμα boundaries πρέπει να αποκλείουν λάθος τεκμήρια πριν από το scoring.
Κρατήστε query, seed matches, traversal ή retrieval candidates, επιλεγμένα evidence IDs, εκδόσεις, thresholds, exclusions και budget decisions. Ένα πειστικό rationale δεν αντικαθιστά τα ανεξάρτητα action logs.
Ο reviewer χρειάζεται αρμοδιότητα, πρόσβαση στα τεκμήρια και σαφή δυνατότητα override. Συνδέστε τα ευρήματα με limitations και governance records, όχι μόνο με ένα τελικό score.
Συγκρίνετε accuracy, traceability, entity και period leakage, latency, context tokens, ανθρώπινο χρόνο review και failure severity. Η βελτίωση πέρα από το τελικό score και τα controls ως τεχνολογική επένδυση χρειάζονται narrow evaluation στο πραγματικό workflow.
Το KDAF δεν αποδεικνύει ότι τα knowledge graphs κάνουν πάντα τις απαντήσεις σωστότερες. Αποδεικνύει κάτι πιο συγκεκριμένο στο FinanceBench setup: όταν η accuracy έμεινε ουσιαστικά ίδια, η ontology-grounded ανάκτηση παρήγαγε καλύτερη citation traceability και η graph δομή επέβαλε εταιρικό boundary χωρίς cross-entity leakage. Παράλληλα, εξέθεσε ένα σοβαρό off-period πρόβλημα και άφησε πλήρες ίχνος για πολλές από τις αποφάσεις της.
Αυτή η διαφάνεια είναι ίσως το πιο ώριμο σημείο της εργασίας. Ένα trustworthy AI σύστημα δεν χρειάζεται μόνο καλά averages. Χρειάζεται να αποκαλύπτει πού δεν κέρδισε, ποια όρια είναι hard ή soft, ποιο κόστος προσθέτει και ποια μέρη του audit trail παραμένουν ελλιπή. Για τα οικονομικά, η σωστή απάντηση είναι η αρχή. Η δυνατότητα να αποδειχθεί πώς προέκυψε είναι το επίπεδο στο οποίο αρχίζει η πραγματική αξιοπιστία.
Από το σωστό answer στο ελέγξιμο workflow
Η TWO DOTS χαρτογραφεί authoritative sources, retrieval και action logs, validation gates, approvals και ασφαλή fallbacks ώστε κάθε κρίσιμη απάντηση να μπορεί να ελεγχθεί και να ανακατασκευαστεί.
Συχνές ερωτήσεις
Το Knowledge-Driven Analytics Framework είναι μεθοδολογία έξι σταδίων για ontology-driven knowledge systems, από competency questions και minimum viable graph έως validation και context-aware retrieval.
Είναι ο αλγόριθμος retrieval του KDAF: ξεκινά από seed entities, διασχίζει typed graph paths με βάρη και thresholds και επιστρέφει evidence μαζί με provenance και trace αποφάσεων.
Όχι στη συγκεκριμένη αξιολόγηση. Η correctness ήταν 0,110 για KDAF και 0,117 για BM25, με paired διαφορά -0,007 και διάστημα εμπιστοσύνης που δεν τεκμηρίωσε πλεονέκτημα accuracy.
Στο citation traceability F1, όπου έφτασε 0,515 έναντι 0,463 του BM25, και στη διατήρηση πλήρους provenance chain για κάθε επιλεγμένο evidence item.
Στο συγκεκριμένο graph setup ναι: επέλεξε 0 από 426 evidence items από εταιρεία διαφορετική από το subject της ερώτησης. Αυτό δεν αποδεικνύει την ίδια επίδοση σε άλλο corpus.
Η εταιρεία ήταν hard eligibility constraint, ενώ η περίοδος ήταν soft scoring term. Έτσι το 20,5% των KDAF selections στις period-bearing ερωτήσεις ήταν off-period.
Όχι. Το traceability είναι τεχνική δυνατότητα ελέγχου, όχι νομική γνωμοδότηση ή πιστοποίηση. Χρειάζονται κατάλληλα controls, roles, validation και απαιτήσεις ανά χρήση και δικαιοδοσία.
Όταν η επιχειρησιακή απόφαση απαιτεί ρητά entity και time boundaries, typed relationships, replayable provenance και independent review. Για απλό document lookup, ένα ισχυρό lexical baseline μπορεί να είναι αρκετό.
