С повече от 20 години опит ние променяме вашето цифрово присъствие. Специализирани сме в разработването на уебсайтове и електронни магазини, SEO и цифров маркетинг, ERP софтуер и интелигентна автоматизация, които извеждат бизнеса ви на следващото ниво.
Адрес:
Егнатия 154, Солун 546 36
Телефон:
+30 231 231 4095
Електронна поща:
[email protected]
Готови ли сте за следващата стъпка?;
Το CHNB δείχνει ότι ήχος, χρονική σειρά και σχέσεις μεταξύ σκηνών είναι κρισιμότερα από περισσότερα μεμονωμένα καρέ για την AI κατανόηση βίντεο.
Απάντηση πρώτα: η AI μπορεί να αναγνωρίζει πρόσωπα, αντικείμενα και μεμονωμένες σκηνές σε μια ταινία, αλλά να χάνει την ιστορία επειδή η αφήγηση βρίσκεται στις σχέσεις ανάμεσα στα γεγονότα: ποιος γνώριζε τι, πότε άλλαξε ένας στόχος, τι ειπώθηκε εκτός κάδρου και γιατί ένα μοτίβο επανέρχεται.
Το Classical Hollywood Narrative Benchmark, ή CHNB, δείχνει ότι η πλήρης πρόσβαση σε βίντεο και ήχο έφτασε 61,1% ακρίβεια, ενώ η μετρημένη ανθρώπινη επίδοση ήταν 82,0%. Το πιο χρήσιμο εύρημα για επιχειρησιακά συστήματα video analytics είναι ότι η χρονική, audio-visual αναπαράσταση μετρά περισσότερο από την απλή αύξηση μεμονωμένων καρέ ή από έναν agent που ψάχνει σε ελλιπές index.
Τα ανοικτά benchmarks επιτρέπουν σε διαφορετικές ομάδες να συγκρίνουν συστήματα πάνω στο ίδιο υλικό. Στον κινηματογράφο, όμως, το πρωτογενές υλικό προστατεύεται συνήθως από πνευματικά δικαιώματα. Ακόμη και όταν η χρήση αποσπασμάτων για έρευνα μπορεί να θεωρηθεί θεμιτή, οι άδειες, οι αφαιρέσεις από πλατφόρμες και τα αιτήματα DMCA κάνουν ένα dataset εύθραυστο. Ένα benchmark που σήμερα βασίζεται σε διαθέσιμα video URLs μπορεί αύριο να έχει χάσει μέρος του υλικού του.
Οι ερευνητές επέλεξαν δύο φίλτρα: αποδεδειγμένη εμπορική δημοφιλία και πιθανό καθεστώς δημόσιου κτήματος στις ΗΠΑ. Η λέξη «πιθανό» είναι κρίσιμη. Δεν υπάρχει ενιαίο, πλήρες μητρώο όλων των ταινιών δημόσιου κτήματος, ενώ μια μεταγενέστερη αποκατάσταση ή το λογοτεχνικό έργο πάνω στο οποίο βασίστηκε μια ταινία μπορεί να προστατεύεται χωριστά. Η ομάδα, επομένως, δεν εμπιστεύτηκε απλώς την ετικέτα μιας πλατφόρμας: ερεύνησε εγγραφές και ανανεώσεις copyright.
Για μια επιχείρηση, το αντίστοιχο μάθημα είναι ότι ένα video dataset χρειάζεται provenance, δικαιώματα, σταθερά αναγνωριστικά και τεκμηριωμένη διαδικασία επιλογής. Η ίδια αρχή εμφανίζεται στη μετάβαση από data silos σε ελέγξιμο audit trail: η τεχνική πρόσβαση σε ένα αρχείο δεν αποδεικνύει από μόνη της ότι το αρχείο είναι κατάλληλο για επαναχρησιμοποίηση ή αξιολόγηση.
Για να ορίσει τι σημαίνει «δημοφιλής ταινία», η μελέτη στράφηκε στο ιστορικό αρχείο του περιοδικού Variety. Από τεύχη της περιόδου 1922–1979 εξήχθησαν εγγραφές που συνέδεαν πόλη, κινηματογραφική αίθουσα, τίτλο και εκτιμώμενες εβδομαδιαίες εισπράξεις. Η διαδικασία δεν ήταν απλή OCR μετατροπή: οι σελίδες ήταν σαρωμένες, οι τίτλοι συχνά συντομευμένοι και οι ίδιες ταινίες εμφανίζονταν με διαφορετικά aliases.
Η ομάδα χρησιμοποίησε πολυτροπικό μοντέλο για τη δομημένη εξαγωγή και δημιούργησε χειροκίνητους χάρτες αντιστοίχισης τίτλων προς εγγραφές IMDb, όταν ένα alias εμφανιζόταν τουλάχιστον τρεις φορές σε μία χρονιά. Σε σύνολο αξιολόγησης με 4.072 χειροκίνητα επισημασμένες εγγραφές, το καλύτερο σύστημα, Gemini 3 Pro με υψηλό reasoning και πολύ υψηλή ανάλυση εικόνας, πέτυχε συσχέτιση κατάταξης Spearman 0,961.
Με αυτή τη ροή συγκεντρώθηκαν περίπου 1,4 εκατομμύρια εβδομαδιαίες τιμές για περισσότερες από 24.000 ταινίες. Οι ετήσιες κατατάξεις επέτρεψαν στους ερευνητές να ορίσουν ως εμπορικά σημαντικές τις 100 ταινίες με τις υψηλότερες εισπράξεις κάθε χρονιάς. Πρόκειται για σαφές, επαναλήψιμο κριτήριο, όχι όμως για πλήρη ορισμό της πολιτισμικής αξίας: η ίδια η εργασία αναγνωρίζει ότι έργα έξω από τη mainstream διανομή των ΗΠΑ υποεκπροσωπούνται.
Στις Ηνωμένες Πολιτείες, οι περισσότερες ταινίες που δημοσιεύθηκαν πριν από το 1931 είχαν περάσει στο δημόσιο κτήμα κατά τον χρόνο συγγραφής της μελέτης. Για έργα που είχαν καταχωριστεί πριν από το 1964, η μη ανανέωση μετά την αρχική 28ετή περίοδο μπορούσε επίσης να οδηγήσει σε λήξη προστασίας. Οι ερευνητές συνέδεσαν εγγραφές και ανανεώσεις από τον έντυπο Catalog of Copyright Entries και το ηλεκτρονικό Copyright Public Records System.
Όπου οι αριθμοί καταχώρισης δεν ταίριαζαν λόγω OCR, λαθών πληκτρολόγησης ή αλλαγών, έγινε λεπτομερής χειροκίνητος έλεγχος τίτλων. Επιπλέον, αφαιρέθηκαν ταινίες που βασίζονταν σε άλλο έργο το οποίο παρέμενε προστατευμένο, με στοιχεία από το American Film Institute. Το τελικό σύνολο περιορίστηκε σε 61 δημοφιλείς ομιλούσες ταινίες, των οποίων τα αρχεία αντλήθηκαν από το Internet Archive.
Το CHNB δεν περιορίζεται στο «τι υπάρχει στην εικόνα». Επτά συντάκτες ερωτήσεων παρακολούθησαν ολόκληρες ταινίες και δημιούργησαν κατά μέσο όρο 12,8 ερωτήσεις ανά έργο. Η αρχική δεξαμενή είχε 779 ερωτήσεις πολλαπλής επιλογής σε 61 ταινίες, με τέσσερις απαντήσεις και μία σωστή. Οι αναφορές σε σκηνές γράφτηκαν με απλή περιγραφή, χωρίς ακριβή timestamps, και οι λανθασμένες επιλογές σχεδιάστηκαν ώστε να μην απορρίπτονται μόνο με κοινή λογική.
Οι οκτώ κατηγορίες καλύπτουν χρονικότητα, πλοκή, χαρακτήρες, χώρους, οπτική γωνία, αναπαράσταση, συμβολισμό και αναγνώριση αντικειμένων. Ένα σύστημα μπορεί να χρειαστεί να βάλει συλλήψεις στη σωστή σειρά, να εξηγήσει τη λειτουργία μιας σκηνής, να διακρίνει ποιος βλέπει πρώτος ένα γεγονός ή να συνδέσει ένα επαναλαμβανόμενο αντικείμενο με τον ρόλο του στην πλοκή. Αυτές οι εργασίες απαιτούν μνήμη, χρονική σύνδεση και συνδυασμό καναλιών.
Αυτή η διάκριση είναι σημαντική και για multimodal AI agents, όπου το «βλέπω» δεν σημαίνει «δρω σωστά». Η αναγνώριση ενός αντικειμένου είναι χαμηλότερου επιπέδου ικανότητα από τη σύνδεσή του με πρόθεση, αιτιότητα και μεταβαλλόμενη γνώση μέσα σε μια ακολουθία.
Σε δείγμα 133 ερωτήσεων από δέκα ταινίες, συντάκτες που δεν είχαν γράψει τις συγκεκριμένες ερωτήσεις πέτυχαν ακρίβεια 82,0%, έχοντας τη δυνατότητα να επιστρέφουν στο φιλμ. Το ποσοστό δεν είναι 100% επειδή ορισμένες ερωτήσεις ή επιλογές είχαν αμφισημία και επειδή κρίσιμες λεπτομέρειες μπορεί εύκολα να χαθούν. Άρα, το ανθρώπινο επίπεδο εδώ είναι μετρημένη επίδοση ειδικών κάτω από συγκεκριμένη διαδικασία, όχι αφηρημένη τελειότητα.
Οι δημοφιλείς ταινίες έχουν συζητηθεί σε κριτικές, περιλήψεις και ιστοσελίδες, άρα μέρος της γνώσης τους πιθανότατα βρίσκεται στα δεδομένα προεκπαίδευσης. Αν ένα μοντέλο απαντά σωστά μόνο από τον τίτλο και τη χρονολογία, η επιτυχία δεν αποδεικνύει ότι κατάλαβε το βίντεο. Οι ερευνητές το αντιμετώπισαν ως πιθανή μόλυνση του test set.
Έθεσαν όλες τις ερωτήσεις σε Gemini Pro 3.1, Claude Opus 4.7 και GPT-5.5 χωρίς να δώσουν την ταινία, μόνο τίτλο και έτος. Οι επιδόσεις ήταν αντίστοιχα 39,4%, 40,7% και 38,8%, πάνω από το 25% της τυχαίας επιλογής. Στη συνέχεια κράτησαν υποσύνολο όπου η μέση closed-book επίδοση των τριών μοντέλων προσέγγιζε το 25%. Έτσι το τελικό benchmark περιέλαβε 628 ερωτήσεις, αφού αφαιρέθηκαν 151.
Η αφαίρεση δεν ήταν ομοιόμορφη. Τα μοντέλα είχαν περισσότερη προϋπάρχουσα γνώση για συχνά συζητημένα θέματα, όπως η αναπαράσταση και ο συμβολισμός, και λιγότερη για πολύ συγκεκριμένες οπτικές λεπτομέρειες. Αυτό θυμίζει ένα κοινό πρόβλημα στα εταιρικά evaluations: αν το test set μοιάζει υπερβολικά με δημοσιευμένα παραδείγματα, μετρά ανάκληση και εξοικείωση, όχι απαραίτητα πραγματική ικανότητα. Η λογική ενός benchmark που προσομοιώνει την πραγματική εργασία είναι πιο χρήσιμη από ένα βολικό αλλά μολυσμένο leaderboard.
Η μελέτη συνέκρινε πέντε παραδείγματα. Στο closed-book, το μοντέλο έβλεπε μόνο την ερώτηση. Στο subtitles-only, έπαιρνε απομαγνητοφώνηση του διαλόγου από Distil-Whisper large-v3. Στο end-to-end, ειδικά long-video μοντέλα έβλεπαν 64 ομοιόμορφα καρέ, γενικά vision-language μοντέλα 256, ενώ το Gemini 3 Flash μπορούσε να επεξεργαστεί ολόκληρο το βίντεο μαζί με τον ήχο.
Η Socratic προσέγγιση λειτουργούσε σε δύο στάδια. Το Gemini 3 Flash παρήγαγε είτε περιγραφές από καρέ στα 0,5 fps χωρίς ήχο είτε περιγραφές από clips περίπου 60 δευτερολέπτων που ακολουθούσαν τα όρια των πλάνων και περιλάμβαναν ήχο. Οι περιγραφές έπαιρναν timestamps και ενώνονταν χρονολογικά σε ένα world-state history που λάμβανε το μοντέλο ερωταπαντήσεων.
Στο agentic retrieval, το VideoAgent ξεκινούσε από οκτώ καρέ μέσα σε pool 64 καρέ και ζητούσε επιπλέον εικόνες με βάση CLIP similarity και όριο εμπιστοσύνης. Η εναλλακτική με Letta φόρτωνε τις περιγραφές σε archival memory και άφηνε το μοντέλο να ενεργοποιήσει semantic search. Το κρίσιμο σημείο είναι ότι η ίδια πληροφορία μπορεί να αποδώσει διαφορετικά ανάλογα με το αν δίνεται ολόκληρη σε χρονολογική σειρά ή ανακτάται τμηματικά με βάση το ερώτημα.
Πλήρες audio-visual βίντεο
Διατηρεί εικόνα, διάλογο, ήχο και χρονική συνέχεια. Το Gemini 3 Flash πέτυχε την κορυφαία επίδοση 61,1%.
Χρονολογικά clip captions
Συμπιέζει clips με ήχο σε χρονικά ταξινομημένη περιγραφή. Με το ίδιο backbone έφτασε 58,9%.
Επιλεκτικό retrieval
Ψάχνει μόνο τμήματα του διαθέσιμου index. Η απόδοση περιορίζεται όταν λείπει ο ήχος ή σπάει η χρονική σχέση.
Το καλύτερο end-to-end αποτέλεσμα ήταν 61,1% για το Gemini 3 Flash με ολόκληρο το βίντεο και τον ήχο. Το ίδιο μοντέλο με 256 οπτικά καρέ πέτυχε 39,3%: διαφορά 21,8 ποσοστιαίων μονάδων. Αντίθετα, μόνο οι υπότιτλοι έδωσαν 48,1% στο Gemini, 39,2% στο GPT-5-mini και 36,9% στο Claude Haiku 4.5. Ο διάλογος από μόνος του περιέχει ουσιαστικό μέρος της αφηγηματικής πληροφορίας.
Η αύξηση του frame budget είχε περιορισμένη επίδραση. Στα έξι end-to-end backbones που δοκιμάστηκαν με 64, 128 και 256 καρέ, η μεγαλύτερη βελτίωση από τα 64 στα 256 καρέ ήταν 3,6 ποσοστιαίες μονάδες, ενώ τα διαστήματα εμπιστοσύνης επικαλύπτονταν έντονα. Τα τέσσερα αρχιτεκτονικά συστήματα για βίντεο διάρκειας μίας ώρας με 64 καρέ δεν ξεχώρισαν στατιστικά από το closed-book baseline.
Αυτό δεν σημαίνει ότι η εικόνα είναι άχρηστη. Σημαίνει ότι μια αφήγηση δεν αποθηκεύεται σε ανεξάρτητα στιγμιότυπα. Πληροφορίες για πρόθεση, αιτιότητα, τόνο και αλλαγή σχέσεων βρίσκονται στη χρονική εξέλιξη και συχνά στον ήχο. Ένα retrieval σύστημα που αναζητά μόνο οπτικά παρόμοια καρέ δεν μπορεί να ανακτήσει μια κρίσιμη ατάκα που δεν έχει σαφές οπτικό αποτύπωμα.
CHNB: μετρημένη ακρίβεια
Η διατήρηση ήχου και χρονικής σειράς πλησιάζει περισσότερο την ανθρώπινη κατανόηση
Οι τιμές αφορούν τις συγκεκριμένες 628 ερωτήσεις πολλαπλής επιλογής. Δεν αποτελούν γενικό score για κάθε video workload.
Η ισχυρότερη Socratic ρύθμιση, Gemini 3 Flash πάνω σε clip-based captions, έφτασε το 58,9%, έναντι 61,1% στο πλήρες audio-visual βίντεο. Τα αντίστοιχα 95% διαστήματα εμπιστοσύνης, ±3,8 μονάδες, επικαλύπτονταν, οπότε η μελέτη δεν βρίσκει ουσιαστικό χάσμα ανάμεσα στις δύο προσεγγίσεις. Η μετατροπή του βίντεο σε χρονολογική κειμενική αναπαράσταση διατήρησε μεγάλο μέρος του σήματος.
Δεν συνέβη το ίδιο με κάθε retrieval προσέγγιση. Το Letta και η Socratic μέθοδος χρησιμοποιούσαν τις ίδιες περιγραφές, αλλά η πρώτη αναζητούσε επιλεκτικά στην αρχειακή μνήμη ενώ η δεύτερη έδινε ολόκληρη τη χρονολογική περιγραφή. Το χάσμα ήταν σημαντικό για το Gemini και στους δύο τύπους captions και για το GPT στα clip captions. Για το Claude οι δύο μέθοδοι ήταν ισόπαλες, ενώ ήταν και το καλύτερο backbone του agentic retrieval.
Η ανάκτηση εικόνων με VideoAgent μόλις ξεπέρασε το επίπεδο τύχης σε όλα τα backbones. Ο βρόχος μπορούσε να ζητά περισσότερα καρέ, αλλά δεν μπορούσε να αναπληρώσει τον ήχο και τον διάλογο που δεν υπήρχαν στη διαθέσιμη αναπαράσταση. Το CLIP similarity είναι κατάλληλο για οπτική ομοιότητα, όχι για μια ατάκα που εξηγεί γιατί ένας χαρακτήρας έδρασε με συγκεκριμένο τρόπο.
Το εύρημα αμφισβητεί μια απλοϊκή υπόθεση για τους agents: ότι περισσότερες επαναλήψεις αναζήτησης διορθώνουν οποιαδήποτε έλλειψη context. Αν ο index δεν περιέχει το κρίσιμο modality ή αν το query δεν μπορεί να εκφράσει σωστά το ζητούμενο, ο agent απλώς ψάχνει καλύτερα μέσα σε ελλιπή δεδομένα. Σε μια εμπορική ροή, αυτό μεταφράζεται σε έλεγχο κάλυψης πριν από tuning του retrieval: κείμενο, ήχος, εικόνα, timestamps, ομιλητές και σχέσεις μεταξύ γεγονότων πρέπει να επιλέγονται βάσει του ερωτήματος.
Η ομάδα έλεγξε αν οι καλύτερες επιδόσεις εξηγούνται από απομνημόνευση. Μέτρησε την παρουσία κάθε τίτλου στο web και την ικανότητα αναγνώρισης του τίτλου από δέκα μικρά παράθυρα πέντε καρέ. Η ακρίβεια αναγνώρισης τίτλου ήταν 28,4% για Gemini 3 Flash, 3,3% για GPT-5-mini και 2,1% για Claude Haiku 4.5.
Αν η απομνημόνευση οδηγούσε τα κέρδη, οι πιο διαδεδομένες ή εύκολα αναγνωρίσιμες ταινίες θα έπρεπε να είναι και ευκολότερες στις καλύτερες ρυθμίσεις. Οι σχετικές συσχετίσεις ήταν όμως αρνητικές. Αντίθετα, η επίδοση ανά ταινία συσχετιζόταν θετικά με την επίδοση μόνο από υπότιτλους, με Spearman rho από +0,40 έως +0,52 και p≤0,002. Η πρόσβαση σε χρήσιμο διάλογο φαίνεται να εξηγεί περισσότερο την επιτυχία από την απλή αναγνωρισιμότητα.
Υπάρχει πάντως ένα λεπτό κατάλοιπο model priors. Στις Socratic ροές του Claude και του GPT, τα captions δημιουργούνται από το Gemini. Οι συσχετίσεις με την closed-book κατάταξη του Gemini υποδηλώνουν ότι η παραμετρική του γνώση επηρεάζει το παραγόμενο caption και αφήνει ίχνος στα downstream αποτελέσματα. Η ενδιάμεση αναπαράσταση δεν είναι ουδέτερη: κληρονομεί δυνατότητες και προκαταλήψεις του μοντέλου που τη συντάσσει. Γι’ αυτό η ερμηνεύσιμη multimodal AI χρειάζεται να δείχνει όχι μόνο την τελική απάντηση αλλά και ποια κανάλια και μετασχηματισμοί τη διαμόρφωσαν.
Για μια ομάδα περιεχομένου, η έρευνα προειδοποιεί ενάντια στις περιλήψεις που βασίζονται σε λίγα thumbnails ή στα «σημαντικότερα» οπτικά καρέ. Ένα webinar μπορεί να έχει κρίσιμη εξήγηση χωρίς ιδιαίτερη οπτική αλλαγή. Ένα product demo μπορεί να αλλάζει νόημα από μια προφορική εξαίρεση. Ένα customer-research interview χρειάζεται ποιος μίλησε, πότε και σε ποια προηγούμενη αναφορά απαντά.
Μια πιο αξιόπιστη αρχιτεκτονική μπορεί να χωρίζει το υλικό σε χρονικά συνεκτικά clips, να κρατά τον ήχο, να αποδίδει ομιλητές, να παράγει περιγραφές με timestamps και να επιτρέπει ταυτόχρονα πλήρη χρονολογική ανάγνωση και στοχευμένη αναζήτηση. Αυτή είναι εφαρμογή της αρχής ότι στα AI content pipelines το context κερδίζει το απλό workflow: το output εξαρτάται από την πληρότητα και τη δομή της αναπαράστασης, όχι μόνο από το μοντέλο στο τελευταίο βήμα.
Η επιλογή πρέπει να επαληθεύεται πάνω σε πραγματικές ερωτήσεις της επιχείρησης: εντοπισμό claims, αντιρρήσεων πελατών, συγκρίσεων προϊόντων, οδηγιών χρήσης ή αλλαγών συναισθήματος. Τα AI workflows για marketing χρειάζονται acceptance criteria που μετρούν αν διατηρήθηκε το κρίσιμο νόημα, όχι απλώς αν δημιουργήθηκε μια ομαλή περίληψη.
Η μελέτη δεν μετρά conversions, brand lift ή ποιότητα εξυπηρέτησης πελατών. Επομένως, αυτές οι εφαρμογές είναι επιχειρηματική ερμηνεία των τεχνικών ευρημάτων, όχι άμεσο πειραματικό αποτέλεσμα. Το ασφαλές μάθημα είναι μεθοδολογικό: η αξιολόγηση πρέπει να μοιάζει με την πραγματική απόφαση που θέλουμε να υποστηρίξει και να ελέγχει αν το σύστημα χρησιμοποίησε το περιεχόμενο, όχι απλώς τη γνώση που ήδη είχε.
Κανόνας απόφασης για video AI
Πρώτα ελέγξτε αν η αναπαράσταση περιέχει το σήμα που χρειάζεται η ερώτηση
Go σημαίνει κάλυψη εικόνας, ήχου, ομιλητών, timestamps και χρονικών σχέσεων, evaluation χωρίς leakage και human review για κρίσιμα claims. No-go σημαίνει εντυπωσιακή περίληψη ή retrieval loop που λειτουργεί πάνω σε index χωρίς το κρίσιμο modality.
Έξι έλεγχοι πριν βάλετε AI πάνω σε μεγάλα βίντεο
Καταγράψτε αν η ομάδα χρειάζεται claims, αντιρρήσεις, οδηγίες, συναισθηματικές αλλαγές, αποφάσεις ή αποσπάσματα και ποιο evidence πρέπει να συνοδεύει κάθε απάντηση.
Για κάθε ερώτηση σημειώστε αν απαιτεί εικόνα, διάλογο, μη λεκτικό ήχο, ταυτότητα ομιλητή, χρονική σειρά ή σύνδεση πολλών σκηνών.
Χωρίστε το βίντεο σε clips χωρίς να κόβετε κρίσιμα γεγονότα, κρατήστε timestamps και συνδέστε captions, transcript και ομιλητές στην ίδια χρονογραμμή.
Χρησιμοποιήστε ερωτήσεις ή υλικό που δεν απαντώνται αξιόπιστα από τίτλο, metadata ή κοινή γνώση, ώστε το test να μετρά χρήση του πραγματικού βίντεο.
Μετρήστε πότε η πλήρης χρονολογική αναπαράσταση υπερέχει της επιλεκτικής αναζήτησης και καταγράψτε ποια failures οφείλονται σε ελλιπές index.
Επιστρέψτε timestamps ή clips μαζί με κάθε κρίσιμο claim και δρομολογήστε αμφίβολες απαντήσεις σε άνθρωπο αντί να μετατρέπετε την πιθανότητα σε βεβαιότητα.
Το corpus επιλέγει δημοφιλία μέσω αμερικανικών εισπράξεων και έτσι αποτυπώνει μία μόνο εκδοχή πολιτισμικής σημασίας. Οι ερωτήσεις γράφτηκαν από ερευνητές διαφορετικών ειδικοτήτων, αλλά όλοι συνδέονταν με πανεπιστήμια των ΗΠΑ· αυτό επηρεάζει ποια αφηγηματικά στοιχεία κρίθηκαν σημαντικά. Το benchmark καλύπτει το κλασικό Hollywood έως το 1963 και η επίδοση μπορεί να μη μεταφέρεται σε παλαιότερες, νεότερες, μη αμερικανικές ή διαφορετικά δομημένες ταινίες.
Επιπλέον, η πιθανή κατάσταση δημόσιου κτήματος είναι αποτέλεσμα ερευνητικής διαδικασίας με συγκεκριμένο νομικό και γεωγραφικό πλαίσιο. Δεν πρέπει να μετατραπεί σε καθολική άδεια εμπορικής χρήσης. Τέλος, η αξιολόγηση χρησιμοποιεί multiple-choice ερωτήσεις. Είναι ελεγχόμενη και συγκρίσιμη, αλλά δεν καλύπτει όλο το εύρος της ανοιχτής ερμηνείας, της τεκμηριωμένης κριτικής ή της δημιουργικής ανάλυσης μιας ταινίας.
Τα αποτελέσματα επίσης δεν αποδεικνύουν ότι κάθε σύστημα πρέπει να επεξεργάζεται πάντα ολόκληρο το αρχείο. Δείχνουν ότι η συμπίεση και το retrieval κρίνονται από το αν διατηρούν το σήμα που απαιτεί η εργασία. Το κόστος, η ιδιωτικότητα, η γλώσσα, η ποιότητα ήχου, οι πολλαπλοί ομιλητές και το domain-specific λεξιλόγιο χρειάζονται ξεχωριστή αξιολόγηση.
Το Classical Hollywood Narrative Benchmark μετακινεί τη συζήτηση από το «πόσα καρέ χωράει το μοντέλο» στο «ποια πληροφορία διατηρεί και πώς τη συνδέει». Τα 61 φιλμ, οι 628 φιλτραρισμένες ερωτήσεις και η ανθρώπινη επίδοση 82,0% δημιουργούν ένα σαφές πεδίο δοκιμής. Η κορυφαία επίδοση 61,1% δείχνει πρόοδο, αλλά και μεγάλη απόσταση από την ανθρώπινη κατανόηση υπό τις ίδιες περίπου απαιτήσεις.
Για όσους χτίζουν συστήματα πάνω σε video content, η πιο πρακτική αρχή είναι να μην αντιμετωπίζουν τη ροή ως στοίβα εικόνων. Η αφήγηση είναι ακολουθία αιτιών, στόχων, γνώσης, διαλόγου και μεταβαλλόμενων σχέσεων. Όταν η αναπαράσταση διατηρεί αυτά τα στοιχεία, ακόμη και μια κειμενική συμπίεση μπορεί να πλησιάσει την πλήρη πολυτροπική επεξεργασία. Όταν τα αγνοεί, ούτε περισσότερα βήματα ενός agent ούτε περισσότερα μεμονωμένα καρέ εγγυώνται κατανόηση.
Από το video content σε ελέγξιμη επιχειρησιακή γνώση
Σχεδιάστε AI workflows που κρατούν το κρίσιμο context
Η TWO DOTS χαρτογραφεί modalities, δεδομένα, evaluation sets, evidence, human handoffs και ασφαλή automation ώστε η ανάλυση βίντεο να υπηρετεί πραγματικές αποφάσεις και όχι απλώς ομαλές περιλήψεις.
Често задавани въпроси
Είναι benchmark 628 ερωτήσεων πολλαπλής επιλογής πάνω σε 61 δημοφιλείς ομιλούσες ταινίες του κλασικού Hollywood που οι ερευνητές θεωρούν πιθανότατα δημόσιου κτήματος στις ΗΠΑ. Μετρά χρονικότητα, πλοκή, χαρακτήρες, χώρο, οπτική γωνία, αναπαράσταση, συμβολισμό και αντικείμενα.
Για να δημιουργηθεί πιο σταθερό και ανοικτό benchmark, λιγότερο ευάλωτο σε αφαίρεση βίντεο ή αιτήματα DMCA. Η ομάδα έλεγξε εγγραφές, ανανεώσεις και προστατευμένα έργα προέλευσης αντί να βασιστεί μόνο σε τρίτες πλατφόρμες.
Το Gemini 3 Flash με πλήρες βίντεο και ήχο πέτυχε 61,1% ακρίβεια. Η μετρημένη ανθρώπινη επίδοση ήταν 82,0% σε δείγμα 133 ερωτήσεων από δέκα ταινίες.
Όχι για όλα, αλλά αποδείχθηκαν ισχυρό baseline. Το Gemini 3 Flash έφτασε 48,1% μόνο με transcript, δείχνοντας πόσο σημαντικός είναι ο διάλογος για πολλές αφηγηματικές ερωτήσεις.
Επειδή τα clips περιλάμβαναν ήχο, ακολουθούσαν όρια πλάνων και οι περιγραφές ενώνονταν χρονολογικά. Με Gemini 3 Flash πέτυχαν 58,9%, με επικαλυπτόμενο διάστημα εμπιστοσύνης σε σχέση με το 61,1% του πλήρους βίντεο.
Λίγο και όχι με σταθερά σημαντικό τρόπο. Στα μοντέλα που δοκιμάστηκαν με 64, 128 και 256 καρέ, η μεγαλύτερη βελτίωση από τα 64 στα 256 ήταν 3,6 ποσοστιαίες μονάδες και τα διαστήματα εμπιστοσύνης επικαλύπτονταν έντονα.
Η ανάκτηση μεμονωμένων εικόνων μέσω CLIP similarity δεν μπορούσε να βρει κρίσιμες πληροφορίες που υπήρχαν μόνο στον ήχο ή στον διάλογο. Περισσότερο search δεν διορθώνει ένα index που δεν περιέχει το σωστό modality.
Όχι χωρίς δική τους αξιολόγηση. Το benchmark αφορά 61 ταινίες του κλασικού Hollywood και multiple-choice ερωτήσεις. Οι αρχές για multimodal κάλυψη, χρονική σειρά και contamination είναι χρήσιμες, αλλά πρέπει να δοκιμαστούν στα πραγματικά δεδομένα και ερωτήματα κάθε οργανισμού.
Източници
