Hate speech σε γλώσσες με λίγα δεδομένα: γιατί το LoRA ξεπέρασε το απλό prompting

Γιατί η Roman Urdu είναι δύσκολο τεστ για το content moderation

Η Roman Urdu αποδίδει την Urdu με λατινικούς χαρακτήρες και χρησιμοποιείται ευρέως σε ψηφιακές συνομιλίες στο Πακιστάν, στην Ινδία και σε κοινότητες ομιλητών Urdu. Δεν διαθέτει καθολικά αποδεκτή ορθογραφία. Η ίδια λέξη μπορεί να εμφανίζεται ως acha, achaa, achha ή achaw, ενώ μια γραφή όπως badal μπορεί να παραπέμπει σε «σύννεφο» ή «αλλαγή» ανάλογα με τα συμφραζόμενα.

Η αστάθεια αυτή δεν είναι απλό ορθογραφικό πρόβλημα. Μεταβάλλει το tokenization, αποδυναμώνει τα λεξικά μοτίβα και κάνει πιο δύσκολη τη γενίκευση σε νέους χρήστες, περιοχές και χρονικές περιόδους. Το πρόβλημα γίνεται εντονότερο σε σύντομα σχόλια, σε code-switching και σε αργκό που αλλάζει γρήγορα.

Η ταξινόμηση επίσης δεν ταυτίζεται με sentiment analysis. Το παράδειγμα της εργασίας για μια «πολύ κακή μπαταρία κινητού» είναι αρνητικό σχόλιο για προϊόν, όχι στοχοποίηση ανθρώπου ή ομάδας. Σε e-commerce reviews, social media ή help desk, ένα μοντέλο που συγχέει την κριτική με την τοξικότητα αφαιρεί νόμιμο feedback. Ένα μοντέλο που δεν καταλαβαίνει τοπικές γλωσσικές αποχρώσεις αφήνει πραγματικά επιβλαβές περιεχόμενο να περάσει.

Αυτή η διάκριση συνδέεται άμεσα με την οργάνωση ενός help desk για e-commerce: το AI μπορεί να κατηγοριοποιεί και να προτείνει, αλλά η διαδρομή κλιμάκωσης πρέπει να παραμένει σαφής όταν ένα μήνυμα αφορά καταγγελία, παρενόχληση ή κύρωση χρήστη.

Το PURUTT, τα labels και η ανισορροπία των κλάσεων

Η εργασία χρησιμοποιεί το PURUTT, ένα παράλληλο corpus Urdu και Roman Urdu με 72.771 επισημασμένα σχόλια. Για τα πειράματα αξιοποιείται μόνο η Roman Urdu εκδοχή. Η κατανομή είναι έντονα άνιση: 13.097 δείγματα χαρακτηρίζονται toxic και 59.674 non-toxic. Η ερευνήτρια εφαρμόζει αντίστροφα βάρη συχνότητας ώστε το training loss να τιμωρεί περισσότερο τα λάθη στη μειοψηφική κλάση.

Η επιλογή F1, precision και recall είναι ουσιώδης. Ένα σύστημα που προβλέπει συχνά την πλειοψηφική non-toxic κλάση μπορεί να εμφανίζει υψηλό accuracy και παρ’ όλα αυτά να χάνει μεγάλο μέρος του πραγματικά βλαβερού περιεχομένου. Στην αντίθετη κατεύθυνση, υπερβολικό recall χωρίς επαρκές precision δημιουργεί false positives, φόρτο για reviewers και αδικαιολόγητη απόκρυψη σχολίων.

Το PURUTT δεν είναι δημόσια διαθέσιμο σύμφωνα με τη διατριβή και παραχωρήθηκε για ερευνητική χρήση κατόπιν αιτήματος. Αυτό δυσκολεύει την ανεξάρτητη αναπαραγωγή των splits και των αποτελεσμάτων. Για έναν οργανισμό, το αντίστοιχο μάθημα είναι ότι dataset version, δικαιώματα χρήσης, annotation guide και ακριβές holdout πρέπει να αποτελούν ελέγξιμα artifacts, όχι άτυπες γνώσεις της ομάδας.

Τέσσερα πειράματα με διαφορετικό βαθμό προσαρμογής

Η μελέτη οργανώνει τέσσερις γραμμές αξιολόγησης. Η πρώτη είναι direct inference χωρίς task-specific fine-tuning. Η δεύτερη κρατά παγωμένο το μεγαλύτερο μέρος κάθε backbone και εκπαιδεύει LoRA adapters. Η τρίτη χρησιμοποιεί prompt tuning στο BERT-base-multilingual-uncased με prefix, cloze και mixed templates. Η τέταρτη συγκρίνει zero-shot και few-shot instructions στο GPT-3.5 μέσω Azure OpenAI χωρίς αλλαγή των weights.

Οι επιλογές αντιστοιχούν σε διαφορετικό λειτουργικό κόστος. Το zero-shot ξεκινά γρήγορα, αλλά βασίζεται στις ήδη διαθέσιμες γλωσσικές αναπαραστάσεις. Το few-shot προσθέτει παραδείγματα σε κάθε prompt και αυξάνει το token cost. Το prompt tuning μαθαίνει task-specific soft tokens ή verbalizers. Το LoRA χρειάζεται training pipeline και versioned adapters, αλλά ενημερώνει πολύ μικρότερο αριθμό παραμέτρων από το full fine-tuning.

Στο LoRA σκέλος χρησιμοποιούνται Mistral, Llama, Gemma, DeepSeek, Falcon και multilingual BERT. Η εκπαίδευση γίνεται σε NVIDIA A100 για δύο epochs, με 60/20/20 split και περιορισμένες αλλαγές σε batch size και learning rate. Το paper αναφέρει περίπου 6,6 έως 7,2 εκατομμύρια trainable parameters μετά την προσθήκη adapters για τα εξεταζόμενα μοντέλα.

Η κλιμάκωση αυτή είναι χρήσιμη και πέρα από τη Roman Urdu. Μια ομάδα μπορεί να ξεκινήσει με prompt baseline, να συγκρίνει few-shot και adapter tuning στο ίδιο κλειδωμένο holdout και να επιλέξει μόνο όταν γνωρίζει το κόστος των false positives, των false negatives και της ανθρώπινης αναθεώρησης.

Τι έδειξε το zero-shot baseline

Στην direct-inference αξιολόγηση, το Mistral-7B-v0.3 έχει την καλύτερη αναφερόμενη baseline επίδοση, με macro F1 0,56 και accuracy 0,7262. Το DeepSeek-R1-7B ακολουθεί με F1 0,51 και accuracy 0,7402. Τα Falcon, Llama, Gemma και multilingual BERT εμφανίζονται χαμηλότερα στον αναλυτικό πίνακα, με F1 από 0,32 έως 0,15.

Ο πίνακας κατανομής προβλέψεων δείχνει το επιχειρησιακό πρόβλημα. Στο baseline subset αναφέρονται 4.190 non-toxic και 774 toxic σχόλια. Το Mistral προβλέπει 1.054 toxic, ενώ το Llama 3.021 και το multilingual BERT 3.159. Ακόμη και χωρίς να χρησιμοποιήσουμε τους προβληματικούς confusion counts του επόμενου πίνακα, η προβλεπόμενη κατανομή δείχνει έντονη τάση υπερσήμανσης για αρκετά μοντέλα.

Σε μια πλατφόρμα σχολίων, τέτοια συμπεριφορά μεταφράζεται σε μεγαλύτερη review queue, περισσότερες αμφισβητήσεις και πιθανή σίγαση νόμιμων σχολίων. Δεν αρκεί λοιπόν να δηλωθεί ότι ένα μοντέλο «καταλαβαίνει Urdu» ή ότι έχει υψηλό γενικό benchmark score. Χρειάζεται αξιολόγηση στο συγκεκριμένο script, policy και κοινό.

Η ίδια αρχή ισχύει όταν ένα AI μοντέλο μεταφέρεται σε νέα αγορά: το geographic domain shift μπορεί να αλλάξει την ποιότητα ακόμη και όταν η αρχιτεκτονική παραμένει ίδια, επειδή αλλάζουν γλώσσα, συχνότητες, συμπεριφορές και πραγματικές συνθήκες χρήσης.

Πώς το LoRA άλλαξε την επίδοση

Το LoRA εισάγει μικρούς low-rank adapters σε επιλεγμένα layers και κρατά παγωμένα τα βασικά weights. Στη συγκεκριμένη εργασία, η προσαρμογή επιτρέπει στο μοντέλο να μάθει spelling variants, τοπικά μοτίβα και τη binary policy του dataset χωρίς πλήρη ενημέρωση δισεκατομμυρίων παραμέτρων.

Μετά το PEFT, το Mistral-7B-v0.3 φτάνει F1 0,9387 και accuracy 0,9642, ενώ το Meta-Llama-3-8B F1 0,9379 και accuracy 0,9640 στον αναλυτικό πίνακα. Το Gemma-2B σημειώνει F1 0,9089, το multilingual BERT 0,8203 και το DeepSeek-R1-7B 0,7468. Ο Falcon εμφανίζεται με F1 0,9180 στον αναλυτικό πίνακα.

Το trainable footprint είναι πράγματι πολύ μικρότερο από το πλήρες model, αλλά δεν είναι δωρεάν. Απαιτούνται επισημασμένα δεδομένα, GPU χρόνος, reproducible split, adapter registry, regression tests και επανέλεγχος όταν αλλάζει η policy. Σε οργανισμούς με πολλές αγορές, ένας adapter ανά γλώσσα ή use case μπορεί να είναι πρακτικός μόνο αν υπάρχει σαφής ιδιοκτησία και lifecycle.

Για αυτό το αποτέλεσμα ταιριάζει καλύτερα σε ελεγχόμενο AI workflow παρά σε αυτόματο κανόνα αποκλεισμού. Η υπηρεσία Αυτοματισμοί Επιχειρήσεων & AI της TWO DOTS ξεκινά από χαρτογράφηση διαδικασίας, δεδομένων, approvals και monitoring ακριβώς επειδή ένα model score δεν περιγράφει ολόκληρη τη λειτουργία.

Prompt tuning και few-shot prompting στην ίδια σύγκριση

Το prompt-tuning πείραμα χρησιμοποιεί OpenPrompt και multilingual BERT. Τα manual templates είναι prefix ή cloze και ζητούν πρόβλεψη label μέσω ενός masked token και verbalizer. Η mixed εκδοχή συνδυάζει χειροποίητη δομή με learnable soft tokens. Οι δοκιμές γίνονται με K ίσο με 32, 64 και 128 παραδείγματα για training και ισάριθμα για development, σε δύο μη επικαλυπτόμενους γύρους ανά configuration.

Στα 128 παραδείγματα, το mixed prompt έχει το υψηλότερο F1, 0,6852. Το prefix ακολουθεί με 0,6813 και μεγαλύτερο accuracy 0,8048, ενώ το cloze φτάνει F1 0,6167. Η διαφορά δείχνει ότι ακόμη και στο ίδιο backbone η διατύπωση και η learned prompt representation μετακινούν διαφορετικά precision, recall και accuracy.

Στο prompt-engineering σκέλος, το GPT-3.5 λαμβάνει είτε μόνο instruction είτε πέντε toxic και πέντε non-toxic παραδείγματα. Το few-shot configuration αναφέρεται με μέσο F1 0,8565, accuracy 0,9100, precision 0,8278 και recall 0,8989. Το zero-shot έχει μέσο F1 0,6698. Ένα μεμονωμένο batch φτάνει F1 0,9494, αλλά το peak δεν είναι μέση απόδοση ούτε απόδειξη σταθερότητας.

Το prompting επομένως δεν «απέτυχε». Παρείχε ισχυρό proof of concept χωρίς αλλαγή weights και ξεπέρασε σαφώς το zero-shot στον συγκεκριμένο έλεγχο. Το LoRA κέρδισε όταν το ζητούμενο ήταν η καλύτερη αναφερόμενη συνολική επίδοση στο διαθέσιμο corpus. Η κατάλληλη επιλογή εξαρτάται από data volume, συχνότητα policy changes, latency, κόστος inference και ανάγκη εσωτερικού ελέγχου.

Τι αποδεικνύει και τι δεν αποδεικνύει η σύγκριση

Η εργασία παρέχει πειστική ένδειξη ότι task-specific adaptation μπορεί να βελτιώσει ουσιαστικά ένα low-resource moderation task. Το εύρημα ενισχύεται και από τη συναφή έκδοση των Zubair και συνεργατών, η οποία συγκρίνει zero-shot και PEFT στο PURUTT και αναφέρει F1 πάνω από 0,93 για τα καλύτερα adapted models.

Δεν αποδεικνύει όμως ότι το LoRA υπερέχει σε κάθε low-resource γλώσσα, ούτε ότι ένα F1 κοντά στο 0,94 αρκεί για παραγωγή. Το corpus αφορά Roman Urdu, η ταξινόμηση είναι binary, τα labels δεν διαχωρίζουν θρησκευτικό, έμφυλο ή φυλετικό hate speech και η εργασία δεν δίνει slice-level fairness ανά περιοχή, spelling style ή κοινωνική ομάδα.

Δεν εξετάζονται επίσης μεγάλα documents, εντοπισμός συγκεκριμένων harmful spans, κωδικοποιημένη γλώσσα, adversarial evasion ή χρονικό drift. Η επιτυχία στο held-out set μπορεί να μειωθεί όταν αλλάξει η πλατφόρμα, η κοινότητα ή η πολιτική. Για αυτό η αξιολόγηση χρειάζεται temporal holdout και slices που αντιστοιχούν σε πραγματικές αγορές και μορφές χρήσης.

Η διάκριση θυμίζει το πρόβλημα του AI alignment πέρα από τη σωστή τελική απάντηση: η συμφωνία σε ένα label δεν αρκεί αν δεν γνωρίζουμε ποιον κανόνα εφάρμοσε το σύστημα, σε ποια δεδομένα βασίστηκε και πώς θα αμφισβητηθεί ένα λάθος υψηλού αντίκτυπου.

Οι ασυνέπειες των πινάκων που δεν πρέπει να αγνοηθούν

Η διατριβή δηλώνει ότι baseline και post-PEFT αξιολόγηση χρησιμοποιούν το ίδιο held-out test split. Ωστόσο, ο baseline πίνακας label counts αθροίζει 4.964 σχόλια, ενώ ο post-PEFT πίνακας αθροίζει 14.555, αριθμός που αντιστοιχεί περίπου στο 20% του πλήρους corpus. Τα raw counts επομένως δεν μπορούν να συγκριθούν μηχανικά ως δύο μετρήσεις στο ίδιο σύνολο.

Υπάρχει και εσωτερική ασυμβατότητα στον baseline confusion matrix. Για παράδειγμα, η γραμμή του Mistral αθροίζει TP, TN, FP και FN σε 7.915 περιπτώσεις, όχι στις 4.964 του προηγούμενου πίνακα, ενώ τα predicted counts δεν προκύπτουν από τα ίδια στοιχεία. Σε άλλο σημείο το BERT χωρίς fine-tuning εμφανίζεται με F1 0,15 και αργότερα με 0,30. Ο ενοποιημένος πίνακας αλλάζει επίσης ορισμένες τιμές accuracy και F1 σε σχέση με τους αναλυτικούς.

Η σωστή παραγωγική απάντηση είναι reproducible evaluation package: αμετάβλητα sample IDs, hash του dataset, split manifest, model και adapter version, prompt version, code commit, threshold, class mapping και πλήρης έξοδος ανά δείγμα. Χωρίς αυτά, ακόμη και σωστοί συνοπτικοί δείκτες είναι δύσκολο να ελεγχθούν μετά από αλλαγή μοντέλου.

Από το classifier σε ασφαλή λειτουργία moderation

Ένα moderation προϊόν δεν τελειώνει στην πρόβλεψη toxic/non-toxic. Χρειάζεται policy taxonomy που ξεχωρίζει hate speech, προσβολή, απειλή, παρενόχληση, spam και αρνητικό product feedback. Κάθε κατηγορία έχει διαφορετική βλάβη, αποδεικτικό όριο και επιτρεπτή ενέργεια.

Το threshold επίσης δεν πρέπει να μετατρέπεται απευθείας σε αποκλεισμό. Μια ασφαλέστερη ροή μπορεί να κρύβει προσωρινά μόνο περιεχόμενο πολύ υψηλού κινδύνου, να στέλνει τις ενδιάμεσες περιπτώσεις σε reviewer και να αφήνει το χαμηλού κινδύνου περιεχόμενο ορατό με monitoring. Η ακριβής πολιτική εξαρτάται από το προϊόν, τη δικαιοδοσία και τη δυνατότητα έγκαιρης ανθρώπινης παρέμβασης.

Η λειτουργία αυτή χρειάζεται abstention. Όταν το κείμενο είναι αμφίσημο, περιέχει κωδικοποιημένη γλώσσα ή βρίσκεται έξω από το γνωστό distribution, το σωστό αποτέλεσμα μπορεί να είναι «δεν αποφασίζω αυτόματα». Η ανάλυση για το AI abstention και το root-cause analysis δείχνει γιατί η απόρριψη μιας αβέβαιης απόφασης είναι χρήσιμη μόνο όταν καταγράφεται ο λόγος και ενεργοποιείται η κατάλληλη επόμενη διαδρομή.

Για e-commerce, τα KPIs πρέπει να συνδέουν τεχνική και επιχειρησιακή ποιότητα: precision στην αυτόματη απόκρυψη, recall στις περιπτώσεις που οδηγούν σε πραγματική βλάβη, review time, overturn rate μετά από appeal, ποσοστό escalation και παράπονα ανά γλώσσα. Όπως και στις εφαρμογές AI στο e-commerce, η αξία προκύπτει από καθαρό pain point και μετρήσιμο workflow, όχι από την παρουσία ενός μοντέλου.

Γιατί η διακυβέρνηση του dataset είναι μέρος του προϊόντος

Η ποιότητα του classifier εξαρτάται από το ποιος όρισε το toxic label, ποια σχόλια επιλέχθηκαν και ποια συμφραζόμενα έμειναν εκτός. Σε μια γλώσσα με πολλές άτυπες γραφές, η δειγματοληψία πρέπει να καλύπτει ορθογραφικές παραλλαγές, περιοχές, ηλικιακές ομάδες, code-switching και διαφορετικά περιβάλλοντα συνομιλίας. Διαφορετικά, ένα υψηλό συνολικό F1 μπορεί να κρύβει άνιση ποιότητα.

Η εργασία δεν αναλύει annotator agreement ή slice-level fairness. Μια παραγωγική ομάδα χρειάζεται datasheet με προέλευση, χρονική περίοδο, δικαιώματα χρήσης, κανόνες ανωνυμοποίησης, ορισμούς labels, reviewer expertise και γνωστά κενά. Οι διαφωνίες των annotators δεν είναι θόρυβος που πρέπει απλώς να εξαφανιστεί· συχνά αποκαλύπτουν ασαφή policy ή πολιτισμικό context.

Οι αποφάσεις moderators και τα επιτυχημένα appeals μπορούν να τροφοδοτούν ελεγχόμενο κύκλο βελτίωσης, αλλά όχι να μετατρέπονται αυτόματα σε training examples. Χρειάζονται deduplication, sampling review, label adjudication και έλεγχος για feedback loops που ενισχύουν παλιές προκαταλήψεις.

Το NIST AI RMF προσφέρει χρήσιμη δομή: govern για ρόλους και λογοδοσία, map για context και επηρεαζόμενους ανθρώπους, measure για τεχνικούς και κοινωνικούς δείκτες και manage για thresholds, incidents και βελτιώσεις. Το framework δεν επιλέγει μοντέλο, αλλά εμποδίζει το benchmark να παρουσιαστεί ως πλήρες σχέδιο διακυβέρνησης.

Ένα ελεγχόμενο pilot σε επτά βήματα

Το πρώτο pilot πρέπει να είναι στενό: μία γλώσσα, μία πηγή περιεχομένου και μία σαφής policy. Στόχος δεν είναι να αποδείξει ότι «η AI κάνει moderation», αλλά να μετρήσει πού βοηθά, πού σφάλει και πόση ανθρώπινη εργασία μετακινεί ή δημιουργεί.

Το pilot πρέπει να καταλήγει σε απόφαση με όρους: ποιο use case εγκρίνεται, ποια γλώσσα καλύπτεται, ποια ενέργεια παραμένει ανθρώπινη, ποια thresholds ισχύουν και πότε το σύστημα επιστρέφει σε manual review. Αυτοί οι όροι είναι πιο χρήσιμοι από μια γενική διακήρυξη ότι «το μοντέλο πέτυχε 94%».

Το ουσιαστικό συμπέρασμα για low-resource γλώσσες

Η μελέτη της Roman Urdu δείχνει γιατί η τοπική προσαρμογή έχει αξία. Το direct inference δεν έδωσε αξιόπιστη ισορροπία, το few-shot prompting βελτίωσε γρήγορα την επίδοση χωρίς training και το LoRA πέτυχε τα υψηλότερα αναφερόμενα F1 με μικρό trainable footprint σε σχέση με το πλήρες μοντέλο.

Το ισχυρότερο επιχειρησιακό μήνυμα δεν είναι «χρησιμοποιήστε πάντα LoRA». Είναι «μην αυτοματοποιείτε moderation σε μια γλώσσα που δεν έχετε αξιολογήσει τοπικά». Η adapter-based προσαρμογή μπορεί να προσφέρει συνέπεια όταν υπάρχει επαρκές, νόμιμο και αντιπροσωπευτικό corpus. Το prompting παραμένει χρήσιμο για baseline, γρήγορη διερεύνηση και περιπτώσεις όπου το training δεν δικαιολογείται.

Οι ασυνέπειες των πινάκων υπενθυμίζουν ότι η αναπαραγωγιμότητα είναι μέρος της ποιότητας. Πριν από παραγωγική χρήση χρειάζονται καθαρά splits, πλήρεις προβλέψεις, slice metrics, calibration, versioning και ανεξάρτητος έλεγχος. Και πριν από κύρωση χρήστη χρειάζονται άνθρωπος, αιτιολόγηση, δικαίωμα appeal και δυνατότητα ανάκλησης.

Έτσι η AI γίνεται βοήθημα για ασφαλέστερες ψηφιακές κοινότητες χωρίς να μετατρέπεται σε αδιαφανή μηχανισμό σίγασης. Η αξιόπιστη moderation δεν είναι μόνο classification problem· είναι συνδυασμός γλώσσας, πολιτικής, δεδομένων, UX και λογοδοσίας.