Large Language Models

Ομάδα υποδομών αξιολογεί απόδοση GLIDE για LLM μεγάλου context

GLIDE: πώς η υβριδική προσοχή μειώνει το κόστος των LLM μεγάλου context

Το GLIDE κατανέμει softmax και linear attention ανά layer για να μειώσει το KV-cache I/O στα LLM μεγάλου context. Τι έδειξαν οι δοκιμές σε Llama-3-8B και Mistral-7B, πού βοηθά το LoRA και γιατί κάθε deployment χρειάζεται δικά του quality και latency tests.

ΠερισσότεραGLIDE: πώς η υβριδική προσοχή μειώνει το κόστος των LLM μεγάλου context
DecodeShare και έλεγχος υποδομής για decode-time αποφάσεις LLM

DecodeShare: τι συμβαίνει μέσα σε ένα LLM τη στιγμή που αποφασίζει

Το DecodeShare εντοπίζει έναν κοινό υποχώρο στις decode-time αποφάσεις των LLM και δείχνει γιατί οι παρεμβάσεις χρειάζονται έλεγχο στο πραγματικό inference.

ΠερισσότεραDecodeShare: τι συμβαίνει μέσα σε ένα LLM τη στιγμή που αποφασίζει
Ομάδα ελέγχει Incomplete Prompt Jailbreaks και ασφάλεια LLM

Incomplete Prompt Jailbreaks: γιατί η μισή πρόταση μπορεί να παρακάμψει την ασφάλεια ενός LLM

Τα Incomplete Prompt Jailbreaks δείχνουν γιατί ένα LLM μπορεί να συνεχίσει επιβλαβές κείμενο πριν αρνηθεί και τι αλλάζει στο testing ασφάλειας.

ΠερισσότεραIncomplete Prompt Jailbreaks: γιατί η μισή πρόταση μπορεί να παρακάμψει την ασφάλεια ενός LLM
Έλεγχος υποδομής για overthinking, κρυμμένη γνώση και AI auditing

Overthinking στα AI μοντέλα: όταν η ενισχυμένη σκέψη αποκαλύπτει κρυμμένη γνώση

Τι είναι το overthinking στα AI μοντέλα, πώς αποκαλύπτει κρυμμένη γνώση και ποια όρια χρειάζεται ένα υπεύθυνο πρόγραμμα AI auditing για επιχειρήσεις.

ΠερισσότεραOverthinking στα AI μοντέλα: όταν η ενισχυμένη σκέψη αποκαλύπτει κρυμμένη γνώση
Έλεγχος πολλών εγγράφων για αξιοπιστία long-context AI και PredicateLongBench

Μεγάλο context δεν σημαίνει αξιόπιστο AI: τι αποκαλύπτει το PredicateLongBench

Το PredicateLongBench δείχνει γιατί το μεγάλο context window δεν εγγυάται αξιόπιστο AI και πώς δοκιμάζονται RAG, decoys, πληρότητα και πηγές στην πράξη.

ΠερισσότεραΜεγάλο context δεν σημαίνει αξιόπιστο AI: τι αποκαλύπτει το PredicateLongBench