Cu o experiență de peste 20 de ani, vă transformăm prezența digitală. Suntem specializați în crearea de site-uri web și magazine online, SEO și marketing digital, soluții ERP și automatizări inteligente care vă propulsează afacerea.
Adresă:
Egnatia 154, Salonic 546 36
Telefon:
+30 231 231 4095
E-mail:
[email protected]
Sunteți pregătiți pentru următorul pas?;
Minima-KV comprimă cache-ul KV fără a șterge contextul vechi. Ce au arătat măsurătorile privind memoria, calitatea și debitul în cazul AI cu context lung.
Răspunsul mai întâi: Minima-KV propune comprimarea cache-ului KV fără a șterge paginile vechi ale unei solicitări active: păstrează paginile recente și protejate în FP8 și le transferă pe restul în TQ3. Studiul arată un beneficiu semnificativ în ceea ce privește memoria, dar nu demonstrează încă o echivalență universală în ceea ce privește calitatea sau viteza.
Minima-KV comprimă cache-ul KV fără a șterge contextul vechi. Ce au arătat măsurătorile privind memoria, calitatea și debitul în cazul AI cu context lung.
Pe măsură ce fereastra de context a unui model crește, crește și memoria necesară pentru a păstra cheile și valorile token-urilor anterioare. Lucrarea Minima-KV: Compresie a cache-ului KV cu păstrarea informațiilor de retenție, folosind atenție paginată în format mixt propune o arhitectură pe trei niveluri care comprimă starea anterioară fără a o elimina din cererea activă.
Acest concept este important pentru aplicațiile care procesează documente corporative de mari dimensiuni, baze de cunoștințe extinse, depozite de cod sau secvențe lungi de acțiuni. Nu este însă suficient să citim un argument privind compresia și să-l transformăm direct într-o promisiune pentru mai mulți utilizatori. Studiul separă în mod conștient datele referitoare la memorie, calitate, decodare directă și reutilizarea prefixelor în profiluri diferite.
În generarea auto-recursivă, modelul păstrează cheile și valorile token-urilor anterioare, astfel încât să nu calculeze din nou întregul istoric la fiecare pas nou. Economia de resurse de calcul are un cost în ceea ce privește memoria: dimensiunea cache-ului KV crește odată cu lungimea contextului, numărul de cereri active, straturile de atenție, capetele KV și dimensiunea fiecărui cap.
În varianta Qwen3.6-27B a studiului, 16 dintre cele 64 de straturi de limbaj utilizează „full attention”, iar restul utilizează Gated DeltaNet. Chiar și în această arhitectură hibridă, încărcătura KV de atenție este estimată la 64 KiB pe token activ pentru BF16 și la 32 KiB pentru FP8. Aceasta înseamnă 2 GiB sau 1 GiB, respectiv, pentru o secvență de 32K token-uri, înainte de adăugarea ponderilor, a stării recurente, a rezervei alocatorului, a memoriei temporare și a altor cerințe ale mediului de execuție.
PagedAttention reduce fragmentarea și permite ca blocurile KV să se afle în locații fizice necontigue, dar nu comprimă în sine datele fiecărui bloc. Diferența are o importanță practică: una este gestionarea mai eficientă a spațiului disponibil și alta este reducerea numărului de octeți ocupați de aceeași informație. Pentru a înțelege de ce contextul extins nu echivalează automat cu o recuperare fiabilă, o completare utilă este analiza PredicateLongBench.
Paginare
PagedAttention organizează cache-ul KV în blocuri și limitează pierderile cauzate de fragmentare și de restricțiile privind lungimea maximă.
Compresie
Minima-KV modifică reprezentarea fizică a paginilor mai vechi din FP8 în TQ3 pentru a reduce numărul de octeți din cache-ul activ.
Evacuare
Ștergerea păstrează doar starea selectată. Eliberează spațiu, dar o pagină eliminată nu poate fi recuperată din cache-ul KV.
Minima-KV împarte paginile active în trei niveluri. Cele Recent sunt cele mai recente și rămân în FP8 pentru a proteja partea actuală a producției. Acestea Anchor sunt pagini mai vechi, dar esențiale, precum instrucțiunile de sistem, inițialele „attention sinks”, documentele recuperate sau identificatorii, care trebuie să păstreze un nivel mai ridicat de acuratețe.
Cei Vechi Paginile sunt mai vechi și nu sunt incluse în bugetul protejat. Acestea sunt codificate în TQ3 cu o reprezentare comprimată de trei biți, scale, corecții de normă și metadate. Totuși, ele rămân adresabile în cadrul cererii active. Dacă controlerul consideră că o pagină „Stale” a redevenit importantă, o poate reconstrui într-o nouă pagină FP8 și o poate promova în nivelul Anchor.
Articolul descrie un sistem de evaluare a atenției pentru astfel de decizii, dar mecanismul era dezactivat în profilurile Qwen3.6 evaluate. Prin urmare, acesta face parte din proiectarea controlerului și nu reprezintă un avantaj măsurat al rezultatelor publicate.
Patru elemente diferite
Cifrele nu provin dintr-un singur test de performanță
Fiecare valoare aparține propriului profil legat de configurație și trebuie citită numai în cadrul acestui domeniu de aplicare.
Noțiunea care păstrează retenția este esența propunerii. Mecanismele de retenție și eliminare selectivă pot păstra doar pozițiile considerate importante la un moment dat. Dacă însă atenția se îndreaptă ulterior către o zonă care a fost ștearsă, informația KV corespunzătoare nu mai există.
Minima-KV optează pentru un compromis mai conservator: pentru fiecare pagină a unei solicitări live, păstrează o reprezentare exactă sau aproximativă. Acest lucru se potrivește pentru sarcini de lucru în care o instrucțiune, o clauză, o funcție sau o sursă mai veche poate redeveni relevantă fără avertisment. Aceasta nu înseamnă că reprezentarea TQ3 este echivalentă cu o memorie cache densă; înseamnă că se evită eliminarea ireversibilă a paginii.
Alegerea depinde de costul eșecului. Într-un rezumat cu risc redus, ar putea fi acceptabil să se omită anumite detalii. În documentele corporative, în analiza codului sau în agenții AI cu mai multe etape, posibilitatea de a reveni la dovezi mai vechi poate fi mai importantă decât economiile maxime. Discuția referitoare la memoria cu proveniență se dezvoltă și în ECHO pentru memoria agenților AI.
Compresia simplă nu este suficientă dacă fiecare decodare trebuie mai întâi să decomprime întregul cache într-o copie densă. Minima-KV utilizează nuclee specifice formatului: o ramificație citește pagini FP8, iar alta citește pagini TQ3 comprimate direct pe măsură ce sunt încărcate.
Fiecare ramură calculează o stare parțială de atenție — scorul maxim, suma exponențialelor și ieșirea normalizată. Stările sunt apoi fuzionate printr-o normalizare comună online-softmax, păstrând ordinea logică a paginilor și masca cauzală. În modelul direct canary, cache-ul dens de umbră fusese eliberat, astfel încât compresia nu era doar un truc matematic ascuns în spatele unei copii dense complete.
Implementarea utilizează nuclee TileLang compilate în CUDA și înregistrează contori de rute și soluții de rezervă. Această observabilitate este esențială: un prompt care a rămas integral în FP8 nu ar trebui să fie prezentat ca dovadă că s-a executat calea TQ3. În mod similar, un microbenchmark rapid al unui kernel necesită testare în cadrul modelului real, așa cum explică analiza referitoare la LLM4LLM și testele end-to-end ale kernelului.
Contabilitatea de implementare indică 18,3 KiB de KV de atenție pe fiecare token activ. Având în vedere cei 64 KiB ai BF16 și cei 32 KiB ai FP8 pentru arhitectura respectivă, valoarea corespunde unui footprint de aproximativ 3,497× mai mic decât cel al BF16 și de 1,749× mai mic decât cel al FP8. În vizualizarea detaliată pentru un milion de tokeni activi, valorile sunt de 61,04 GiB pentru BF16, 30,52 GiB pentru FP8 și 17,45 GiB pentru scenariul de 18,3 KiB pe token.
Vizualizările nu reprezintă măsurători independente pentru fiecare lungime de context. Datele disponibile nu analizează pe deplin agregatul în octeți „Recent”, „Anchor” și „Stale” și nici nu izolează efectele legate de metadate, memoria temporară, gradul de ocupare și cele dependente de context. Din același motiv, calculul istoric al celor 53 de contexte rezidente de 32K cu FP8 și al celor 84 cu un scenariu exact de 3,50× reprezintă limita maximă de memorie, nu un SLO pentru 84 de cereri de decodare simultane.
Regula capacității
Nu confundați raportul de compresie cu o multiplicare egală a numărului de utilizatori
Măsurați separat, în timp real, numărul de octeți KV, memoria HBM totală, rata de admitere, timpul de așteptare în coadă, TTFT, latența între tokenuri și calitatea. Ponderile, starea recurentă, memoria temporară, programatorul și sarcina oferită rămân constrângeri independente.
Profilul de calitate utilizează re-tiering dinamic, realizează materializarea paginilor TQ3 înainte de etapa de atenție și are dezactivată evaluarea atenției. În cele opt sarcini RULER de tip „needle-in-a-haystack”, cu 32 de exemple pe sarcină și lungime, Minima-KV a egalat modelul de control dens la 16K. La 8K, a îmbunătățit scorul macro al sarcinii cu 0,20 puncte procentuale, în timp ce la 4K a înregistrat o scădere de 0,90 puncte.
În LongBench v2, pe același set de 503 de întrebări, abaterile au fost de −0,80 puncte procentuale la 16K, −0,60 la 32K și −0,40 la 64K. Nu sunt furnizate intervale de încredere de tip paired-bootstrap și nici o marjă de non-inferioritate prestabilită. Concluzia corectă este că abaterile au rămas mici în cadrul acestor teste specifice, nu că tehnica ar fi, în general, fără pierderi.
O echipă de dezvoltare are nevoie de propria evaluare în ceea ce privește limbile, documentele și modurile de eșec corespunzătoare aplicației sale. În cazul sistemelor de căutare corporative, de exemplu, evaluarea finală trebuie să includă recuperarea informațiilor, calitatea răspunsurilor fundamentate și comportamentul în puncte îndepărtate ale contextului — nu doar un scor mediu de referință. Același criteriu de validare specifică sarcinii de lucru apare și în analiza pentru Arbori de compresie semantică în RAG.
Direct Canary a utilizat două cereri active, fiecare cu un prompt de 59.008 tokeni, redare grafică CUDA, amestec static FP8/TQ3, retiering dinamic dezactivat și fără dense shadow. A înregistrat 29.270 de tokeni pe secundă față de 29.804 în cazul controlului, un raport de throughput de 0,9821 și o compresie active-KV de 3,625×. Toate cele 16 straturi full-attention au urmat ruta directă, fără fallback-uri, în 32 de instanțe de tip request-layer.
Este vorba de o singură pereche de măsurători. Nu există repetări, intervale de încredere, TTFT sau percentile ale latenței între tokenuri, iar înregistrarea nu determină tipul de date (dtype) KV al controlului dens. Prin urmare, valoarea 0,9821 nu poate fi prezentată ca o comparație generală pentru BF16 sau FP8.
Într-o coordonată distinctă de tip „warm-prefix”, cu blocuri de 832 de tokenuri și N=32, se înregistrează 32/32 de ieșiri exacte ale cheii de acces, fără fallback-uri, o compresie fizică KV de 4,342× și un raport de throughput de 1,021× față de cache-ul automat de prefix FP8 dens. Aceste rezultate documentează mecanismele de prefix în această configurație; ele nu se suprapun cu profilul de calitate sau cu canarul direct. Pentru o altă tehnică de reutilizare a segmentelor comune de context, consultați și KVBoost.
Valoarea potențială nu constă în faptul că fiecare răspuns va deveni automat mai rapid. Un cache KV mai mic poate permite mai multe contexte rezidente, loturi mai mari sau mai puține blocuri de admitere atunci când sistemul se află sub o încărcare ridicată. Compresia după prefill poate adăuga, în același timp, costuri de conversie, astfel încât beneficiul observat la nivel de serviciu trebuie măsurat atât în coadă, cât și în programator.
În cazul comerțului electronic, al asistenței pentru clienți sau al fluxurilor de lucru bazate pe cunoștințe, întrebarea esențială este dacă sistemul păstrează vechile instrucțiuni și surse care influențează răspunsul final, în limitele latenței și ale costurilor pe care le poate suporta serviciul. Memoria GPU reprezintă doar o parte a economiei unitare. ROI-ul IA la nivel de sarcină trebuie să țină cont de eșecuri, de încercările repetate, de verificarea manuală și de rezultatul real.
Această tehnică este mai relevantă pentru echipele care controlează stiva de inferență sau care colaborează cu un furnizor care pune la dispoziție suficiente date de telemetrie. O aplicație care apelează pur și simplu la un API închis nu poate presupune că are același profil de memorie. Pentru a înțelege modul în care runtime-ul, programatorul și produsul se integrează într-o arhitectură unitară, este utilă analiza privind IA full-stack.
Un pilot sigur nu pornește de la un raport de referință. Pornește de la trasee reprezentative și de la un control riguros, cu versiuni blocate ale modelului, tokenizatorului, runtime-ului, kernel-urilor și programatorului. Apoi se modifică doar politica KV și se înregistrează ce se întâmplă în ceea ce privește memoria, calitatea și latența.
De la stadiul de proiect la un proiect-pilot de producție controlat
Colectați datele referitoare la lungimea promptului, lungimea ieșirii, concurența, reutilizarea prefixului și părțile din contextul anterior care trebuie să rămână recuperabile.
Înregistrați modelul și versiunea tokenizerului, tipul de date KV, commit-ul motorului, stiva CUDA, kernel-urile, politica de programare și specificațiile exacte ale hardware-ului.
Monitorizați octeții KV activi, metadatele, memoria temporară, rezerva alocatorului, ponderile și valoarea maximă a HBM, astfel încât raportul codecului să nu fie confundat cu memoria întregului proces.
Folosiți documente și conversații în care o instrucțiune sau o sursă veche modifică răspunsul corect și comparați rezultatele perechilor cu cele ale grupului de control.
Măsurați rata de admitere, timpul de așteptare, TTFT, percentilele latenței între tokenuri, debitul și soluțiile de rezervă atât la încărcare redusă, cât și la încărcare ridicată.
Testați retiering, copy-on-write, anularea, eliminarea din cache și cititorii concurenți pentru a depista scurgeri de memorie, referințe învechite și returnări silențioase pe calea densă.
Nu activați compresia la nivel general dacă cozile, latențele cozilor sau evaluările specifice sarcinilor depășesc limitele prestabilite.
Acest control face legătura între infrastructură și comportamentul produsului. Dacă o echipă dorește să treacă de la faza de demonstrație la cea de producție, aceleași etape de validare trebuie integrate în planul general de implementare, așa cum este descris în Cinci obstacole întâlnite în trecerea de la versiunea demo a agentului AI la producție.
Evaluarea se referă la Qwen3.6-27B pe o placă NVIDIA RTX PRO 6000 Blackwell de 96 GB. Aceasta nu acoperă paralelismul tensor, servirea multi-GPU, căile de vizualizare sau alte arhitecturi. Deoarece modelul este hibrid, factorii de compresie se referă la KV-ul de atenție al celor 16 straturi cu atenție completă și nu la întreaga memorie a procesului sau la starea Gated DeltaNet.
Profilele de calitate, decodarea directă, contabilizarea implementării și reutilizarea prefixelor reprezintă configurații diferite. Nu au fost măsurate debitul de conversie, vârful de scratch, întârzierea cozii sau procentul de conversie care se poate ascunde în spatele altor operațiuni de servire. Profilul aritmetic rapid a prezentat, de asemenea, o scădere în trei dintre cele opt sarcini RULER de 16K, prin urmare rezultatul privind viteza nu trebuie asociat cu afirmația mai generală privind calitatea.
În cele din urmă, implementarea este proprietară și nu este inclusă împreună cu lucrarea. Autorii menționează că manifestele detaliate, datele de telemetrie și jurnalele brute sunt păstrate intern, dar nu constituie un artefact public. Acest lucru limitează reproducerea independentă și face ca interpretarea specifică profilului să fie și mai importantă.
Cel mai interesant aspect al Minima-KV este trecerea de la un cache omogen la o ierarhie de credibilitate. Paginile recente și protejate primesc mai mulți biți, cele mai vechi mai puțini, dar toate rămân disponibile pentru cererea activă. Codecul, nucleele cu formate mixte, fuziunea globală softmax, proprietatea și contoarele de rute fac parte din același sistem.
Rezultatele disponibile indică o direcție realistă din punct de vedere tehnic: o reducere semnificativă a KV de atenție, abateri minore în cadrul testelor de calitate respective și decodare directă fără „dense shadow”. Totuși, acestea nu constituie o garanție generală pentru fiecare model, GPU sau sarcină de lucru. Următoarea dovadă convingătoare necesită reproducere publică, mai multe modele și măsurători repetate ale sarcinilor oferite, cu latență de coadă și suprasarcină de conversie.
Pentru o întreprindere, concluzia practică este că IA cu context extins nu se scalează doar prin mărirea ferestrei de context. Este nevoie de o gestionare controlată a stării, de compromisuri clare între memorie și fidelitate și de o evaluare a propriului său proces de lucru.
Infrastructură de IA cu limite cuantificabile
Proiectați fluxuri de lucru cu context extins care să reziste la volumul real de lucru
TWO DOTS combină automatizările bazate pe IA cu evaluări specifice sarcinilor de lucru, telemetrie, etape de validare și revizuire umană, astfel încât deciziile privind contextul, memoria și costurile să se bazeze pe propria dvs. activitate.
Întrebări frecvente
Este vorba despre starea stocată a cheilor și valorilor din token-urile anterioare, astfel încât modelul să nu calculeze din nou întregul istoric la fiecare etapă de producție.
Împarte paginile în „Recent”, „Anchor” și „Stale”. Paginile din categoriile „Recent” și „Anchor” rămân în FP8, în timp ce cele din categoria „Stale” sunt comprimate în TQ3 fără a fi șterse din solicitarea activă.
Agregatul de implementare de 18,3 KiB pe token activ corespunde unui KV de atenție de aproximativ 3,50 ori mai mic decât cel al BF16 și de 1,75 ori mai mic decât cel al FP8. Un „direct canary” separat a înregistrat o compresie a „active-KV” de 3,625 ori mai mare.
Nu este o afirmație generală. S-a înregistrat un rezultat egal în cazul profilului RULER de 16K, o ușoară îmbunătățire la 8K și scăderi la 4K și la LongBench v2. Nu sunt furnizate intervale de încredere pentru toate comparațiile.
Nu s-a demonstrat o accelerare generală. În singura pereche directă, raportul de throughput a fost de 0,9821 față de grupul de control. Valoarea potențială rezidă în principal în memoria redusă și în capacitatea de admitere sub sarcină.
Nu pentru cererile active. Păstrează o reprezentare comprimată a paginilor vechi neprotejate, astfel încât acestea să rămână accesibile în cazul în care vor fi necesare din nou.
Nu fără o validare suplimentară. Rezultatele se referă la un model și la un GPU, la profiluri de dovezi diferite și la o implementare proprietară care nu a fost publicată.
Să măsoare separat KV bytes, HBM total, calitatea, rata de admitere, timpul de așteptare în coadă și latența sub sarcină reală. Raportul de compresie nu se transformă automat într-un procent identic de utilizatori suplimentari.
Surse
