{"id":98250,"date":"2026-10-07T09:33:55","date_gmt":"2026-10-07T06:33:55","guid":{"rendered":"https:\/\/twodots.gr\/?p=98250"},"modified":"2026-10-07T09:33:56","modified_gmt":"2026-10-07T06:33:56","slug":"minima-kv-context-extins-ai-cache-compresie","status":"publish","type":"post","link":"https:\/\/twodots.gr\/ro\/minima-kv-long-context-ai-cache-compression\/","title":{"rendered":"Minima-KV: mai mult\u0103 memorie pentru IA cu context extins, f\u0103r\u0103 \u0219tergerea contextului anterior"},"content":{"rendered":"<div class=\"td-article-lede\">\n<p><strong>R\u0103spunsul mai \u00eent\u00e2i:<\/strong> Minima-KV propune comprimarea cache-ului KV f\u0103r\u0103 a \u0219terge paginile vechi ale unei solicit\u0103ri active: p\u0103streaz\u0103 paginile recente \u0219i protejate \u00een FP8 \u0219i le transfer\u0103 pe restul \u00een TQ3. Studiul arat\u0103 un beneficiu semnificativ \u00een ceea ce prive\u0219te memoria, dar nu demonstreaz\u0103 \u00eenc\u0103 o echivalen\u021b\u0103 universal\u0103 \u00een ceea ce prive\u0219te calitatea sau viteza.<\/p>\n<\/div>\n<p>Minima-KV comprim\u0103 cache-ul KV f\u0103r\u0103 a \u0219terge contextul vechi. Ce au ar\u0103tat m\u0103sur\u0103torile privind memoria, calitatea \u0219i debitul \u00een cazul AI cu context lung.<\/p>\n<p>Pe m\u0103sur\u0103 ce fereastra de context a unui model cre\u0219te, cre\u0219te \u0219i memoria necesar\u0103 pentru a p\u0103stra cheile \u0219i valorile token-urilor anterioare. Lucrarea <em>Minima-KV: Compresie a cache-ului KV cu p\u0103strarea informa\u021biilor de reten\u021bie, folosind aten\u021bie paginat\u0103 \u00een format mixt<\/em> propune o arhitectur\u0103 pe trei niveluri care comprim\u0103 starea anterioar\u0103 f\u0103r\u0103 a o elimina din cererea activ\u0103.<\/p>\n<p>Acest concept este important pentru aplica\u021biile care proceseaz\u0103 documente corporative de mari dimensiuni, baze de cuno\u0219tin\u021be extinse, depozite de cod sau secven\u021be lungi de ac\u021biuni. Nu este \u00eens\u0103 suficient s\u0103 citim un argument privind compresia \u0219i s\u0103-l transform\u0103m direct \u00eentr-o promisiune pentru mai mul\u021bi utilizatori. Studiul separ\u0103 \u00een mod con\u0219tient datele referitoare la memorie, calitate, decodare direct\u0103 \u0219i reutilizarea prefixelor \u00een profiluri diferite.<\/p>\n<aside class=\"td-article-note\"><strong>Citirea corect\u0103:<\/strong> Cei 18,3 KiB pe token live reprezint\u0103 o valoare agregat\u0103 raportat\u0103 de utilizatori pentru KV-ul de aten\u021bie al unui anumit workload. Nu reprezint\u0103 consumul total al GPU-ului, un raport constant pentru fiecare context \u0219i nici o dovad\u0103 c\u0103 capacitatea sau debitul cresc \u00een aceea\u0219i m\u0103sur\u0103.<\/aside>\n<div class=\"td-article-toc\">\n<div class=\"td-toc-title\">Cuprins<\/div>\n<ul>\n<li><a href=\"#kv-cache-emporio\">De ce memoria cache KV reprezint\u0103 un obstacol pentru IA cu context extins<\/a><\/li>\n<li><a href=\"#tria-epipeda\">Recent, Anchor \u0219i Stale: ierarhia Minima-KV<\/a><\/li>\n<li><a href=\"#retention-preserving\">Ce se schimb\u0103 atunci c\u00e2nd comprimarea nu \u0219terge contextul vechi<\/a><\/li>\n<li><a href=\"#mixed-format-attention\">Cum func\u021bioneaz\u0103 aten\u021bia \u00een format mixt<\/a><\/li>\n<li><a href=\"#metriseis-mnimis\">Ce au ar\u0103tat testele de memorie<\/a><\/li>\n<li><a href=\"#poiotita\">Calitate: abateri minore, nu se poate vorbi \u00een general de \u00abf\u0103r\u0103 pierderi\u00bb<\/a><\/li>\n<li><a href=\"#direct-decode-prefix\">\u201eDecodarea direct\u0103\u201d \u0219i \u201ereutilizarea prefixului\u201d sunt teste diferite<\/a><\/li>\n<li><a href=\"#epicheirimatiki-axia\">Ce \u00eenseamn\u0103 acest lucru pentru sistemele opera\u021bionale bazate pe IA<\/a><\/li>\n<li><a href=\"#elegxos-paragogis\">Cum se evalueaz\u0103 o tehnic\u0103 de compresie KV \u00een produc\u021bie<\/a><\/li>\n<li><a href=\"#oria\">Restric\u021biile care nu trebuie uitate<\/a><\/li>\n<li><a href=\"#ousia\">Esen\u021ba: gestionarea fidelit\u0103\u021bii, nu doar un num\u0103r mai mic de bi\u021bi<\/a><\/li>\n<\/ul>\n<\/div>\n<h2 id=\"kv-cache-emporio\">De ce memoria cache KV reprezint\u0103 un obstacol pentru IA cu context extins<\/h2>\n<p>\u00cen generarea auto-recursiv\u0103, modelul p\u0103streaz\u0103 cheile \u0219i valorile token-urilor anterioare, astfel \u00eenc\u00e2t s\u0103 nu calculeze din nou \u00eentregul istoric la fiecare pas nou. Economia de resurse de calcul are un cost \u00een ceea ce prive\u0219te memoria: dimensiunea cache-ului KV cre\u0219te odat\u0103 cu lungimea contextului, num\u0103rul de cereri active, straturile de aten\u021bie, capetele KV \u0219i dimensiunea fiec\u0103rui cap.<\/p>\n<p>\u00cen varianta Qwen3.6-27B a studiului, 16 dintre cele 64 de straturi de limbaj utilizeaz\u0103 \u201efull attention\u201d, iar restul utilizeaz\u0103 Gated DeltaNet. Chiar \u0219i \u00een aceast\u0103 arhitectur\u0103 hibrid\u0103, \u00eenc\u0103rc\u0103tura KV de aten\u021bie este estimat\u0103 la 64 KiB pe token activ pentru BF16 \u0219i la 32 KiB pentru FP8. Aceasta \u00eenseamn\u0103 2 GiB sau 1 GiB, respectiv, pentru o secven\u021b\u0103 de 32K token-uri, \u00eenainte de ad\u0103ugarea ponderilor, a st\u0103rii recurente, a rezervei alocatorului, a memoriei temporare \u0219i a altor cerin\u021be ale mediului de execu\u021bie.<\/p>\n<p>PagedAttention reduce fragmentarea \u0219i permite ca blocurile KV s\u0103 se afle \u00een loca\u021bii fizice necontigue, dar nu comprim\u0103 \u00een sine datele fiec\u0103rui bloc. Diferen\u021ba are o importan\u021b\u0103 practic\u0103: una este gestionarea mai eficient\u0103 a spa\u021biului disponibil \u0219i alta este reducerea num\u0103rului de octe\u021bi ocupa\u021bi de aceea\u0219i informa\u021bie. Pentru a \u00een\u021belege de ce contextul extins nu echivaleaz\u0103 automat cu o recuperare fiabil\u0103, o completare util\u0103 este analiza <a href=\"https:\/\/twodots.gr\/megalo-context-den-simainei-axiopisto-ai-predicatelongbench\/\">PredicateLongBench<\/a>.<\/p>\n<div class=\"td-comparison td-comparison-cards td-comparison-cards--horizontal\">\n<div class=\"td-comparison-grid td-comparison-grid-three\">\n<div class=\"td-platform-card\">\n<p class=\"td-comparison-title\">Paginare<\/p>\n<p>PagedAttention organizeaz\u0103 cache-ul KV \u00een blocuri \u0219i limiteaz\u0103 pierderile cauzate de fragmentare \u0219i de restric\u021biile privind lungimea maxim\u0103.<\/p>\n<div class=\"td-badge-row\"><span class=\"td-badge\">Aspect<\/span><span class=\"td-badge\">Alocare<\/span><\/div>\n<\/div>\n<div class=\"td-platform-card td-platform-card--navy\">\n<p class=\"td-comparison-title\">Compresie<\/p>\n<p>Minima-KV modific\u0103 reprezentarea fizic\u0103 a paginilor mai vechi din FP8 \u00een TQ3 pentru a reduce num\u0103rul de octe\u021bi din cache-ul activ.<\/p>\n<div class=\"td-badge-row\"><span class=\"td-badge\">FP8<\/span><span class=\"td-badge\">TQ3<\/span><\/div>\n<\/div>\n<div class=\"td-platform-card\">\n<p class=\"td-comparison-title\">Evacuare<\/p>\n<p>\u0218tergerea p\u0103streaz\u0103 doar starea selectat\u0103. Elibereaz\u0103 spa\u021biu, dar o pagin\u0103 eliminat\u0103 nu poate fi recuperat\u0103 din cache-ul KV.<\/p>\n<div class=\"td-badge-row\"><span class=\"td-badge\">Stare dispersat\u0103<\/span><span class=\"td-badge\">Ireversibil<\/span><\/div>\n<\/div>\n<\/div>\n<\/div>\n<h2 id=\"tria-epipeda\">Recent, Anchor \u0219i Stale: ierarhia Minima-KV<\/h2>\n<p>Minima-KV \u00eemparte paginile active \u00een trei niveluri. Cele <strong>Recent<\/strong> sunt cele mai recente \u0219i r\u0103m\u00e2n \u00een FP8 pentru a proteja partea actual\u0103 a produc\u021biei. Acestea <strong>Anchor<\/strong> sunt pagini mai vechi, dar esen\u021biale, precum instruc\u021biunile de sistem, ini\u021bialele \u201eattention sinks\u201d, documentele recuperate sau identificatorii, care trebuie s\u0103 p\u0103streze un nivel mai ridicat de acurate\u021be.<\/p>\n<p>Cei <strong>Vechi<\/strong> Paginile sunt mai vechi \u0219i nu sunt incluse \u00een bugetul protejat. Acestea sunt codificate \u00een TQ3 cu o reprezentare comprimat\u0103 de trei bi\u021bi, scale, corec\u021bii de norm\u0103 \u0219i metadate. Totu\u0219i, ele r\u0103m\u00e2n adresabile \u00een cadrul cererii active. Dac\u0103 controlerul consider\u0103 c\u0103 o pagin\u0103 \u201eStale\u201d a redevenit important\u0103, o poate reconstrui \u00eentr-o nou\u0103 pagin\u0103 FP8 \u0219i o poate promova \u00een nivelul Anchor.<\/p>\n<p>Articolul descrie un sistem de evaluare a aten\u021biei pentru astfel de decizii, dar mecanismul era dezactivat \u00een profilurile Qwen3.6 evaluate. Prin urmare, acesta face parte din proiectarea controlerului \u0219i nu reprezint\u0103 un avantaj m\u0103surat al rezultatelor publicate.<\/p>\n<div class=\"td-chart td-chart--metrics\">\n<div class=\"td-chart-head\">\n<p class=\"td-chart-kicker\">Patru elemente diferite<\/p>\n<p class=\"td-chart-title\">Cifrele nu provin dintr-un singur test de performan\u021b\u0103<\/p>\n<p class=\"td-chart-intro\">Fiecare valoare apar\u021bine propriului profil legat de configura\u021bie \u0219i trebuie citit\u0103 numai \u00een cadrul acestui domeniu de aplicare.<\/p>\n<\/div>\n<div class=\"td-metric-grid\">\n<div class=\"td-metric-card\"><span class=\"td-metric-value\">18,3 KiB\/token<\/span><span class=\"td-metric-label\">Agregat de implementare raportat de proprietar pentru KV de aten\u021bie pe token activ<\/span><\/div>\n<div class=\"td-metric-card\"><span class=\"td-metric-value\">3,50\u00d7<\/span><span class=\"td-metric-label\">Compresia calculat\u0103 a agregatului \u00een compara\u021bie cu BF16 attention KV<\/span><\/div>\n<div class=\"td-metric-card\"><span class=\"td-metric-value\">3,625\u00d7<\/span><span class=\"td-metric-label\">Compresie Active-KV \u00eentr-un canary separat cu decodare direct\u0103<\/span><\/div>\n<div class=\"td-metric-card\"><span class=\"td-metric-value\">0,9821\u00d7<\/span><span class=\"td-metric-label\">Raportul de randament al aceleia\u0219i perechi directe unice fa\u021b\u0103 de grupul de control<\/span><\/div>\n<\/div>\n<\/div>\n<h2 id=\"retention-preserving\">Ce se schimb\u0103 atunci c\u00e2nd comprimarea nu \u0219terge contextul vechi<\/h2>\n<p>No\u021biunea <em>care p\u0103streaz\u0103 reten\u021bia<\/em> este esen\u021ba propunerii. Mecanismele de reten\u021bie \u0219i eliminare selectiv\u0103 pot p\u0103stra doar pozi\u021biile considerate importante la un moment dat. Dac\u0103 \u00eens\u0103 aten\u021bia se \u00eendreapt\u0103 ulterior c\u0103tre o zon\u0103 care a fost \u0219tears\u0103, informa\u021bia KV corespunz\u0103toare nu mai exist\u0103.<\/p>\n<p>Minima-KV opteaz\u0103 pentru un compromis mai conservator: pentru fiecare pagin\u0103 a unei solicit\u0103ri live, p\u0103streaz\u0103 o reprezentare exact\u0103 sau aproximativ\u0103. Acest lucru se potrive\u0219te pentru sarcini de lucru \u00een care o instruc\u021biune, o clauz\u0103, o func\u021bie sau o surs\u0103 mai veche poate redeveni relevant\u0103 f\u0103r\u0103 avertisment. Aceasta nu \u00eenseamn\u0103 c\u0103 reprezentarea TQ3 este echivalent\u0103 cu o memorie cache dens\u0103; \u00eenseamn\u0103 c\u0103 se evit\u0103 eliminarea ireversibil\u0103 a paginii.<\/p>\n<p>Alegerea depinde de costul e\u0219ecului. \u00centr-un rezumat cu risc redus, ar putea fi acceptabil s\u0103 se omit\u0103 anumite detalii. \u00cen documentele corporative, \u00een analiza codului sau \u00een agen\u021bii AI cu mai multe etape, posibilitatea de a reveni la dovezi mai vechi poate fi mai important\u0103 dec\u00e2t economiile maxime. Discu\u021bia referitoare la memoria cu provenien\u021b\u0103 se dezvolt\u0103 \u0219i \u00een <a href=\"https:\/\/twodots.gr\/echo-mnimi-ai-agent-apodeixeis-provenance\/\">ECHO pentru memoria agen\u021bilor AI<\/a>.<\/p>\n<h2 id=\"mixed-format-attention\">Cum func\u021bioneaz\u0103 aten\u021bia \u00een format mixt<\/h2>\n<p>Compresia simpl\u0103 nu este suficient\u0103 dac\u0103 fiecare decodare trebuie mai \u00eent\u00e2i s\u0103 decomprime \u00eentregul cache \u00eentr-o copie dens\u0103. Minima-KV utilizeaz\u0103 nuclee specifice formatului: o ramifica\u021bie cite\u0219te pagini FP8, iar alta cite\u0219te pagini TQ3 comprimate direct pe m\u0103sur\u0103 ce sunt \u00eenc\u0103rcate.<\/p>\n<p>Fiecare ramur\u0103 calculeaz\u0103 o stare par\u021bial\u0103 de aten\u021bie \u2014 scorul maxim, suma exponen\u021bialelor \u0219i ie\u0219irea normalizat\u0103. St\u0103rile sunt apoi fuzionate printr-o normalizare comun\u0103 online-softmax, p\u0103str\u00e2nd ordinea logic\u0103 a paginilor \u0219i masca cauzal\u0103. \u00cen modelul direct canary, cache-ul dens de umbr\u0103 fusese eliberat, astfel \u00eenc\u00e2t compresia nu era doar un truc matematic ascuns \u00een spatele unei copii dense complete.<\/p>\n<p>Implementarea utilizeaz\u0103 nuclee TileLang compilate \u00een CUDA \u0219i \u00eenregistreaz\u0103 contori de rute \u0219i solu\u021bii de rezerv\u0103. Aceast\u0103 observabilitate este esen\u021bial\u0103: un prompt care a r\u0103mas integral \u00een FP8 nu ar trebui s\u0103 fie prezentat ca dovad\u0103 c\u0103 s-a executat calea TQ3. \u00cen mod similar, un microbenchmark rapid al unui kernel necesit\u0103 testare \u00een cadrul modelului real, a\u0219a cum explic\u0103 analiza referitoare la <a href=\"https:\/\/twodots.gr\/llm4llm-gpu-kernel-dokimi-pragmatiko-montelo\/\">LLM4LLM \u0219i testele end-to-end ale kernelului<\/a>.<\/p>\n<h2 id=\"metriseis-mnimis\">Ce au ar\u0103tat testele de memorie<\/h2>\n<p>Contabilitatea de implementare indic\u0103 18,3 KiB de KV de aten\u021bie pe fiecare token activ. Av\u00e2nd \u00een vedere cei 64 KiB ai BF16 \u0219i cei 32 KiB ai FP8 pentru arhitectura respectiv\u0103, valoarea corespunde unui footprint de aproximativ 3,497\u00d7 mai mic dec\u00e2t cel al BF16 \u0219i de 1,749\u00d7 mai mic dec\u00e2t cel al FP8. \u00cen vizualizarea detaliat\u0103 pentru un milion de tokeni activi, valorile sunt de 61,04 GiB pentru BF16, 30,52 GiB pentru FP8 \u0219i 17,45 GiB pentru scenariul de 18,3 KiB pe token.<\/p>\n<p>Vizualiz\u0103rile nu reprezint\u0103 m\u0103sur\u0103tori independente pentru fiecare lungime de context. Datele disponibile nu analizeaz\u0103 pe deplin agregatul \u00een octe\u021bi \u201eRecent\u201d, \u201eAnchor\u201d \u0219i \u201eStale\u201d \u0219i nici nu izoleaz\u0103 efectele legate de metadate, memoria temporar\u0103, gradul de ocupare \u0219i cele dependente de context. Din acela\u0219i motiv, calculul istoric al celor 53 de contexte rezidente de 32K cu FP8 \u0219i al celor 84 cu un scenariu exact de 3,50\u00d7 reprezint\u0103 limita maxim\u0103 de memorie, nu un SLO pentru 84 de cereri de decodare simultane.<\/p>\n<div class=\"td-decision-band\">\n<p class=\"td-decision-kicker\">Regula capacit\u0103\u021bii<\/p>\n<p class=\"td-decision-title\">Nu confunda\u021bi raportul de compresie cu o multiplicare egal\u0103 a num\u0103rului de utilizatori<\/p>\n<p>M\u0103sura\u021bi separat, \u00een timp real, num\u0103rul de octe\u021bi KV, memoria HBM total\u0103, rata de admitere, timpul de a\u0219teptare \u00een coad\u0103, TTFT, laten\u021ba \u00eentre tokenuri \u0219i calitatea. Ponderile, starea recurent\u0103, memoria temporar\u0103, programatorul \u0219i sarcina oferit\u0103 r\u0103m\u00e2n constr\u00e2ngeri independente.<\/p>\n<\/div>\n<h2 id=\"poiotita\">Calitate: abateri minore, nu se poate vorbi \u00een general de \u00abf\u0103r\u0103 pierderi\u00bb<\/h2>\n<p>Profilul de calitate utilizeaz\u0103 re-tiering dinamic, realizeaz\u0103 materializarea paginilor TQ3 \u00eenainte de etapa de aten\u021bie \u0219i are dezactivat\u0103 evaluarea aten\u021biei. \u00cen cele opt sarcini RULER de tip \u201eneedle-in-a-haystack\u201d, cu 32 de exemple pe sarcin\u0103 \u0219i lungime, Minima-KV a egalat modelul de control dens la 16K. La 8K, a \u00eembun\u0103t\u0103\u021bit scorul macro al sarcinii cu 0,20 puncte procentuale, \u00een timp ce la 4K a \u00eenregistrat o sc\u0103dere de 0,90 puncte.<\/p>\n<p>\u00cen LongBench v2, pe acela\u0219i set de 503 de \u00eentreb\u0103ri, abaterile au fost de \u22120,80 puncte procentuale la 16K, \u22120,60 la 32K \u0219i \u22120,40 la 64K. Nu sunt furnizate intervale de \u00eencredere de tip paired-bootstrap \u0219i nici o marj\u0103 de non-inferioritate prestabilit\u0103. Concluzia corect\u0103 este c\u0103 abaterile au r\u0103mas mici \u00een cadrul acestor teste specifice, nu c\u0103 tehnica ar fi, \u00een general, f\u0103r\u0103 pierderi.<\/p>\n<p>O echip\u0103 de dezvoltare are nevoie de propria evaluare \u00een ceea ce prive\u0219te limbile, documentele \u0219i modurile de e\u0219ec corespunz\u0103toare aplica\u021biei sale. \u00cen cazul sistemelor de c\u0103utare corporative, de exemplu, evaluarea final\u0103 trebuie s\u0103 includ\u0103 recuperarea informa\u021biilor, calitatea r\u0103spunsurilor fundamentate \u0219i comportamentul \u00een puncte \u00eendep\u0103rtate ale contextului \u2014 nu doar un scor mediu de referin\u021b\u0103. Acela\u0219i criteriu de validare specific\u0103 sarcinii de lucru apare \u0219i \u00een analiza pentru <a href=\"https:\/\/twodots.gr\/semantic-compression-trees-rag-context\/\">Arbori de compresie semantic\u0103 \u00een RAG<\/a>.<\/p>\n<h2 id=\"direct-decode-prefix\">\u201eDecodarea direct\u0103\u201d \u0219i \u201ereutilizarea prefixului\u201d sunt teste diferite<\/h2>\n<p>Direct Canary a utilizat dou\u0103 cereri active, fiecare cu un prompt de 59.008 tokeni, redare grafic\u0103 CUDA, amestec static FP8\/TQ3, retiering dinamic dezactivat \u0219i f\u0103r\u0103 dense shadow. A \u00eenregistrat 29.270 de tokeni pe secund\u0103 fa\u021b\u0103 de 29.804 \u00een cazul controlului, un raport de throughput de 0,9821 \u0219i o compresie active-KV de 3,625\u00d7. Toate cele 16 straturi full-attention au urmat ruta direct\u0103, f\u0103r\u0103 fallback-uri, \u00een 32 de instan\u021be de tip request-layer.<\/p>\n<p>Este vorba de o singur\u0103 pereche de m\u0103sur\u0103tori. Nu exist\u0103 repet\u0103ri, intervale de \u00eencredere, TTFT sau percentile ale laten\u021bei \u00eentre tokenuri, iar \u00eenregistrarea nu determin\u0103 tipul de date (dtype) KV al controlului dens. Prin urmare, valoarea 0,9821 nu poate fi prezentat\u0103 ca o compara\u021bie general\u0103 pentru BF16 sau FP8.<\/p>\n<p>\u00centr-o coordonat\u0103 distinct\u0103 de tip \u201ewarm-prefix\u201d, cu blocuri de 832 de tokenuri \u0219i N=32, se \u00eenregistreaz\u0103 32\/32 de ie\u0219iri exacte ale cheii de acces, f\u0103r\u0103 fallback-uri, o compresie fizic\u0103 KV de 4,342\u00d7 \u0219i un raport de throughput de 1,021\u00d7 fa\u021b\u0103 de cache-ul automat de prefix FP8 dens. Aceste rezultate documenteaz\u0103 mecanismele de prefix \u00een aceast\u0103 configura\u021bie; ele nu se suprapun cu profilul de calitate sau cu canarul direct. Pentru o alt\u0103 tehnic\u0103 de reutilizare a segmentelor comune de context, consulta\u021bi \u0219i <a href=\"https:\/\/twodots.gr\/kvboost-taxytera-llm-koino-periexomeno-oxi-stin-arxi\/\">KVBoost<\/a>.<\/p>\n<h2 id=\"epicheirimatiki-axia\">Ce \u00eenseamn\u0103 acest lucru pentru sistemele opera\u021bionale bazate pe IA<\/h2>\n<p>Valoarea poten\u021bial\u0103 nu const\u0103 \u00een faptul c\u0103 fiecare r\u0103spuns va deveni automat mai rapid. Un cache KV mai mic poate permite mai multe contexte rezidente, loturi mai mari sau mai pu\u021bine blocuri de admitere atunci c\u00e2nd sistemul se afl\u0103 sub o \u00eenc\u0103rcare ridicat\u0103. Compresia dup\u0103 prefill poate ad\u0103uga, \u00een acela\u0219i timp, costuri de conversie, astfel \u00eenc\u00e2t beneficiul observat la nivel de serviciu trebuie m\u0103surat at\u00e2t \u00een coad\u0103, c\u00e2t \u0219i \u00een programator.<\/p>\n<p>\u00cen cazul comer\u021bului electronic, al asisten\u021bei pentru clien\u021bi sau al fluxurilor de lucru bazate pe cuno\u0219tin\u021be, \u00eentrebarea esen\u021bial\u0103 este dac\u0103 sistemul p\u0103streaz\u0103 vechile instruc\u021biuni \u0219i surse care influen\u021beaz\u0103 r\u0103spunsul final, \u00een limitele laten\u021bei \u0219i ale costurilor pe care le poate suporta serviciul. Memoria GPU reprezint\u0103 doar o parte a economiei unitare. <a href=\"https:\/\/twodots.gr\/ai-roi-axia-ergasias\/\">ROI-ul IA la nivel de sarcin\u0103<\/a> trebuie s\u0103 \u021bin\u0103 cont de e\u0219ecuri, de \u00eencerc\u0103rile repetate, de verificarea manual\u0103 \u0219i de rezultatul real.<\/p>\n<p>Aceast\u0103 tehnic\u0103 este mai relevant\u0103 pentru echipele care controleaz\u0103 stiva de inferen\u021b\u0103 sau care colaboreaz\u0103 cu un furnizor care pune la dispozi\u021bie suficiente date de telemetrie. O aplica\u021bie care apeleaz\u0103 pur \u0219i simplu la un API \u00eenchis nu poate presupune c\u0103 are acela\u0219i profil de memorie. Pentru a \u00een\u021belege modul \u00een care runtime-ul, programatorul \u0219i produsul se integreaz\u0103 \u00eentr-o arhitectur\u0103 unitar\u0103, este util\u0103 analiza privind <a href=\"https:\/\/twodots.gr\/full-stack-ai-integrated-digital-products\/\">IA full-stack<\/a>.<\/p>\n<h2 id=\"elegxos-paragogis\">Cum se evalueaz\u0103 o tehnic\u0103 de compresie KV \u00een produc\u021bie<\/h2>\n<p>Un pilot sigur nu porne\u0219te de la un raport de referin\u021b\u0103. Porne\u0219te de la trasee reprezentative \u0219i de la un control riguros, cu versiuni blocate ale modelului, tokenizatorului, runtime-ului, kernel-urilor \u0219i programatorului. Apoi se modific\u0103 doar politica KV \u0219i se \u00eenregistreaz\u0103 ce se \u00eent\u00e2mpl\u0103 \u00een ceea ce prive\u0219te memoria, calitatea \u0219i laten\u021ba.<\/p>\n<div class=\"td-step-list\">\n<p class=\"td-step-list-title\">De la stadiul de proiect la un proiect-pilot de produc\u021bie controlat<\/p>\n<ol>\n<li><span class=\"td-step-kicker\">Pasul 1<\/span><strong>Iat\u0103 care este sarcina de lucru real\u0103 cu context extins<\/strong>\n<p>Colecta\u021bi datele referitoare la lungimea promptului, lungimea ie\u0219irii, concuren\u021ba, reutilizarea prefixului \u0219i p\u0103r\u021bile din contextul anterior care trebuie s\u0103 r\u0103m\u00e2n\u0103 recuperabile.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">Pasul 2<\/span><strong>Bloca\u021bi un control dens<\/strong>\n<p>\u00cenregistra\u021bi modelul \u0219i versiunea tokenizerului, tipul de date KV, commit-ul motorului, stiva CUDA, kernel-urile, politica de programare \u0219i specifica\u021biile exacte ale hardware-ului.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">Pasul 3<\/span><strong>M\u0103sura\u021bi separat memoria fizic\u0103 \u0219i memoria total\u0103<\/strong>\n<p>Monitoriza\u021bi octe\u021bii KV activi, metadatele, memoria temporar\u0103, rezerva alocatorului, ponderile \u0219i valoarea maxim\u0103 a HBM, astfel \u00eenc\u00e2t raportul codecului s\u0103 nu fie confundat cu memoria \u00eentregului proces.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">Pasul 4<\/span><strong>Testa\u021bi rechem\u0103rile critice<\/strong>\n<p>Folosi\u021bi documente \u0219i conversa\u021bii \u00een care o instruc\u021biune sau o surs\u0103 veche modific\u0103 r\u0103spunsul corect \u0219i compara\u021bi rezultatele perechilor cu cele ale grupului de control.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">Pasul 5<\/span><strong>Genera\u021bi curbe de sarcin\u0103 oferit\u0103<\/strong>\n<p>M\u0103sura\u021bi rata de admitere, timpul de a\u0219teptare, TTFT, percentilele laten\u021bei \u00eentre tokenuri, debitul \u0219i solu\u021biile de rezerv\u0103 at\u00e2t la \u00eenc\u0103rcare redus\u0103, c\u00e2t \u0219i la \u00eenc\u0103rcare ridicat\u0103.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">Pasul 6<\/span><strong>Verifica\u021bi tranzi\u021biile \u0219i drepturile de proprietate asupra prefixelor<\/strong>\n<p>Testa\u021bi retiering, copy-on-write, anularea, eliminarea din cache \u0219i cititorii concuren\u021bi pentru a depista scurgeri de memorie, referin\u021be \u00eenvechite \u0219i return\u0103ri silen\u021bioase pe calea dens\u0103.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">Pasul 7<\/span><strong>Configura\u021bi rollback-ul pe baza SLO \u0219i a calit\u0103\u021bii<\/strong>\n<p>Nu activa\u021bi compresia la nivel general dac\u0103 cozile, laten\u021bele cozilor sau evalu\u0103rile specifice sarcinilor dep\u0103\u0219esc limitele prestabilite.<\/p>\n<\/li>\n<\/ol>\n<\/div>\n<p>Acest control face leg\u0103tura \u00eentre infrastructur\u0103 \u0219i comportamentul produsului. Dac\u0103 o echip\u0103 dore\u0219te s\u0103 treac\u0103 de la faza de demonstra\u021bie la cea de produc\u021bie, acelea\u0219i etape de validare trebuie integrate \u00een planul general de implementare, a\u0219a cum este descris \u00een <a href=\"https:\/\/twodots.gr\/ai-agent-demo-paragogi-pente-teixi-epicheirisis\/\">Cinci obstacole \u00eent\u00e2lnite \u00een trecerea de la versiunea demo a agentului AI la produc\u021bie<\/a>.<\/p>\n<h2 id=\"oria\">Restric\u021biile care nu trebuie uitate<\/h2>\n<p>Evaluarea se refer\u0103 la Qwen3.6-27B pe o plac\u0103 NVIDIA RTX PRO 6000 Blackwell de 96 GB. Aceasta nu acoper\u0103 paralelismul tensor, servirea multi-GPU, c\u0103ile de vizualizare sau alte arhitecturi. Deoarece modelul este hibrid, factorii de compresie se refer\u0103 la KV-ul de aten\u021bie al celor 16 straturi cu aten\u021bie complet\u0103 \u0219i nu la \u00eentreaga memorie a procesului sau la starea Gated DeltaNet.<\/p>\n<p>Profilele de calitate, decodarea direct\u0103, contabilizarea implement\u0103rii \u0219i reutilizarea prefixelor reprezint\u0103 configura\u021bii diferite. Nu au fost m\u0103surate debitul de conversie, v\u00e2rful de scratch, \u00eent\u00e2rzierea cozii sau procentul de conversie care se poate ascunde \u00een spatele altor opera\u021biuni de servire. Profilul aritmetic rapid a prezentat, de asemenea, o sc\u0103dere \u00een trei dintre cele opt sarcini RULER de 16K, prin urmare rezultatul privind viteza nu trebuie asociat cu afirma\u021bia mai general\u0103 privind calitatea.<\/p>\n<p>\u00cen cele din urm\u0103, implementarea este proprietar\u0103 \u0219i nu este inclus\u0103 \u00eempreun\u0103 cu lucrarea. Autorii men\u021bioneaz\u0103 c\u0103 manifestele detaliate, datele de telemetrie \u0219i jurnalele brute sunt p\u0103strate intern, dar nu constituie un artefact public. Acest lucru limiteaz\u0103 reproducerea independent\u0103 \u0219i face ca interpretarea specific\u0103 profilului s\u0103 fie \u0219i mai important\u0103.<\/p>\n<h2 id=\"ousia\">Esen\u021ba: gestionarea fidelit\u0103\u021bii, nu doar un num\u0103r mai mic de bi\u021bi<\/h2>\n<p>Cel mai interesant aspect al Minima-KV este trecerea de la un cache omogen la o ierarhie de credibilitate. Paginile recente \u0219i protejate primesc mai mul\u021bi bi\u021bi, cele mai vechi mai pu\u021bini, dar toate r\u0103m\u00e2n disponibile pentru cererea activ\u0103. Codecul, nucleele cu formate mixte, fuziunea global\u0103 softmax, proprietatea \u0219i contoarele de rute fac parte din acela\u0219i sistem.<\/p>\n<p>Rezultatele disponibile indic\u0103 o direc\u021bie realist\u0103 din punct de vedere tehnic: o reducere semnificativ\u0103 a KV de aten\u021bie, abateri minore \u00een cadrul testelor de calitate respective \u0219i decodare direct\u0103 f\u0103r\u0103 \u201edense shadow\u201d. Totu\u0219i, acestea nu constituie o garan\u021bie general\u0103 pentru fiecare model, GPU sau sarcin\u0103 de lucru. Urm\u0103toarea dovad\u0103 conving\u0103toare necesit\u0103 reproducere public\u0103, mai multe modele \u0219i m\u0103sur\u0103tori repetate ale sarcinilor oferite, cu laten\u021b\u0103 de coad\u0103 \u0219i suprasarcin\u0103 de conversie.<\/p>\n<p>Pentru o \u00eentreprindere, concluzia practic\u0103 este c\u0103 IA cu context extins nu se scaleaz\u0103 doar prin m\u0103rirea ferestrei de context. Este nevoie de o gestionare controlat\u0103 a st\u0103rii, de compromisuri clare \u00eentre memorie \u0219i fidelitate \u0219i de o evaluare a propriului s\u0103u proces de lucru.<\/p>\n<section class=\"td-service-cta\">\n<div class=\"td-service-cta-content\">\n<p class=\"td-service-cta-kicker\">Infrastructur\u0103 de IA cu limite cuantificabile<\/p>\n<p class=\"td-service-cta-title\">Proiecta\u021bi fluxuri de lucru cu context extins care s\u0103 reziste la volumul real de lucru<\/p>\n<p>TWO DOTS combin\u0103 automatiz\u0103rile bazate pe IA cu evalu\u0103ri specifice sarcinilor de lucru, telemetrie, etape de validare \u0219i revizuire uman\u0103, astfel \u00eenc\u00e2t deciziile privind contextul, memoria \u0219i costurile s\u0103 se bazeze pe propria dvs. activitate.<\/p>\n<div class=\"td-service-cta-actions\"><a class=\"td-service-cta-button\" href=\"https:\/\/twodots.gr\/aftomatismoi-epicheiriseon-ai\/\">Vede\u021bi Automatiz\u0103ri pentru \u00eentreprinderi \u0219i IA<\/a><\/div>\n<\/div>\n<\/section>\n<section id=\"sychnes-erotiseis\" class=\"td-faq-section\">\n<div class=\"td-faq\">\n<p class=\"td-faq-heading\">\u00centreb\u0103ri frecvente<\/p>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Ce este cache-ul KV?;<\/summary>\n<div class=\"td-faq-content\">\n<p>Este vorba despre starea stocat\u0103 a cheilor \u0219i valorilor din token-urile anterioare, astfel \u00eenc\u00e2t modelul s\u0103 nu calculeze din nou \u00eentregul istoric la fiecare etap\u0103 de produc\u021bie.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Ce \u00eel face pe Minima-KV s\u0103 fie diferit?;<\/summary>\n<div class=\"td-faq-content\">\n<p>\u00cemparte paginile \u00een \u201eRecent\u201d, \u201eAnchor\u201d \u0219i \u201eStale\u201d. Paginile din categoriile \u201eRecent\u201d \u0219i \u201eAnchor\u201d r\u0103m\u00e2n \u00een FP8, \u00een timp ce cele din categoria \u201eStale\u201d sunt comprimate \u00een TQ3 f\u0103r\u0103 a fi \u0219terse din solicitarea activ\u0103.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Ce valoare a compresiei men\u021bioneaz\u0103 lucrarea?;<\/summary>\n<div class=\"td-faq-content\">\n<p>Agregatul de implementare de 18,3 KiB pe token activ corespunde unui KV de aten\u021bie de aproximativ 3,50 ori mai mic dec\u00e2t cel al BF16 \u0219i de 1,75 ori mai mic dec\u00e2t cel al FP8. Un \u201edirect canary\u201d separat a \u00eenregistrat o compresie a \u201eactive-KV\u201d de 3,625 ori mai mare.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Calitatea este men\u021binut\u0103 \u00een totalitate?;<\/summary>\n<div class=\"td-faq-content\">\n<p>Nu este o afirma\u021bie general\u0103. S-a \u00eenregistrat un rezultat egal \u00een cazul profilului RULER de 16K, o u\u0219oar\u0103 \u00eembun\u0103t\u0103\u021bire la 8K \u0219i sc\u0103deri la 4K \u0219i la LongBench v2. Nu sunt furnizate intervale de \u00eencredere pentru toate compara\u021biile.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Procesul de inferen\u021b\u0103 devine mai rapid?;<\/summary>\n<div class=\"td-faq-content\">\n<p>Nu s-a demonstrat o accelerare general\u0103. \u00cen singura pereche direct\u0103, raportul de throughput a fost de 0,9821 fa\u021b\u0103 de grupul de control. Valoarea poten\u021bial\u0103 rezid\u0103 \u00een principal \u00een memoria redus\u0103 \u0219i \u00een capacitatea de admitere sub sarcin\u0103.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Minima-KV elimin\u0103 tokenurile vechi?;<\/summary>\n<div class=\"td-faq-content\">\n<p>Nu pentru cererile active. P\u0103streaz\u0103 o reprezentare comprimat\u0103 a paginilor vechi neprotejate, astfel \u00eenc\u00e2t acestea s\u0103 r\u0103m\u00e2n\u0103 accesibile \u00een cazul \u00een care vor fi necesare din nou.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Este compatibil cu orice sistem de produc\u021bie?;<\/summary>\n<div class=\"td-faq-content\">\n<p>Nu f\u0103r\u0103 o validare suplimentar\u0103. Rezultatele se refer\u0103 la un model \u0219i la un GPU, la profiluri de dovezi diferite \u0219i la o implementare proprietar\u0103 care nu a fost publicat\u0103.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Care este materia de baz\u0103 pentru o \u00eentreprindere?;<\/summary>\n<div class=\"td-faq-content\">\n<p>S\u0103 m\u0103soare separat KV bytes, HBM total, calitatea, rata de admitere, timpul de a\u0219teptare \u00een coad\u0103 \u0219i laten\u021ba sub sarcin\u0103 real\u0103. Raportul de compresie nu se transform\u0103 automat \u00eentr-un procent identic de utilizatori suplimentari.<\/p>\n<\/div>\n<\/details>\n<\/div>\n<\/section>\n<div class=\"td-source-list\">\n<p id=\"piges\" class=\"td-source-list-title\">Surse<\/p>\n<ul>\n<li><a href=\"https:\/\/arxiv.org\/abs\/2608.23834\" target=\"_blank\" rel=\"noopener\">Kozyrev &amp; Maiboroda \u2014 Minima-KV: Compresie a cache-ului KV cu p\u0103strarea reten\u021biei, folosind aten\u021bie paginat\u0103 \u00een format mixt<\/a><\/li>\n<li><a href=\"https:\/\/arxiv.org\/abs\/2309.06180\" target=\"_blank\" rel=\"noopener\">Kwon \u0219i colab. \u2014 Gestionarea eficient\u0103 a memoriei pentru furnizarea de modele lingvistice de mari dimensiuni cu ajutorul PagedAttention<\/a><\/li>\n<li><a href=\"https:\/\/docs.vllm.ai\/en\/latest\/design\/paged_attention\/\" target=\"_blank\" rel=\"noopener\">vLLM \u2014 Documenta\u021bie privind aten\u021bia paginat\u0103<\/a><\/li>\n<\/ul>\n<\/div>","protected":false},"excerpt":{"rendered":"<p>Minima-KV comprim\u0103 cache-ul KV f\u0103r\u0103 a \u0219terge contextul vechi. Ce au ar\u0103tat m\u0103sur\u0103torile privind memoria, calitatea \u0219i debitul \u00een cazul AI cu context lung.<\/p>","protected":false},"author":1,"featured_media":105889,"comment_status":"open","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"_gspb_post_css":"","footnotes":""},"categories":[199],"tags":[20912,20911,20246,20910,20909],"class_list":["post-98250","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-techniti-noimosyni","tag-ai-performance","tag-gpu-memory","tag-kv-cache","tag-llm-infrastructure","tag-long-context-ai"],"_links":{"self":[{"href":"https:\/\/twodots.gr\/ro\/wp-json\/wp\/v2\/posts\/98250","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/twodots.gr\/ro\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/twodots.gr\/ro\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/twodots.gr\/ro\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/twodots.gr\/ro\/wp-json\/wp\/v2\/comments?post=98250"}],"version-history":[{"count":0,"href":"https:\/\/twodots.gr\/ro\/wp-json\/wp\/v2\/posts\/98250\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/twodots.gr\/ro\/wp-json\/wp\/v2\/media\/105889"}],"wp:attachment":[{"href":"https:\/\/twodots.gr\/ro\/wp-json\/wp\/v2\/media?parent=98250"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/twodots.gr\/ro\/wp-json\/wp\/v2\/categories?post=98250"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/twodots.gr\/ro\/wp-json\/wp\/v2\/tags?post=98250"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}