Long-context AI

Υποδομή GPU για long-context AI και συμπίεση KV cache με Minima-KV

Minima-KV: περισσότερη μνήμη για long-context AI χωρίς διαγραφή του παλιού context

Το Minima-KV συμπιέζει την KV cache χωρίς διαγραφή παλιού context. Τι έδειξαν οι μετρήσεις μνήμης, ποιότητας και throughput στο long-context AI.

ΠερισσότεραMinima-KV: περισσότερη μνήμη για long-context AI χωρίς διαγραφή του παλιού context