AI performance

Υποδομή GPU για long-context AI και συμπίεση KV cache με Minima-KV

Minima-KV: περισσότερη μνήμη για long-context AI χωρίς διαγραφή του παλιού context

Το Minima-KV συμπιέζει την KV cache χωρίς διαγραφή παλιού context. Τι έδειξαν οι μετρήσεις μνήμης, ποιότητας και throughput στο long-context AI.

Прочетете повечеMinima-KV: περισσότερη μνήμη για long-context AI χωρίς διαγραφή του παλιού context