Kvantálás
Más néven: quantization, tömörített modell
Mit jelent? A kvantálás a nyelvi modell tömörítése: a paramétereit kisebb pontossággal tárolják, így a modell kevesebb memóriát foglal és gyorsabban fut, kis minőségvesztés árán.
Ennek köszönhető, hogy több milliárd paraméteres modellek is elfutnak egy laptopon. A helyi modelleket jellemzően kvantált változatban töltjük le.
Az erősebben tömörített változat kisebb és gyorsabb, de többet téved; érdemes azt a legnagyobbat választani, amely még kényelmesen elfér a gép memóriájában.