Kvantálás

Más néven: quantization, tömörített modell

Mit jelent? A kvantálás a nyelvi modell tömörítése: a paramétereit kisebb pontossággal tárolják, így a modell kevesebb memóriát foglal és gyorsabban fut, kis minőségvesztés árán.

Ennek köszönhető, hogy több milliárd paraméteres modellek is elfutnak egy laptopon. A helyi modelleket jellemzően kvantált változatban töltjük le.

Az erősebben tömörített változat kisebb és gyorsabb, de többet téved; érdemes azt a legnagyobbat választani, amely még kényelmesen elfér a gép memóriájában.