Token
Mit jelent? A token a szöveg azon kis egysége – szó, szótag vagy írásjel –, amellyel a nyelvi modell dolgozik. A modellek terhelését és a felhős szolgáltatások díját tokenben mérik.
Magyar szövegben egy szó jellemzően több tokenből áll, mert a ragozott alakokat a modell darabokra bontja. Ezért a magyar szöveg ugyanarra a tartalomra általában több tokent használ, mint az angol.
A token két helyen számít: a bemenetnél (amit a modellnek adunk) és a kimenetnél (amit ír). A kettő együtt nem lépheti túl a modell kontextusablakát.