Multimodális modell

Más néven: látó modell, vision modell

Mit jelent? A multimodális modell többféle bemenetet ért: a szöveg mellett képet, esetenként hangot is. Így például egy lefotózott számláról vagy űrlapról is tud kérdésre válaszolni.

Nem minden modell lát képet. Ha a modell csak szöveget ért, a képen lévő szöveget előbb szövegfelismeréssel (OCR) kell kiolvasni.

Iratfotóknál a kettő jól kiegészíti egymást: az OCR megbízhatóan kiolvassa a szöveget, a látó modell pedig az elrendezést és az ábrákat is érti.