Helyi AI futtatása: Ollama kezdőknek

Frissítve: · 5 perc olvasás

Röviden: Helyi AI-t a legegyszerűbben az ingyenes Ollama programmal futtathatsz: telepíted, letöltesz egy modellt, és a géped internet nélkül is válaszol. A kérdéseid nem kerülnek külső szolgáltatóhoz, és nincs használati díj. Cserébe a válasz lassabb, és a kisebb modellek összetett feladatokban gyengébbek a nagy felhős modelleknél.

Mire jó a helyi AI?

  • Bizalmas iratok feldolgozása: nem megy ki adat a gépről.
  • Nincs havidíj és nincs kérésenkénti költség.
  • Internet nélkül is működik.
  • Nem függ attól, hogy egy szolgáltató változtat a feltételein.

Mekkora gép kell?

A sebességet leginkább a memória és a grafikus gyorsítás határozza meg. Apple-chipes gépeken a közös memória miatt a helyi modellek meglepően jól futnak.

GépMire elégTapasztalat
8 GB memóriaKis modellekRövid válaszok, egyszerű feladatok
16 GB memóriaKözepes modellekLevelek, összefoglalók, kérdés a dokumentumokból
32 GB vagy több, erős videokártya vagy Apple-chipNagyobb modellekGyorsabb és pontosabb válaszok

Telepítés három lépésben

  1. Töltsd le és telepítsd az Ollamát a hivatalos oldaláról (macOS, Windows, Linux).
  2. Tölts le egy modellt: a parancssorban „ollama pull” és a modell neve.
  3. Próbáld ki: „ollama run” és a modell neve – ezután beírhatod a kérdésed.

Milyen modellel kezdj?

Kezdd egy kisebb, néhány gigabájtos modellel, amely biztosan elfut a gépeden, és nézd meg, mennyire jó magyarul. Ha a géped bírja, lépj feljebb. Nem minden modell egyformán jó magyarul és eszközhasználatban, ezért érdemes kettőt-hármat kipróbálni ugyanazzal a feladattal.

Parancssor nélkül

Ha nem szeretnél parancsokat írni, a Magyar Asszisztens telepítője felajánlja a gépedhez illő helyi modell letöltését, és csevegőfelületet ad hozzá: levelet ír, dokumentumot készít, emlékeztet – a modell közben a saját gépeden fut.

Gyakori kérdések

Ingyenes az Ollama?
Igen, a program nyílt forráskódú és ingyenes; a letölthető modellekre a saját licencük vonatkozik.
Mennyi helyet foglal egy modell?
A kisebbek néhány gigabájtot, a nagyobbak több tíz gigabájtot is.
Lát képet a helyi modell?
Csak a látó (multimodális) modellek. Ha a modell nem lát képet, a képen lévő szöveget szövegfelismeréssel lehet kiolvasni.