Helyi AI futtatása: Ollama kezdőknek
Frissítve: · 5 perc olvasás
Röviden: Helyi AI-t a legegyszerűbben az ingyenes Ollama programmal futtathatsz: telepíted, letöltesz egy modellt, és a géped internet nélkül is válaszol. A kérdéseid nem kerülnek külső szolgáltatóhoz, és nincs használati díj. Cserébe a válasz lassabb, és a kisebb modellek összetett feladatokban gyengébbek a nagy felhős modelleknél.
Mire jó a helyi AI?
- Bizalmas iratok feldolgozása: nem megy ki adat a gépről.
- Nincs havidíj és nincs kérésenkénti költség.
- Internet nélkül is működik.
- Nem függ attól, hogy egy szolgáltató változtat a feltételein.
Mekkora gép kell?
A sebességet leginkább a memória és a grafikus gyorsítás határozza meg. Apple-chipes gépeken a közös memória miatt a helyi modellek meglepően jól futnak.
| Gép | Mire elég | Tapasztalat |
|---|---|---|
| 8 GB memória | Kis modellek | Rövid válaszok, egyszerű feladatok |
| 16 GB memória | Közepes modellek | Levelek, összefoglalók, kérdés a dokumentumokból |
| 32 GB vagy több, erős videokártya vagy Apple-chip | Nagyobb modellek | Gyorsabb és pontosabb válaszok |
Telepítés három lépésben
- Töltsd le és telepítsd az Ollamát a hivatalos oldaláról (macOS, Windows, Linux).
- Tölts le egy modellt: a parancssorban „ollama pull” és a modell neve.
- Próbáld ki: „ollama run” és a modell neve – ezután beírhatod a kérdésed.
Milyen modellel kezdj?
Kezdd egy kisebb, néhány gigabájtos modellel, amely biztosan elfut a gépeden, és nézd meg, mennyire jó magyarul. Ha a géped bírja, lépj feljebb. Nem minden modell egyformán jó magyarul és eszközhasználatban, ezért érdemes kettőt-hármat kipróbálni ugyanazzal a feladattal.
Parancssor nélkül
Ha nem szeretnél parancsokat írni, a Magyar Asszisztens telepítője felajánlja a gépedhez illő helyi modell letöltését, és csevegőfelületet ad hozzá: levelet ír, dokumentumot készít, emlékeztet – a modell közben a saját gépeden fut.
Gyakori kérdések
- Ingyenes az Ollama?
- Igen, a program nyílt forráskódú és ingyenes; a letölthető modellekre a saját licencük vonatkozik.
- Mennyi helyet foglal egy modell?
- A kisebbek néhány gigabájtot, a nagyobbak több tíz gigabájtot is.
- Lát képet a helyi modell?
- Csak a látó (multimodális) modellek. Ha a modell nem lát képet, a képen lévő szöveget szövegfelismeréssel lehet kiolvasni.