Ha valaha használtál ChatGPT-t, Claude-ot vagy Geminit, akkor LLM-mel, vagyis nagy nyelvi modellel dolgoztál. A rövidítés a large language model kifejezésből jön, és a mögötte álló elv meglepően egyszerű: a modell egyetlen dolgot csinál — megjósolja a következő tokent. Ebből az egy mondatból levezethető szinte minden, amit a gyakorlatban tapasztalsz: miért fogy el a limited, miért felejt el dolgokat, miért számít a promptod megfogalmazása, és miért állít néha magabiztosan valótlanságot.

Mi az a LLM pontosan?

A Hugging Face definíciója szerint az LLM olyan mesterséges intelligencia modell, amely az emberi nyelv megértésében és generálásában erős. Hatalmas mennyiségű szövegen tanul, így megtanulja a nyelv mintázatait, szerkezetét és árnyalatait — a modellek jellemzően sok millió, a mai csúcsmodellek esetében milliárd nagyságrendű paraméterből állnak.

A paraméter a modell belső, tanulás során beállított számértéke. Nagyjából ez a modell „tudásának” tárolóhelye. Nem kell értened a matematikáját ahhoz, hogy hasznos legyen a fogalom: a paraméterszám a modell méretének durva mércéje.

A Google gépi tanulási anyaga formálisabban fogalmaz: a nyelvi modell azt becsüli meg, mekkora valószínűséggel fordul elő egy token vagy tokensorozat egy hosszabb sorozaton belül. Ez a definíció szárazabb, de pontosabb — és rögtön el is vezet a legfontosabb fogalomhoz.

A token: az AI legkisebb építőköve

A token a nyelvi modellezés atomi egysége. Lehet egy egész szó, egy szórész vagy akár egyetlen karakter. A mai modellek túlnyomó része úgynevezett subword, vagyis szórész-alapú tokenizálást használ. A Google példái ezt jól mutatják:

• unwatched → un + watch + ed (3 token)
• cats → cat + s (2 token)
• antidisestablishmentarianism → anti + dis + establish + ment + arian + ism (6 token)

Két dolog következik ebből, ami közvetlenül érint téged. Az egyik: angol nyelven egy token nagyjából 4 karakter, vagyis körülbelül háromnegyed szó — 400 token megközelítőleg 300 angol szónak felel meg. A másik, és ez a fontosabb: a tokenizálás nyelvfüggő. Nyelvenként eltér, hány karakter jut egy tokenre.

Ezért fogy gyorsabban a kereted magyarul, mint angolul. A magyar toldalékoló nyelv, a szavak ritkábban esnek egybe a modell szótárában lévő egységekkel, így ugyanaz a gondolat több tokent eszik. Mivel a szolgáltatók tokenben számolnak — abban mérik a limitet és abban árazzák az API-t —, ez pénzben és limitben is megjelenik. Erről részletesen írtunk a havi AI-költségeket bemutató cikkünkben.

Egy összehasonlítás a nagyságrendről: míg az angol nyelvben becslések szerint 600 000 szó van, egy LLM szótára jellemzően 32 000 token körül mozog. A modell tehát nem szavakat tárol, hanem építőelemeket, amikből összerakja őket.

Hogyan működik? A következő token jóslása

Vegyük a Google példamondatát: „When I hear rain on my roof, I ___ in my kitchen.” A modell nem tudja, mi következik. Ehelyett valószínűségeket számol:

• 9,4% — cook soup (levest főzök)
• 5,2% — warm up a kettle (vizet forralok)
• 3,6% — cower (megbújok)
• 2,5% — nap (szunyókálok)
• 2,2% — relax (pihenek)

Ezután vagy a legvalószínűbbet választja, vagy véletlenszerűen egyet a küszöb feletti jelöltek közül. Ez utóbbi az oka annak, hogy ugyanarra a kérdésre kétszer más választ kaphatsz — nem hibáról van szó, hanem a mintavételezés természetéről.

A modell autoregresszív: az egyik kör kimenete lesz a következő kör bemenete. A ciklus addig ismétlődik, amíg a modell egy speciális EOS-tokent (end of sequence, sorozat vége) nem jósol. Ez modellenként eltér: a GPT-4-nél endoftext, a Llama 3-nál eot_id, a Gemmánál end_of_turn a neve.

Fontos, amit ebből érdemes megjegyezni: a modell nem tudást hív le, hanem valószínűséget számol. Ha egy állítás nyelvileg valószínűnek tűnik, ki fogja mondani — akkor is, ha nem igaz. Innen ered a hallucínáció jelensége, amiről külön gyakorlati útmutatót írtunk.

A transformer és az attention

A mai LLM-ek szinte kivétel nélkül transformer architektúrára épülnek. Ez egy mélytanulási architektúra, amely az „attention” (figyelem) algoritmuson alapul, és a Google BERT modelljének 2018-as megjelenése óta került a középpontba.

Az attention lényege egyszerűen megfogalmazható: egy mondatban nem minden szó egyformán fontos. A „The capital of France is …” mondatban a France és a capital hordozza a jelentést — a modell ezekre „figyel” erősebben, amikor a következő tokent jósolja.

Ez magyarázza, miért számít annyira a prompt megfogalmazása. Ha a modell egyetlen dolga a következő token jóslása, és közben eldönti, mely bemeneti tokenek fontosak, akkor a te szövegezésed határozza meg, mire fog figyelni. Ehhez érdemes elolvasni a jó prompt írásáról szóló útmutatónkat.

A transformer három típusa

• Encoder — szövegből sűrű reprezentációt (embedding) készít. Példa: BERT. Használat: szövegosztályozás, szemantikus keresés, névelem-felismerés. Tipikus méret: milliós paraméterszám.
• Decoder — új tokeneket generál, egyesével. Példa: Llama. Használat: szöveggenerálás, chatbotok, kódgenerálás. Tipikus méret: milliárdos paraméterszám.
• Seq2Seq (encoder–decoder) — az encoder feldolgozza a bemenetet kontextus-reprezentációvá, a decoder generálja a kimenetet. Példa: T5, BART. Használat: fordítás, összefoglalás, átfogalmazás.

Amit ma köznyelven LLM-nek hívunk, az szinte mindig decoder-alapú modell, milliárdos paraméterszámmal.

Miért felejt? A kontextushossz

A kontextushossz (context length) az a maximális tokenszám, amennyit a modell egyszerre fel tud dolgozni — egyben a figyelmének maximális terjedelme. Ha egy hosszú beszélgetés túlnýlik ezen, a modell elveszíti az elejét. Nem „elfelejti”, mert soha nem is tárolta: egyszerűen kifért a keretből.

Ez az egyik fő fejlődési irány. Az alapelv — a következő token jóslása — a GPT-2 óta változatlan; a látványos előrelépés a hálózatok skálázásában van, és abban, hogy az attention egyre hosszabb sorozatokon is működjön. Például: a Moonshot Kimi K3 modellje 1 millió tokenes kontextussal dolgozik.

Honnan jöttünk? N-gramtól a transformerig

Az LLM nem előzmény nélküli. A Google anyaga három lépcsőt vázol fel:

1. N-gram modellek. N szó hosszú sorozatokból jósolnak. Egy 3-gram modell két szóból tippel a harmadikra. A baj a kontextus hiánya: az „orange is” kezdet alapján nem eldönthető, hogy a gyümölcsről (orange is ripe) vagy a színről (orange is cheerful) van-e szó. Ezért az ilyen modellek sokat hibáznak. Hosszabb N több kontextust adna, de minél nagyobb az N, annál ritkábban fordul elő minden egyes sorozat a tanítóanyagban.
2. Rekurrens neurális hálók (RNN). Több kontextust tartanak, mint az N-gramok — nagyjából úgy, ahogy te is fokozatosan építed a jelentést, miközben valaki beszél hozzád. A korlát viszont az, hogy tokenről tokenre haladnak, és a hosszú kontextusra tanítást gátolja az eltűnő gradiens problémája.
3. Nagy nyelvi modellek. A döntő különbség: a teljes kontextust egyszerre értékelik ki, nem szekvenciálisan. Ez tette lehetővé a mai minőségi ugrást.

Hogyan tanítják az LLM-eket?

A folyamat két fő szakaszból áll.

Előtanítás (pre-training): a modell hatalmas szöveges adathalmazokon tanul, önfelügyelt vagy maszkolt nyelvi modellezési céllal — vagyis lényegében azt gyakorolja, hogy kitalálja a következő (vagy egy kitakart) szót. Ebből tanulja meg a nyelv szerkezetét és a szövegek mögötti mintázatokat, és ez adja azt a képességét, hogy nem látott adatra is általánosítson.

Finomhangolás (fine-tuning): ezután felügyelt tanulással konkrét feladatra hangolják. Van, amelyiket társalgási struktúrára vagy eszközhasználatra tanítanak, mást osztályozásra vagy kódgenerálásra. Ezért viselkedik másképp ugyanaz az alapmodell chatbotként és kódolóasszisztensként.

Hol tart az LLM-ek mérete 2026-ban?

A paraméterszám nagyon széles sávban mozog, és ez jó hír — nem kell mindig a legnagyobb modell.

• Meta Muse Glimmer: 30 milliárd paraméter — nyílt licencű, és 24 GB VRAM-mal már saját gépen futtatható.
• DeepSeek V4 Flash: 284 milliárd paraméter — tömeges, gyors felhasználásra tervezve.
• DeepSeek V4 Pro: 1,6 billió paraméter — összetettebb munkafolyamatokhoz.
• Kimi K3: 2,8 billió paraméter — nyílt súlyú frontier modell.

Két gyakori félreértést érdemes tisztázni. Az egyik: a nagyobb nem automatikusan jobb az adott feladatra — egy egyszerű összefoglaláshoz vagy fordításhoz felesleges a legdrágább csúcsmodell. A másik: az LLM ma már nem feltétlenül csak szöveget kezel. A tokenek elve sikeresen átterjedt a képfeldolgozásra és a hanggenerálásra is; a Gemini Omni például kép, hang, videó és szöveg bemenetből dolgozik.

Tud-e magyarul egy LLM?

Ez nem következik automatikusan a méretből. A tanítóanyag túlnyomó része angol, a magyar tokenizálás pedig kedvezőtlenebb — ezért a magyar nyelvi minőség modellenként érdemben eltér, és külön mérendő. Ennek jártunk utána a melyik AI tud a legjobban magyarul tesztünkben.

Hogyan használhatod?

Két út áll nyitva. Futtathatod helyben, ha van hozzá elegendő hardvered — a kisebb, nyílt modelleknél ez ma már reális. Vagy használhatod felhőn keresztül, API-val vagy kész alkalmazásként; ez a többség útja, és nem igényel beruházást.

Az LLM emellett az AI-ügynökök (agentek) motorja is. A Hugging Face megfogalmazásában az LLM „az ügynök agya”: értelmezi az utasítást, tartja a kontextust a beszélgetés során, tervet készít, és eldönti, melyik eszközt hívja meg. Az ügynök tehát nem más képességű modell — ugyanaz az LLM, körülvéve eszközökkel és futtatókörnyezettel.

A legfontosabb, amit érdemes megjegyezned

• Az LLM valószínűséget számol, nem tudást hív le. Ezért lehet magabiztosan téves.
• Mindent tokenben mér: ez az elszámolási egység, és magyarul többet fogyaszt.
• A kontextushossz a memóriája határa. Ami kicsúszik belőle, elveszik.
• Az attention miatt számít, hogyan fogalmazol — a prompt nem formalitás.
• A méret önmagában nem minőség; a feladathoz illő modell a jó modell.

Kapcsolódó elemzésünk: Mi az a mesterséges intelligencia? Teljes, érthető magyarázat kezdőknek és ChatGPT vs Claude vs Gemini: melyik a legjobb 2026-ban?

Összegzés

A nagy nyelvi modell mögötti alapötlet egy mondatban összefoglalható: statisztikai mintázatok alapján megjósolja a következő tokent, és ezt addig ismétli, amíg meg nem áll. Minden más — a transformer, az attention, a kontextusablak, a finomhangolás — ennek az egy műveletnek a minél jobb kivitelezését szolgálja.

Ha ezt érted, akkor a mindennapi bosszúságok is értelmet nyernek. A limit nem véletlenszerűen fogy, a modell nem szeszélyből felejt, és nem gonoszságból halluciál. Egy valószínűségi gépezetet használsz — és ha tudod, mit csinál, sokkal jobban tudod használni.