AI tényleg gyorsabb vagy csak annak érezzük magunkat tőle? A METR (Model Evaluation and Threat Research) 2025-ös randomizált kontrollos kísérlete meglepő választ adott: tapasztalt, nyílt forráskódú fejlesztők AI-kódolóeszközökkel 19%-kal lassabban oldották meg a valós feladataikat, mint AI nélkül.
A csavar nem is ez, hanem a szakadék az érzet és a valóság között. A résztvevők a kísérlet előtt gyorsulást vártak, utána pedig gyorsulást is éltek át — miközben mérhetően lassabbak lettek. Ez a cikk elemzés: bemutatjuk a kutatás számait, a kritikákat és azt, mit kezdj mindezzel a saját munkádban.
A METR tanulmánya 2025. július 10-én jelent meg, és azóta is az egyik legtöbbet vitatott AI-produktivitási kutatás. Nézzük, pontosan mit mértek.
AI tényleg gyorsabb? Mit mért a METR-kísérlet?
Az „AI tényleg gyorsabb” kérdésre a METR nem véleménnyel, hanem randomizált kontrollos kísérlettel (RCT) válaszolt — ez az orvosi kutatásokból ismert, legszigorúbb módszertan. A feladatokat véletlenszerűen sorolták „AI engedélyezett” vagy „AI nem engedélyezett” csoportba, így a különbség nem a feladatok nehézségéből, hanem magából az AI-használatból adódott.
A résztvevők nem kezdők voltak. 16 tapasztalt fejlesztő dolgozott a saját, valós projektjén: átlagosan 22 000+ GitHub-csillagos, több mint 1 millió sornyi kódot tartalmazó repository-kban. Összesen 246 valós feladatot — hibajavítást, új funkciót, refaktorálást — oldottak meg, egyenként átlagosan mintegy két óra alatt.
Az eszköz a kísérlet idején frontier szintű volt: Cursor Pro, Claude 3.5/3.7 Sonnet modellel. A fejlesztők maguk jelentették a munkaidőt, képernyőfelvételekkel kiegészítve, a leadott kódot pedig Pull Requesteken keresztül értékelték. A kompenzáció óránként 150 dollár volt.
A szakadék az érzet és a valóság között
Itt jön a kutatás legmegdöbbentőbb része, három szám formájában. A fejlesztők a kísérlet előtt 24%-os gyorsulást vártak az AI-tól. A valóság ezzel szemben 19%-os lassulás lett.
És ami még ennél is furcsább: a kísérlet után is meg voltak győződve arról, hogy az AI 20%-kal felgyorsította őket — annak ellenére, hogy szemből mérhetően lassabbak voltak. Vagyis a szubjektív érzet több mint 39 százalékpontnyira eltért a mért valóságtól.
„A szakadék az érzékelés és a valóság között megdöbbentő: a fejlesztők 24%-os gyorsulást vártak az AI-tól, és még azután is, hogy megtapasztalták a lassulást, továbbra is azt hitték, az AI 20%-kal felgyorsította őket.” — METR
A tévedés nem a laikusok sajátja volt. Az Actu IA beszámolója szerint a külső szakértők is teljesen mellélőttek, méghozzá ellenkező irányba: a közgazdászok 39%-os, a gépi tanulási szakértők 38%-os időcsökkenést — vagyis jelentős gyorsulást — jósoltak. Mindenki tévedett, aki tippelt.
Öt ok, amiért az AI lassított
A kutatás nem áll meg a puszta eredménynél, hanem öt tényezőt azonosít, amelyek magyarázzák, miért lett lassabb a munka ezen a konkrét mintán.
- Túlzott optimizmus és tökéletlen eszközhasználat: a fejlesztők túl egyszerű promptokat írtak, és nem használták ki a Cursor lehetőségeit — a rutin hiánya lassított.
- Magas szintű saját repository-ismeret: a résztvevők a saját, jól ismert kódbázisukon dolgoztak, ahol az AI kevesebbet tud hozzátenni, mint egy ismeretlen projektnél.
- Nagy és komplex kódbázisok: az 1 millió sor feletti repository-kban a modellek nehezebben adnak pontos javaslatot, és a minőségi elvárások magasak voltak.
- Alacsony AI-megbízhatóság: a fejlesztők a generált javaslatoknak kevesebb mint 44%-át fogadták el — a többit át kellett nézni és elvetni, ami idő.
- Kontextushiány és elterelődés: a modell nem ismerte az implicit repository-kontextust, a fejlesztők pedig időt vesztettek az AI-val való „kísérletezéssel”.
A kutatás egy árulkodó részletre is rámutat: amikor az AI engedélyezve volt, a fejlesztők kevesebb időt töltöttek aktív kódolással és információkereséssel — helyette többet promptolással, az AI-kimenetek várásával, a javaslatok átnézésével és üresjárattal. A munka szerkezete átrendeződött, de nem lett hatékonyabb.
A másik oldal: mit NEM bizonyít a kutatás?
A tisztesség kedvéért a másik álláspontot is oda kell tenni, és ebben maguk a szerzők a leghatározottabbak. Ez ugyanis nem az „AI haszontalan a kódoláshoz” bizonyítéka.
Először is a minta kicsi: mindössze 16 fejlesztő, ami mintavételi torzítást hordozhat. Másodszor, az eredmény kifejezetten a tapasztalt, nyílt forráskódú fejlesztőkre érvényes, a saját, mélyen ismert, óriási kódbázisukon. Kezdőkre, kisebb projektekre vagy más eszközökre és modellekre nem feltétlenül igaz.
Harmadszor, a kísérlet a 2025 eleji frontier modelleket (Claude 3.5/3.7 Sonnet) használta — azóta jóval erősebb modellek és jobb ágens-eszközök jelentek meg. A szerzők maguk is „pillanatfelvételnek” nevezték az eredményt: egy konkrét eszközkészlet és feltételrendszer mellett igaz, nem örök törvény. A METR 2026 elején jelezte is, hogy finomítja a produktivitási kísérlet módszertanát.
Miért érezzük mégis gyorsabbnak?
A perceptuális szakadék nem butaság kérdése — hiszen a szakértők is tévedtek. A magyarázat inkább az, hogy az AI-jal a munka kényelmesebbé válik, még ha nem is gyorsabbá. A kognitív terhelés egy része átkerül a modellre: nem kell fejből felidézni egy szintaxist, nem kell dokumentációt böngészni, elég elolvasni egy kész javaslatot.
Ez a könnyebbség érzete könnyen összemosódik a gyorsaság érzetével. A fejlesztő úgy éli meg, hogy „elintézte” az AI, miközben a háttérben ott a promptolással, a várakozással és a javaslatok átnézésével eltöltött, láthatatlan idő.
A számok is ezt támasztják alá. Ha az elfogadott javaslatok aránya 44% alatt marad, az azt jelenti, hogy a generált kód több mint felét a fejlesztőnek el kell olvasnia, meg kell értenie és el kell vetnie. Ez a rejtett átnézési munka nem tűnik fel a szubjektív élményben, de a stopperben igen — és pontosan ez húzza le a tényleges teljesítményt a mért 19%-os lassulásig.
Mit jelent ez neked a mindennapi munkában?
A kutatás legértékesebb tanulsága nem az, hogy dobd ki az AI-t, hanem hogy ne bízz az érzésedben. Ha úgy érzed, gyorsabb vagy, az önmagában semmit nem bizonyít — a résztvevők is így érezték, tévesen. A tényleges hatást mérni kell, nem érezni.
A második tanulság, hogy az AI ott segít a legtöbbet, ahol te tudsz a legkevesebbet: ismeretlen nyelv, új keretrendszer, boilerplate kód, gyors prototípus. A saját, mélyen ismert kódbázisodon, ahol fejből tudod a megoldást, könnyen lassíthat is — pont ezt mérte a METR.
A harmadik, hogy az eszközhasználatot tanulni kell. A gyenge promptok és a felületes ismeret önmagában rontja az eredményt. Ha az AI a folyamatod része, érdemes tudatosan fejleszteni, hol adod át neki a munkát és hol nem.
A valódi kérdés nem az, hogy gyorsabb-e — hanem hogy hol
A METR kísérlete nem az AI ellen szól, hanem a hype és a mérhető valóság közötti szakadékról. A legfontosabb üzenete, hogy az „AI mindenkit felgyorsít” leegyszerűsítés — a valóság kontextusfüggő, és néha pont az ellenkezője igaz.
A következő évek nagy kérdése nem az lesz, hogy az AI gyorsabbá tesz-e, hanem hogy pontosan mely feladatoknál, kinek és milyen eszközhasználat mellett. Aki ezt méri és nem hiszi, az fog valóban nyerni vele.
Te mit tapasztaltál? Tényleg gyorsabb vagy az AI-jal a saját munkádban — vagy csak annak érzed magad? Oszd meg a véleményed, és nézd meg kapcsolódó tesztünket is: Legjobb AI kódoló asszisztens 2026: 3 erős eszköz teljes tesztje. További elemzésekért iratkozz fel az AI Hírek hírlevelére.