Túltanulás (overfitting)

A túltanulás olyan jelenség a gépi tanulásban, amikor egy modell a tanítóadatokra túlságosan pontosan illeszkedik: nem csak az adatokban rejlő valódi mintázatokat tanulja meg, hanem a véletlen zajt, kiugró értékeket és egyedi sajátosságokat is. Ennek eredményeként a modell a tanítóhalmazon kiváló, akár tökéletes teljesítményt mutat, ám új, korábban nem látott adatokon jelentősen rosszabbul teljesít, mert a megtanult mintázatok nem általánosíthatók.

A jelenség hátterében gyakran az áll, hogy a modell túl bonyolult a rendelkezésre álló adatmennyiséghez képest, vagyis túl sok paramétere van, és ezért képes memorizálni az egyedi példákat helyettük az általános szabályok elsajátítása helyett. Ezt segítheti elő a kevés tanítóadat, a túl hosszú tanítási idő, vagy a zajos, nem kellően változatos adathalmaz is. A túltanulás felismerésének egyik jele, hogy a modell hibája a tanítóhalmazon folyamatosan csökken, míg egy külön validációs halmazon egy idő után újra növekedni kezd.

A probléma kezelésére számos technikát alkalmaznak: a modell komplexitásának csökkentését, regularizációs eljárásokat, több és változatosabb tanítóadat bevonását, korai leállítást a tanítás során, valamint kereszt-validációt a modell teljesítményének megbízható becslésére. A túltanulás elkerülése kulcsfontosságú, mert egy jól általánosító modell az, amelyik valós, gyakorlati alkalmazásokban is megbízhatóan működik, nem csak a laboratóriumi teszteken.

A túltanulás ellentéte az alultanulás, amikor a modell túlságosan egyszerű ahhoz, hogy a tanítóadatokban lévő mintázatokat megfelelően megtanulja. A kettő közötti egyensúly megtalálása, az úgynevezett bias-variancia dilemma, a modellfejlesztés egyik alapvető kihívása.