R-alapú algoritmikus keretrendszer változótípus-felismerésre és asszociációelemzésre az EDA fázisban
Szerző(k): Horváth, Ádám Béla
Oldalszám: 160-170
Konferencia: TIGKONF 2025
Absztrakt
A feltáró adatelemzés (Exploratory Data Analysis, EDA) a modern adatbányászati és adattudományi folyamatok kulcsszakasza, amelynek során a kutató nem pusztán tisztítja és leírja az adatokat, hanem azonosítja a változók közötti lehetséges összefüggéseket is. A gyakorlatban azonban két, egymást erősítő probléma jelenik meg: (1) a változók típusainak (kategorikus, diszkrét, folytonos) gyakran csak szemantikus, nem pedig szintaktikus módon megkülönböztethető jellege, valamint (2) a nagydimenziós adatbázisokban előálló kombinatorikus robbanás, amikor több száz változó között kell asszociációkat szűrni. A tanulmány egy egységes, R-nyelven megvalósított algoritmikus keretrendszert mutat be, amely két fő funkciót integrál: (i) egy vektor-szintű modul automatikusan osztályozza a változótípusokat heurisztikus küszöbértékek alapján, majd a típusoknak megfelelő statisztikai eljárást választ (χ²-próba, Pearson-korreláció, Kendall-tau, Mann–Whitney-teszt, Kruskal–Wallis-próba); (ii) egy adatkeret-szintű modul nagyszámú változópárra hajt végre asszociáció-elemzést kizárólag base R függvényekkel, és csak a szignifikáns kapcsolatokat tartalmazó, egységes struktúrájú táblázatot ad vissza. A keretrendszer a CRISP-DM módszertani keret „Data Understanding” fázisához illeszkedik, és célja a reprodukálható, skálázható és könnyen automatizálható EDA támogatása.
