Általános leírás: A nemparametrikus statisztika olyan statisztikai megközelítéseket kínál, amelyek a lehető legkevesebb feltételezést teszik az adatokkal kapcsolatban. Ezek a módszerek a matematikai modellek széles körében hatékonyak. Különös hangsúlyt kapnak az információs mértékek. Alapvető jellegüket a statisztika és az adattömörítés problémáinak megoldásában való megjelenésükön keresztül mutatjuk be.  Bár a tananyag némileg elméleti jellegű, minden egyes téma hasznos lehet az olyan, inkább alkalmazott tudományágakban, mint a gépi tanulás és az adatbányászat. Az anyag elegáns és meggyőző bizonyításokat tartalmaz. 

Témakörök:

• Regressziós probléma, univerzális konzisztencia, partícionáló regressziós függvény becslések., kernelbecslések, legközelebbi szomszéd becslések.
• Mintafelismerés
• Glivenko-Cantelli-tétel, Vapnik-Chervonenkis dimenzió
• Univerzális sűrűségfüggvény becslés
• Kullbach-Leibler-divergencia, entrópia, kölcsönös információ, stacionárius folyamat entrópiarátája
• Zajmentes forráskódolás tétele, aritmetikai kódok, univerzális tömörítés
• Nagy eltérés a típusok módszerével
• Az információgeometria alapjai: I-projekció, lineáris és exponenciális eloszláscsaládok, Pitagorasz-azonosság, maximum likelihood becslés exponenciális családok esetén
• Log-lineáris modellek és egyéb grafikus modellek
• Iteratív algoritmusok

General description: Nonparametric statistics provides statistical approaches that make as few assumptions about the data as possible. These methods are effective across a broad range of mathematical models. Particular emphasis will be on information measures. Their fundamental nature is demonstrated through their appearances in the solutions of problems in statistics and data compression.  Although the course material is somewhat theoretical, each topic is helpful in more applied disciplines, such as machine learning and data mining. The material is elegant and contains compelling proofs.  

Topics:

• Regression problem, universal consistency of the partitioning regression function estimates, kernel estimates, nearest neighbour estimates
• Pattern recognition
• Glivenko-Cantelli theorem, Vapnik–Chervonenkis dimension
• Universal density estimation
• Kullbach-Leibler divergence, entropy, mutual information, entropy rate of a stationary process
• Noiseless source coding theorem, arithmetic codes, universal compression
• Large deviation via the method of types
• Basics of information geometry: I-projection, linear and exponential distribution families, Pythagorean identity, maximum likelihood estimation in case of exponential families
• Log-linear models and other graphical models
• Iterative algorithms