BSc level probability theory and statistics – BSc szintű valószínűségszámítás és statisztika

TTK Matematikus és Alkalamazott matematikus képzések kötelezően választható tárgya

Általános leírás: A nemparametrikus statisztika olyan statisztikai megközelítéseket kínál, amelyek a lehető legkevesebb feltételezést teszik az adatokkal kapcsolatban. Ezek a módszerek a matematikai modellek széles körében hatékonyak. Különös hangsúlyt kapnak az információs mértékek. Alapvető jellegüket a statisztika és az adattömörítés problémáinak megoldásában való megjelenésükön keresztül mutatjuk be.  Bár a tananyag némileg elméleti jellegű, minden egyes téma hasznos lehet az olyan, inkább alkalmazott tudományágakban, mint a gépi tanulás és az adatbányászat. Az anyag elegáns és meggyőző bizonyításokat tartalmaz. 

Témakörök:

• Regressziós probléma, univerzális konzisztencia, partícionáló regressziós függvény becslések., kernelbecslések, legközelebbi szomszéd becslések.
• Mintafelismerés
• Glivenko-Cantelli-tétel, Vapnik-Chervonenkis dimenzió
• Univerzális sűrűségfüggvény becslés
• Kullbach-Leibler-divergencia, entrópia, kölcsönös információ, stacionárius folyamat entrópiarátája
• Zajmentes forráskódolás tétele, aritmetikai kódok, univerzális tömörítés
• Nagy eltérés a típusok módszerével
• Az információgeometria alapjai: I-projekció, lineáris és exponenciális eloszláscsaládok, Pitagorasz-azonosság, maximum likelihood becslés exponenciális családok esetén
• Log-lineáris modellek és egyéb grafikus modellek
• Iteratív algoritmusok

General description: Nonparametric statistics provides statistical approaches that make as few assumptions about the data as possible. These methods are effective across a broad range of mathematical models. Particular emphasis will be on information measures. Their fundamental nature is demonstrated through their appearances in the solutions of problems in statistics and data compression.  Although the course material is somewhat theoretical, each topic is helpful in more applied disciplines, such as machine learning and data mining. The material is elegant and contains compelling proofs.  

Topics:

• Regression problem, universal consistency of the partitioning regression function estimates, kernel estimates, nearest neighbour estimates
• Pattern recognition
• Glivenko-Cantelli theorem, Vapnik–Chervonenkis dimension
• Universal density estimation
• Kullbach-Leibler divergence, entropy, mutual information, entropy rate of a stationary process
• Noiseless source coding theorem, arithmetic codes, universal compression
• Large deviation via the method of types
• Basics of information geometry: I-projection, linear and exponential distribution families, Pythagorean identity, maximum likelihood estimation in case of exponential families
• Log-linear models and other graphical models
• Iterative algorithms

70% of the homework will be taken into account – A házi feladatoknak a 70%-a lesz figyelembevéve

Weekly during the lecturer's office hours and extra consultations before the exams – Heti rendszerességgel az oktató fogadó órájában illetve külön konzultáció a vizsgák előtt

Csiszár and P.C. Shields (2004), "Information Theory and Statistics: A Tutorial", Foundations and Trends® in Communications and Information Theory: Vol. 1: No. 4, pp 417-528. http://dx.doi.org/10.1561/0100000004

Györfi, L., Kohler, M., Krzyżak, A., & Walk, H. (2002). A Distribution-Free Theory of Nonparametric Regression. Springer Series in Statistics. – Györfi L., Nonparametric statistics, lecture notes, http://www.cs.bme.hu/~gyorfi/booknonpar.pdf

Csiszár I, Körner J. Information Theory: Coding Theorems for Discrete Memoryless Systems. 2nd ed. Cambridge University Press; 2011.

Thomas M. Cover and Joy A. Thomas. 2006. Elements of Information Theory (Wiley Series in Telecommunications and Signal Processing). Wiley-Interscience, USA.

28

12

0

0

20

0

0

30

90

90

Dr. Kói Tamás

egyetemi adjunktus

Sztochasztika Tanszék

Dr. Simon Károly