Egy- és többváltozós analízis, lineáris algebra, alapvető valószínűségszámítás és statisztika ismeretek

VIK Mesterséges intelligencia informatikus MSc képzés kötelező tárgya

1. Vektorterek és a lineáris algebra alapjai: Vektortér és duáltere, belső szorzatos terek, ortogonalitás, Gram-mátrix, mátrixok tenzorszorzata.
2. Spektrálkalkulus és SVD: Szimmetrikus mátrixok spektráltétele, szingulárisérték-felbontás (SVD), Moore–Penrose-féle pszeudoinverz, alacsony rangú közelítések, alkalmazások a gépi tanulásban (pl. PCA).
3. Hilbert-terek: Gram–Schmidt-ortogonalizáció, absztrakt Fourier-sorok, legjobb közelítés Hilbert-terekben, ortogonális felbontás.
4. Reprodukáló magterű Hilbert-terek (RKHS) alapjai: Riesz-féle reprezentációs tétel, reprodukáló magterű Hilbert-terek, Moore–Aronszajn-tétel.
5. Kernel módszerek matematikai alapjai: Mercer-tétel, kernel trick, reprezentációs tétel (Representer theorem), alkalmazások kernel-alapú tanulóalgoritmusokban.
6. Normált terek: Normált terek, normák ekvivalenciája véges dimenzióban, operátornorma példákkal.
7. Metrikus terek: Metrikus terek fogalma, szeparabilitás, teljesség, kontrakciók, Banach-féle fixponttétel, kompaktság metrikus terekben.
8. Mértékelméleti és valószínűségi alapok: Borel-szigmaalgebra, standard Borel-terek, Borel-izomorfizmus-tétel. Távolságok valószínűségi eloszlások között: teljes variációs távolság, Kantorovich–Rubinstein-távolság, optimális transzport alapjai, Wasserstein-terek.
9. Approximációelmélet: Polinomiális és Fourier-közelítés, Stone–Weierstrass-tétel, Kolmogorov–Arnold-tétel, univerzális approximációs tétel (sekély neurális hálók).
10. Differenciálhatóság normált terekben: láncszabály, magasabb rendű deriváltak, Taylor-formula (infinitézimális alak), mátrixfüggvények deriválása, példák (pl. egyszerű feedforward háló transzferfüggvénye).
11. Konvex analízis és gradiens-alapú optimalizálás: Konvex halmazok és függvények, gradiensmódszer, konjugált gradiens és skálázott konjugált gradiens, Newton-módszer.
12. Feltételes szélsőérték és konvex optimalizálás: Lagrange-multiplikátorok módszere, KKT-feltételek, dualitás, LASSO regresszió.
13. Sztochasztikus optimalizálás: Szimulált hűtés, népszerű gépi tanulási optimalizálók elvei (SGD, SGLD, ADAM, SAGA).
14. Variációs inferencia, variációs Bayes-módszerek, evidence lower bound (ELBO).

 

1. Vector spaces and foundations of linear algebra: Vector spaces and their duals, inner product spaces, orthogonality, Gram matrix, tensor product of matrices.
2. Spectral calculus and SVD: Spectral theorem for symmetric matrices, singular value decomposition (SVD), Moore–Penrose pseudoinverse, low-rank approximations, applications in machine learning (e.g. PCA).
3. Hilbert spaces: Gram–Schmidt orthogonalization, abstract Fourier series, best approximation in Hilbert spaces, orthogonal decompositions.
4. Foundations of reproducing kernel Hilbert spaces (RKHS): Riesz representation theorem, reproducing kernel Hilbert spaces, Moore–Aronszajn theorem.
5. Mathematical foundations of kernel methods: Mercer’s theorem, kernel trick, representer theorem, applications in kernel-based learning algorithms.
6. Normed spaces: Normed spaces, equivalence of norms in finite-dimensional spaces, operator norms with examples.
7. Metric spaces: Definition of metric spaces, separability, completeness, contractions, Banach fixed point theorem, compactness in metric spaces.
8. Measure-theoretic and probabilistic foundations: Borel sigma-algebra, standard Borel spaces, Borel isomorphism theorem. Distances between probability distributions: total variation distance, Kantorovich–Rubinstein distance, basics of optimal transport, Wasserstein spaces.
9. Approximation theory: Polynomial and Fourier approximation, Stone–Weierstrass theorem, Kolmogorov–Arnold theorem, universal approximation theorem (shallow neural networks).
10. Differentiability in normed spaces: Chain rule, higher-order derivatives, Taylor formula (infinitesimal form), differentiation of matrix-valued functions, examples (e.g. transfer function of a simple feedforward network).
11. Convex analysis and gradient-based optimization: Convex sets and convex functions, gradient descent, conjugate gradient and scaled conjugate gradient methods, Newton’s method.
12. Constrained extrema and convex optimization: Method of Lagrange multipliers, KKT conditions, duality, LASSO regression.
13. Stochastic optimization: Simulated annealing, principles of popular optimization algorithms in machine learning (SGD, SGLD, ADAM, SAGA).
14. Variational inference: Variational Bayesian methods, evidence lower bound (ELBO).

pótzárthelyi a pótlási héten

Az előadások után vagy az oktató fogadóóráján

42

42

18

0

0

0

0

48

150

150

Dr. Lovas Attila

egyetemi docens

Analízis és Operációkutatás Tanszék

Dr. Bálint Péter