Adattudományi bevezetés: Adattudomány fogalma, története, folyamata (CRISP-DM), feladata és alkalmazásai. Attribútumok, adathalmazok és adathibák, Big Data, gépi tanulás alapfeladatai.
Adatfeltárás, előkészítés és hasonlósági mértékek: Adatelőkészítés, felderítő elemzés és vizualizáció, összegző statisztikák, mintavételezés, attribútum-aggregációk, transzformációk, diszkretizálás. Minkowski-távolság és speciális esetei, Mahalanobis-távolság, koszinusztávolság, SMC, Jaccard-együttható, Hamming-távolság, DTW.
kNN és döntési fa modellek: Legközelebbi szomszéd módszere, gyorsítások (K-d fa, CNN), Bayes-osztályozó, döntési fa, Hunt-algoritmus, vágás jósága, inhomogenitási mértékek, kiértékelések.
Túltanulás, modellek kiértékelése: Általánosító képesség, tanító-, teszt- és validációs halmaz. Keresztvalidáció, alul- és túltanulás, Occam borotvája, döntési fa metszése, tévesztési mátrix, teljesítménymutatók, ROC, AUC.
Naiv Bayes és Bayes hálók: Bayes-osztályozó elve, a posteriori és maximum likelihood becslés, becslés normális eloszlással, Laplace- és m-becslés, naiv Bayes értékelése, Bayes-hálók, riasztó hálózat, feltételes függetlenség.
Lineáris regresszió: Paraméteres és nemparaméteres regresszió, kNN és döntési fa regressziós problémára, MSE, MSE és szórás felbontása, torzítás–variancia átváltás, regresszió optimális megoldása, lineáris regresszió, gradiens módszer, sztochasztikus gradiens módszer, tanulóráta, regularizáció, polinomiális regresszió.
Logisztikus regresszió és SVM: Osztályozás regresszió által, szigmoid függvény, logisztikus regresszió célfüggvénye, lineáris szeparálhatóság, nemlineáris döntési határ, logit modell, maximális margó, szupport vektorok és SVM, minimalizálási feladat, magasabb dimenzióba való transzformálás, többosztályos osztályozás megoldása.
Neurális hálók: Biológiai motiváció, aktivációs függvények, perceptron és kapcsolata más algoritmusokkal, logikai függvények tanítása, többrétegű neurális hálózat, forward propagation, hiba visszaterjesztés.
Együttes módszerek osztályozásra: Ensemble módszerek, bagging, metamodellek, boosting és AdaBoost, gradient boosting, véletlen erdő, félig felügyelt tanulás, kiegyensúlyozatlan adatok osztályozása, SMOTE.
Klaszterezés: Klaszterezés fogalma, típusai, klaszterező algoritmusok, másodfajú Stirling-szám, Kleinberg-féle lehetetlenségi tétel, k-közép algoritmus, kettévágó k-közép, hierarchikus klaszterezés, klaszterek távolsága, egyszerű és teljes láncmódszer, DBSCAN algoritmus, mag-, határ- és zajpontok, k-medoid, fuzzy c-közép, Gauss-keverékmodell, EM algoritmus, klaszterezések validációja (távolságmátrixok, SSE, sziluett).
Ajánlórendszerek: Tartalom alapú megközelítés, kollaboratív szűrő, legközelebbi szomszéd alapú módszerek, fejlett faktorok modellje, mátrixfaktorizáció.
Dimenziócsökkentés: Sok dimenzió előnye és hátránya, dimenzió átka, nagy dimenziós paradoxonok, dimenziócsökkentés módszerei, jellemzőkiválasztás módszerei, főkomponens-analízis, független komponens-elemzés.
Asszociációs szabályok: Vásárlási tranzakciók, támogatottság, megbízhatóság, szabályok keresése, brute force, kétlépcsős megközelítés, apriori elv és algoritmus, maximális és zárt elemhalmazok, szabálygenerálás brute force és apriori elven, lift mutató.
Anomáliák (outlierek) detektálása: Outlierek okai, anomáliadetektálás céljai és aspektusai, alkalmazások, detektálási módszerek, anomáliatípusok, felügyelt anomáliakeresés, anomáliakeresés statisztikai alapon, klaszterezéssel, legközelebbi szomszéd alapon, sűrűség alapon, LOF-módszer, izoláló fa/erdő, konvex burok, féltérmélység, detektálás dimenziócsökkentés után, környezeti és kollektív anomáliák keresése, online módszerek.
Hálózatok, PageRank: Gráfreprezentációk, valós hálózatok és azok tulajdonságai, skálafüggetlenség, Erdős–Rényi-modell, preferenciális kapcsolódás modellje, csúcsfontossági mutatók, PageRank alapötlete, „random surfer” modell, Markov-láncok, stacionárius eloszlás, hatványmódszer, PageRank bolyongás, teleportáció jelentősége, PageRank manipulálhatósága, személyre szabott PageRank.
Technológiák
Python: IPython, Anaconda, Jupyter. Könyvtárak: pandas, Scikit-learn, NumPy, SciPy, matplotlib, IPython, Keras, TensorFlow. Tematika: Tömbök kezelése, adatkinyerés a webről (web scraping), adatok szerzése (API), beolvasása (CSV, JSON, XML/HTML), osztályozási és regressziós feladatok, gradiens és ensemble módszer, karakterfelismerés neurális hálóval, PCA, arcfelismerés.
R: RStudio. Csomagok: ggplot2, class, dplyr. Tematika: vektorok, mátrixok, listák, data frame-ek, adatok olvasása fájlból és internetről, vizualizáció, gépi tanulás (osztályozás, regresszió), aggregálás, klaszterezés, box-plot.
Tableau: Mértékek és dimenziók, adatok transzformálása és aggregálása, változók (calculated field) és paraméterek létrehozása, oszlop- és szórásdiagramok, tengelytranszformációk, adatok szűrése, tooltip szerkesztés, referencia vonalak, hisztogram, Python/R integrálása, klaszterezés.
------------------------------------------
Introduction to Data Science: Concept, history, and process (CRISP-DM) of Data Science, its goals and applications. Attributes, datasets, data quality issues, Big Data, basic machine learning tasks.
Data Exploration, Preparation, and Similarity Measures: Data preparation, exploratory data analysis and visualization, summary statistics, sampling, attribute aggregation, transformation, discretization. Minkowski distance and its special cases, Mahalanobis distance, cosine similarity, SMC, Jaccard index, Hamming distance, DTW.
kNN and Decision Trees: Nearest neighbor methods and their accelerations (K-d tree, CNN), Bayes classifier, decision tree, Hunt algorithm, split quality, impurity measures, evaluation.
Overfitting and Model Evaluation: Generalization capability, training, test, and validation sets. Cross-validation, underfitting and overfitting, Occam’s razor, decision tree pruning, confusion matrix, performance metrics, ROC curve, AUC.
Naive Bayes and Bayesian Networks: Bayes classifier principle, a posteriori and maximum likelihood estimation, estimation with normal distribution, Laplace and m-estimation, evaluation of Naive Bayes, Bayesian networks, conditional independence.
Linear Regression: Parametric and nonparametric regression, kNN and decision tree for regression tasks, MSE, decomposition of MSE and variance, bias–variance trade-off, optimal regression solution, linear regression, gradient descent, stochastic gradient descent, learning rate, regularization, polynomial regression.
Logistic Regression and SVM: Classification by regression, sigmoid function, objective function of logistic regression, linear separability, nonlinear decision boundaries, logit model, maximum margin principle, support vectors and SVM, optimization task, kernel trick, handling multiclass classification.
Neural Networks: Biological motivation, activation functions, perceptron and its relationship to other algorithms, learning logical functions, multilayer neural networks, forward propagation, backpropagation.
Ensemble Learning for Classification: Ensemble methods, bagging, metamodels, boosting and AdaBoost, gradient boosting, random forest, semi-supervised learning, classification of imbalanced data, SMOTE.
Clustering: Concept and types of clustering, clustering algorithms, Stirling numbers of the second kind, Kleinberg’s impossibility theorem, k-means algorithm, bisecting k-means, hierarchical clustering, cluster distance measures, single-link and complete-link methods, DBSCAN algorithm, core, border, and noise points, k-medoids, fuzzy c-means, Gaussian mixture models, EM algorithm, cluster validation (distance matrices, SSE, silhouette).
Recommender Systems: Content-based approach, collaborative filtering, nearest-neighbor methods, latent factor models, matrix factorization.
Dimensionality Reduction: Advantages and disadvantages of high dimensionality, curse of dimensionality, high-dimensional paradoxes, dimensionality reduction methods, feature selection techniques, principal component analysis, independent component analysis.
Association Rule Learning: Market basket transactions, support, confidence, rule mining, brute-force and two-step approaches, apriori principle and algorithm, maximal and closed itemsets, rule generation (brute-force and apriori-based), lift measure.
Outlier and Anomaly Detection: Causes, goals, and aspects of anomaly detection, applications, detection methods and anomaly types, supervised and statistical approaches, clustering-based and nearest-neighbor-based detection, density-based methods, local outlier factor (LOF), isolation forest, convex hull, half-space depth, detection after dimensionality reduction, contextual and collective anomalies, online detection methods.
Networks and PageRank: Graph representations, properties of real-world networks, scale-free property, Erdős–Rényi model, preferential attachment model, node centrality measures, PageRank idea, random surfer model, Markov chains, stationary distribution, power method, PageRank walk, importance of teleportation, PageRank manipulability, personalized PageRank.
Technologies
Python: IPython, Anaconda, Jupyter. Libraries: pandas, Scikit-learn, NumPy, SciPy, matplotlib, IPython, Keras, TensorFlow. Topics: array handling, web scraping, data acquisition (API), data import (CSV, JSON, XML/HTML), classification and regression tasks, gradient and ensemble methods, character recognition with neural networks, PCA, face recognition.
R: RStudio. Packages: ggplot2, class, dplyr. Topics: vectors, matrices, lists, data frames, importing data from files and the web, visualization, machine learning (classification, regression), aggregation, clustering, box plots.
Tableau: Measures and dimensions, data transformation and aggregation, creating calculated fields and parameters, bar and scatter plots, axis transformations, filtering data, editing tooltips, reference lines, histograms, Python/R integration, clustering.
Nyomtatóbarát változat
