Példák optimalizálási feladatokra. Optimalizálási feladatok osztályozása. Egyszerű egyváltozós feladatok numerikus megoldása. Felező módszer, szelő módszer. Feltétel nélküli feladatok. Szélsőértékek osztályozása. Optimalitási feltételek. Első- és másodrendű szükséges feltételek, másodrendű elegendő feltétel. Weierstrass tétele. Szinthalmazok, koerszivitás. Konvexitás. Konvex függvények tulajdonságai. Lokális-globális minimum tulajdonság. Differenciálható konvex függvények jellemzése. Kvadratikus függvények. Legkisebb négyzetes közelítés (lineáris és nemlineáris). Gradiens módszer. Legmeredekebb csökkenési irány és létezése. Lépésköz szabályok. Newton-módszer, csillapítás. Konvergencia sebessége. Feltételes optimalizálás. Optimalitási feltételek. Lagrange szorzók. KKT feltételek. Érintőkúp, linearizált érintőkúp. Regularitási feltételek. Megbízhatósági tartomány. Dualitáselmélet. Erős dualitás, gyenge dualitás. Konvex eset. Példák, geometriai programozás, zajszűrés. Büntetőfüggvény módszer. Kvadratikus programozás.
Examples for optimization problems. Classification of optimization problems. Numerical solution of one variable problems. Secant method, bisection method. Unconstrained problems. Types of the extremum. Optimality conditions. First- and second order necessary conditions, second order sufficient condition. Weierstrass theorem. Level sets, coercivity. Convexity. Convex functions and their properties. Local-global minimum property. Characterization of differentiable convex functions. Quadratic functions.Least square problems (linear and nonlinear). Gradient method. Step size rules. Newton's method, damping, rate of the convergence. Constrained problems. Optimality conditions. Lagrange multipliers. KKT conditions. Tangent cone, linearized tangent cone. Constraint qualifications. Trust region methods. Duality theory. Strong duality, weak duality. Convex case. Geometric programming. Penalty function, quadratic penalty. Quadratic programming.