Texte Universitaire de l'année 2024 dans le domaine Mathématiques - Mathématiques appliquées, , langue: français, résumé: Les problèmes d'optimisation différentiable se posent lorsque l'on cherche à déterminer la valeur optimale d'un nombre fini de paramètres. L'optimalité signifie ici la minimalité d'un critère donné.

La différentiabilité supposée des fonctions qui définissent le problème écarte d'emblée de notre propos l'optimisation combinatoire (les paramètres à optimiser ne prennent que des valeurs entières ou discrètes) et l'optimisation non lisse (les fonctions ont des irrégularités). L'optimisation est un sujet très ancien.

Taylor [1685-1731], Newton [1643-1727], Lagrange [1736-1813] et Cauchy [1789-1857] ont élaboré les bases des développements limités. L'optimisation a connu un nouvel essor depuis l'apparition des ordinateurs et s'applique désormais dans de très nombreux domaines : économie, gestion, planification, logistique, automatique, robotique, conception optimale, science de l'ingénieur, traitement du signale, etc.

Les méthodes numériques de l'optimisation ont principalement été développées après la Seconde Guerre mondiale, en parallèle avec l'amélioration des ordinateurs, et n'ont cessé depuis de s'enrichir. En optimisation non linéaire, on peut ainsi distinguer plusieurs vagues : méthodes de pénalisation, méthode du lagrangien augmenté (1958), méthodes de quasi-Newton (1959), méthodes newtoniennes ou SQP (1976), algorithmes de points intérieurs (1984).

Une vague n'efface pas la précédente, mais permet d'apporter de meilleures réponses à certaines classes de problèmes, comme ce fut le cas pour les méthodes de points intérieurs en optimisation semi-définie positive (SDP). Une attention particulière sera portée aux algorithmes pouvant traiter les problèmes de grande taille, ceux qui se présentent dans les applications.

. .