Цели и задачи дисциплины
Целью дисциплины является формирование у магистрантов компетенций в области современных методов оптимизации, применяемых при проектировании, обучении и адаптации моделей машинного обучения, а также развитие навыков интеграции классических методов исследования операций с нейросетевыми подходами. К задачам дисциплины относятся изучение дифференцируемой оптимизации, байесовской и многокритериальной оптимизации, освоение нейросетевых методов решения комбинаторных задач, а также освоение подходов к метаобучению и адаптации моделей к изменяющимся условиям эксплуатации.
Краткое содержание дисциплины
Дисциплина рассматривает современные методы оптимизации, применяемые в машинном обучении и исследовании операций. Изучаются подходы к интеграции классических задач линейного и квадратичного программирования в модели машинного обучения через дифференцируемые слои, методы байесовской оптимизации гиперпараметров с использованием библиотеки Optuna и эволюционные алгоритмы многокритериальной оптимизации NSGA-II, NSGA-III и MOEA/D. Рассматриваются нейросетевые методы решения комбинаторных задач оптимизации, включая архитектуры Pointer Networks, а также методы метаобучения (MAML, Prototypical Networks) для быстрой адаптации моделей к новым задачам с малым объёмом данных. Отдельное внимание уделяется методам адаптации доменов, в частности архитектуре DANN со слоем инверсии градиента, позволяющей переносить модели между различными условиями эксплуатации без полного переобучения.